change CONTRIBUTING

2024-11-21 01:16:33 +08:00 · 2023-04-06 22:39:43 +08:00 · 2023-04-06 22:39:43 +08:00 · 1ebc8f5d32
commit 1ebc8f5d32
parent 0d4dae903a
1 changed files with 105 additions and 129 deletions
--- a/CONTRIBUTING.md
+++ b/CONTRIBUTING.md
@ -1,6 +1,5 @@
 ![image](https://user-images.githubusercontent.com/20157705/204804498-57b85892-88db-4edb-b595-3655e462f042.png)

-
 # 思维导图：

 [思维导图地址](https://gitmind.cn/app/docs/ma28m6np)
@ -9,167 +8,144 @@

 登录授权：

- - 多种登录方式的示例，~~账号密码，github，~~ 微信登录，AUTH_OID(支持)，AUTH_LDAP(支持)，AUTH_REMOTE_USER(支持)缺少示例
+ - 多种登录方式的示例，
+   - [x] 账号密码，
+   - [x] github， 
+   - [x] 微信登录，
+   - [x] AUTH_OID(支持)，
+   - [x] AUTH_LDAP(支持)，
+   - [x] AUTH_REMOTE_USER(支持)

- - ~~多租户，rbac权限管理，项目管理~~
+ - 多租户
+   - [x] rbac权限管理，
+   - [x] 项目管理

 数据平台：

- - 数据接入模块：支持http/cos/..等离线接口，支持kafka/pulsar..等实时接口，支持源或者目的hive，ck，druid等（模块缺少）
- - 离线元数据：
-   - ~~支持仅管理离线元数据~~
-   - 定时脚本将远程数据库元数据同步到离线元数据内(比如离线同步hive元数据到元数据模块),支持离线元数据模块操作ddl远程数据库(比如增减hive列)
-   - 实时查询远程元数据，并支持实时ddl远程数据库。
-   - 离线/实时管理，支持hive/clickhouse/mysql/pg/druid等数据库类型
+ - 离线元数据： （通过统一sql多模引擎实现，离线元数据同步，实时元数据查询，sql操作，ddl操作等）
+   - [x] 支持仅管理离线元数据
+   - [ ] 定时脚本将远程数据库元数据同步到离线元数据内(比如离线同步hive元数据到元数据模块),支持离线元数据模块操作ddl远程数据库(比如增减hive列)
+   - [x] 实时查询远程元数据，并支持实时ddl远程数据库。
+   - [ ] 离线/实时管理元数据，支持hive/clickhouse/mysql/pg/druid等数据库类型
 - 血缘关系：
-   - 支持表+任务+看板+字段+指标+特征，之间的血缘链路关联，支持离线导入血缘链路管理，前端进行可视化展示
- - ~~指标管理~~
- - ~~维表管理： 支持mysql/postgresql作为维表数据库~~
- - sql查询引擎：
-   - 支持ck hive，impala，presto，druid等统一查询引擎
-   - ~~支持多任务，查询记录，统一sql解析拦截，异步查询，提供标准sql查询基础类~~
- - 数据ETL：
-   - ~~提供标准 任务编排，任务管理模块，任务实例，任务成功率~~
-   - 支持airflow，ds，az调度器
+   - [ ] 支持表+任务+看板+字段+指标+特征，之间的血缘链路关联，支持离线导入血缘链路管理，前端进行可视化展示
+ - 指标管理
+   - [x] 指标元数据管理
+ - 维表管理： 
+   - [x] 支持mysql/postgresql作为维表数据库
+ - sql查询引擎： （通过统一sql多模引擎实现，离线元数据同步，实时元数据查询，sql操作，ddl操作等）
+   - [x] 支持ck hive，impala，presto，druid等统一查询引擎
+   - [x] 支持多任务，查询记录，统一sql解析拦截，异步查询，提供标准sql查询基础类
+ - 数据ETL： （通过pipeline编排能力统一对接）
+   - [x] 提供标准 任务编排，任务管理模块，任务实例，任务成功率
+   - [ ] 支持airflow，ds，az调度器
 - 推送：
-   - 封装推送功能模块：支持邮件，企业微信，钉钉等推送方式
-   - 支持文本，图片，html等推送模式 
+   - [ ] 封装推送功能模块：支持邮件，企业微信，钉钉等推送方式
+   - [ ] 支持文本，图片，html等推送模式 

 AI平台：

 - notebook：
-   - ~~支持基础vscode/jupyter开发环境，支持ssh等功能~~
-   - ~~大数据版本，数据挖掘版本，深度学习版本，~~
-   - 添加使用示例，比如sparksql/impala/presto/clickhouse/mysql/postgresql等分析建模示例
-   - 添加flink实时分析示例
-   - 添加百G大数据单机数据分析能力Arrow、vaex、duckdb等数据分析能力
+   - [x] 支持基础vscode/jupyter开发环境，支持ssh等功能
+   - [x] 大数据版本，数据挖掘版本，深度学习版本
+   - [ ] 添加使用示例，比如sparksql/impala/presto/clickhouse/mysql/postgresql等分析建模示例
+   - [ ] 添加flink实时分析示例
+   - [ ] 添加百G大数据单机数据分析能力Arrow、vaex、duckdb等数据分析能力
 - 镜像仓库管理：
-   - ~~仓库管理~~
-   - ~~镜像管理~~
-   - ~~镜像调试~~
- - 任务模板:
-   - 添加数据处理模板(导入导出，sqoop，spark等任务类型)
-   - 添加特征处理模板(归一化，转换，...)
-   - 添加模型处理模板(模型压缩，模型转换..)
-   - ~~添加分布式训练模板~~
- - ~~任务流编排~~
- - 任务流调试
-   - 去除对kubernetes dashboard的依赖，提供服务支持pod，搜索，日志的查看，删除，执行命令界面
-   - kubeflow-pipeline依赖去除，去除依赖组件metadata-envoy-deployment/metadata-grpc-deployment/metadata-writer/ml-pipeline/ml-pipeline-persistenceagent/ml-pipeline-ui/ml-pipeline-viewer-crd/ml-pipeline-visualizationserver/kfp sdk
-   - 支持任务结果可视化
- - automl
-   - ~~nni超参搜索~~
-   - ray超参搜索
-   - 特征选择
-   - 框架选择
-   - 模型压缩
+   - [x] 仓库管理
+   - [x] 镜像管理
+   - [x] 镜像调试
+ - 任务模板: 
+   - [ ] 添加数据处理模板(导入导出，sqoop，spark等任务类型)
+   - [ ] 添加特征处理模板(归一化，转换，...)
+   - [ ] 添加模型处理模板(模型压缩，模型转换..)
+   - [x] 添加分布式训练模板~~
+ - 任务流编排
+   - [x] 单任务调试
+   - [x] pipeline调试
+   - [x] 任务可视化
+   - [x] 定时调度
+ - 任务流调试： 
+   - [x] 去除对kubernetes dashboard的依赖，提供服务支持pod，搜索，日志的查看，删除，执行命令界面
+   - [x] kubeflow-pipeline依赖去除
+   - [x] 支持任务结果可视化
+ - automl：
+   - [x] nni超参搜索
+   - [ ] ray超参搜索
+   - [ ] 特征选择
+   - [ ] 框架选择
+   - [ ] 模型压缩
 - 特征平台
 - 数据集
-   - 数据集存储中心
-   - ~~数据集管理，版本管理等~~
-   - sdk中支持数据自动导入
-   - 支持数据集上传
+   - [x] 数据集存储中心
+   - [x] 数据集管理，版本管理等
+   - [x] sdk中支持数据自动导入
+   - [x] 支持数据集上传
 - 标注平台，集成label studio，与其他模块数据打通
- - ~~模型管理~~
- - 服务管理
-   - ~~内部服务~~
-   - ~~推理服务~~
-     - 添加triton标准镜像
-     - 视频推流sidecar
+ - 模型管理
+   - [x] 模型注册模板
+   - [x] 模型下载模板
+   - [x] 模型可视化
+ - 服务管理：
+   - [x] 内部服务
+   - [x] 推理服务
+     - [x] 添加triton标准镜像
+     - [ ] 视频推流sidecar

 基础架构能力：

 - 分布式存储方案：
-   - 完善juicefs分布式存储方案
-   - 体质sidecar分布式存储挂载，而不是单机挂载
-   - 支持alluxio分布式加速
+   - [x] 完善juicefs分布式存储方案
+   - [ ] 体质sidecar分布式存储挂载，而不是单机挂载
+   - [x] 支持alluxio分布式加速
 - 添加边缘集群部署脚本
-   - 添加super edge部署cube studio方案
-   - 添加kube edge部署cube studio方案
+   - [ ] 添加super edge部署cube studio方案
+   - [ ] 添加kube edge部署cube studio方案
 - 私有仓库部署方案：
-   - docker-compose部署harbor方案
-   - k8s部署harbor方案
+   - [x] docker-compose部署harbor方案
   
 web框架：
- 支持通用pipeline编排，合并frontend/vison/visonPlus代码
- 通用血缘，支持任务流调试界面，去除kfp依赖
- 中英文支持
- 通用可视化模板
+- [ ] 支持通用pipeline编排，合并frontend/vison/visonPlus代码
+- [x] 通用血缘，支持任务流调试界面，去除kfp依赖~~
+- [ ] 中英文支持
+- [x] 通用可视化模板~~

-# AIHub应用市场
+# AIHub应用市场 

 sdk

- 前后端
-  - 适配pc端/手机端)
-  - 登录，
-  - 微信打开限制，
-  - 广告sdk，
-  - 功能弹窗，
-  - 大视频文件在线播放，
-  - 支持视频流，
-  - 分享到朋友圈，
-  - 访问统计，
-  - 热度排行，
-  - 智能推荐
+- 前后端： （aihub前后端应用）
+  - [ ] 适配pc端/手机端
+  - [ ] 登录，
+  - [ ] 微信打开限制，
+  - [ ] 广告sdk，
+  - [ ] 功能弹窗，
+  - [ ] 大视频文件在线播放，
+  - [ ] 支持视频流，
+  - [ ] 分享到朋友圈，
+  - [ ] 访问统计，
+  - [ ] 热度排行，
+  - [ ] 智能推荐

 - pip包
-  - ~~标准化镜像构建标准~~
-  - ~~支持生成web服务，微信端服务~~
-  - 支持转训练，注册为job 模板
-  - 支持转推理api，批处理，弹性离线推理
-  - 支持数据数据集上传和自动加载，与数据集平台对接，外部数据集转内部数据集
+  - [x] 标准化镜像构建标准
+  - [x] 支持生成web服务，微信端服务
+  - [x] 支持转训练，注册为job 模板
+  - [x] 支持转推理api，批处理，弹性离线推理
+  - [x] 支持数据数据集上传和自动加载，与数据集平台对接，外部数据集转内部数据集

-算法模型
+算法模型： （自研模型+魔塔模型+hugging模型）

 - 传统机器学习（jupyter形式）：
-  - ~~基础技能：pandas，matplotlib，pyecharts，~~
-  - ~~关联挖掘：关联分析（Apriori、FP-growth）~~
-  - ~~分类：决策树（ID3、C4.5、CART）、K最近邻算法(KNN)、kd树、极大似然估计、EM算法、文档分类器，朴素贝叶斯分类器，费舍尔分类器、线性函数、线性回归、正则化、逻辑分类/逻辑回归/一般线性回归、支持向量机SVM、核方法、集成学习（Bagging、Boosting、RF、AdaBoost、GBDT、xgboost）、GBDT算法、XGBOOST算法、CTR/CVR中的FM、FFM算法、LightGBM算法~~
-  - ~~聚类：层次聚类、BIRCH聚类、k均值聚类、k中心点聚类、DBSCAN密度聚类~~
-  - ~~图论：最小生成树（MST）的Prim算法和Kruskal算法~~
-  - 搜索引擎：
+  - [x] 基础技能：pandas，matplotlib，pyecharts
+  - [x] 关联挖掘：关联分析（Apriori、FP-growth）
+  - [x] 分类：决策树（ID3、C4.5、CART）、K最近邻算法(KNN)、kd树、极大似然估计、EM算法、文档分类器，朴素贝叶斯分类器，费舍尔分类器、线性函数、线性回归、正则化、逻辑分类/逻辑回归/一般线性回归、支持向量机SVM、核方法、集成学习（Bagging、Boosting、RF、AdaBoost、GBDT、xgboost）、GBDT算法、XGBOOST算法、CTR/CVR中的FM、FFM算法、LightGBM算法
+  - [x] 聚类：层次聚类、BIRCH聚类、k均值聚类、k中心点聚类、DBSCAN密度聚类
+  - [x] 图论：最小生成树（MST）的Prim算法和Kruskal算法
+  - [ ] 搜索引擎：

 - 深度学习模型：
-  - 机器视觉
-    - ~~deoldify~~ 
-    - ~~humanseg~~ 
-    - ~~stable-diffusion~~ 
-    - ~~stable-diffusion 9国语言版本~~
-    - ~~stable-diffusion 动漫版本~~
-    - ~~yolov3~~
-    - ~~yolov5~~
-    - ~~animegan~~ 
-    - ~~panoptic~~ 
-    - mnist 
-    - ~~ddddocr~~ 
-    - ~~gfpgan~~ 
-    - ~~paddleocr~~ 
-    - ~~speaker-diarization~~
-    - paddledetection
-    - parlai
-    - pix2pix
-    - vehicle
-    - 其他都可以加
-    - 其他都可以加
-    - 其他都可以加
-
-  - 听觉
-    - wenet
-    - ~~paddlespeech-asr~~
-    - ~~paddlespeech-tts~~
-    - ~~paddlespeech-cls~~
-    - 其他都可以加
-    - 其他都可以加
-    - 其他都可以加
-    - 
-  - 自然语言
-    - ner
-    - opus-mt-en-zh
-    - opus-mt-zh-en
-    - whisper-large
-    - wav2vec2-large-xlsr-53-chinese-zh-cn
-    - lang-id-voxlingua107-ecapa
+- 大模型数据人

 # 社区运营：