mirror of
https://github.com/tencentmusic/cube-studio.git
synced 2024-12-15 06:09:57 +08:00
| docs | ||
| images | ||
| install | ||
| job-template | ||
| myapp | ||
| .gitignore | ||
| LICENSE | ||
| README.md | ||
Cube Studio
整体架构
cube是 腾讯音乐 开源的一站式云原生机器学习平台，目前主要包含
- 1、数据管理：特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；
- 2、在线开发：在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；
- 3、训练编排：任务流编排，在线拖拉拽；开放的模板市场，支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智能修正；
- 4、超参搜索：nni，katib，ray的超参搜索；
- 5、推理服务：tf/pytorch/onnx模型的推理服务，serverless流量管控，triton gpu推理加速，依据gpu利用率/qps等指标的hpa能力，虚拟化gpu，虚拟显存等服务化能力；
- 6、资源统筹：多集群多项目组资源统筹，联邦调度，边缘计算；
帮助文档
https://github.com/tencentmusic/cube-studio/wiki
开源共建
学习、部署、体验、开源建设 欢迎来撩。或添加微信luanpeng1234，备注<开源建设>， 共建指南
支持模板
提示：
- 1、可自由定制任务插件，更适用当前业务需求
| 模板 | 类型 | 组件说明 |
|---|---|---|
| 自定义镜像 | 基础命令 | 完全自定义单机运行环境，可自由实现所有自定义单机功能 |
| datax | 导入导出 | 异构数据源导入导出 |
| media-download | 数据处理 | 分布式媒体文件下载 |
| video-audio | 数据处理 | 分布式视频提取音频 |
| video-img | 数据处理 | 分布式视频提取图片 |
| ray | 数据处理 | python ray框架 多机分布式功能，适用于超多文件在多机上的并发处理 |
| xgb | 机器学习 | xgb模型训练 |
| ray-sklearn | 机器学习 | 基于ray框架的sklearn支持算法多机分布式并行计算 |
| volcano | 数据处理 | volcano框架的多机分布式，可紫玉控制代码，利用环境变量实现多机worker的工作与协同 |
| pytorchjob-train | 训练 | pytorch的多机多卡分布式训练 |
| horovod-train | 训练 | horovod的多机多卡分布式训练 |
| tfjob-train | 训练 | tf分布式训练，内部支持plain和runner两种方式 |
| tfjob-runner | 训练 | tf分布式-runner方式 |
| tfjob-plain | 训练 | tf分布式-plain方式 |
| kaldi-train | 训练 | kaldi音频分布式训练 |
| tf-model-evaluation | 模型评估 | tensorflow2.3分布式模型评估 |
| tf-offline-predict | 离线推理 | tf模型离线推理 |
| model-offline-predict | 离线推理 | 分布式模型离线推理 |
| deploy-service | 服务部署 | 部署云原生推理服务 |
平台部署
参考wiki 平台完成部署之后如下:
体验环境
贡献
算法：
@hujunaifuture 
平台：
@xiaoyangmai 
落地公司
