mirror of https://github.com/tencentmusic/cube-studio.git synced 2024-11-21 01:16:33 +08:00

Go to file

pengluan 2dc4899248 修改参数描述信息		2022-07-19 17:03:28 +08:00
docs	Update readme.md	2022-06-14 19:57:39 +08:00
images	添加人脸识别web镜像	2022-07-17 18:39:11 +08:00
install	Merge branch 'master' of https://github.com/tencentmusic/cube-studio	2022-07-19 14:55:36 +08:00
job-template	添加tfjob	2022-07-19 16:54:42 +08:00
myapp	修改参数描述信息	2022-07-19 17:03:28 +08:00
.gitignore	添加template、pipeline/service初始化方法	2022-06-04 17:38:31 +08:00
LICENSE	Update LICENSE	2021-11-15 16:48:59 +08:00
README.md	修改参数描述信息	2022-07-19 17:03:28 +08:00

Cube Studio

cube是腾讯音乐开源的一站式云原生机器学习平台，目前主要包含

1、数据管理：特征平台，支持在/离线特征；数据源管理，支持结构数据和媒体标注数据管理；
2、在线开发：在线的vscode/jupyter代码开发；在线镜像调试，支持免dockerfile，增量构建；
3、训练编排：任务流编排，在线拖拉拽；开放的模板市场，支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务；task的单节点debug，分布式任务的批量优先级调度，聚合日志；任务运行资源监控，报警；定时调度，支持补录，忽略，重试，依赖，并发限制，定时任务算力的智能修正；
4、超参搜索：nni，katib，ray的超参搜索；
5、推理服务：tf/pytorch/onnx模型的推理服务，serverless流量管控，triton gpu推理加速，依据gpu利用率/qps等指标的hpa能力，虚拟化gpu，虚拟显存等服务化能力；
6、资源统筹：多集群多项目组资源统筹，联邦调度，边缘计算；

帮助文档

学习、部署、体验、开源建设欢迎来撩。或添加微信luanpeng1234，备注<开源建设>，共建指南

提示：

模板	类型	组件说明
自定义镜像	基础命令	完全自定义单机运行环境，可自由实现所有自定义单机功能
datax	导入导出	异构数据源导入导出
media-download	数据处理	分布式媒体文件下载
video-audio	数据处理	分布式视频提取音频
video-img	数据处理	分布式视频提取图片
sparkjob	数据处理	spark serverless 分布式数据计算
ray	数据处理	python ray框架多机分布式功能，适用于超多文件在多机上的并发处理
xgb	机器学习	xgb模型训练
ray-sklearn	机器学习	基于ray框架的sklearn支持算法多机分布式并行计算
volcano	数据处理	volcano框架的多机分布式，可紫玉控制代码，利用环境变量实现多机worker的工作与协同
pytorchjob-train	训练	pytorch的多机多卡分布式训练
horovod-train	训练	horovod的多机多卡分布式训练
tfjob	训练	tf分布式训练，k8s云原生方式
tfjob-train	训练	tf分布式训练，内部支持plain和runner两种方式
tfjob-runner	训练	tf分布式-runner方式
tfjob-plain	训练	tf分布式-plain方式
kaldi-train	训练	kaldi音频分布式训练
tf-model-evaluation	模型评估	tensorflow2.3分布式模型评估
tf-offline-predict	离线推理	tf模型离线推理
model-offline-predict	离线推理	分布式模型离线推理
deploy-service	服务部署	部署云原生推理服务