mirror of
https://github.com/tencentmusic/cube-studio.git
synced 2024-11-21 01:16:33 +08:00
3.3 KiB
3.3 KiB
Cube Studio
整体架构
cube studio是 腾讯音乐 开源的一站式云原生机器学习平台,目前主要包含
帮助文档
https://github.com/tencentmusic/cube-studio/wiki
开源共建
学习、部署、体验、开源建设、商业合作 欢迎来撩。或添加微信luanpeng1234,备注<开源建设>, 共建指南
支持模板
提示:
- 1、可自由定制任务插件,更适用当前业务需求
模板 | 类型 | 组件说明 |
---|---|---|
自定义镜像 | 基础命令 | 完全自定义单机运行环境,可自由实现所有自定义单机功能 |
datax | 导入导出 | 异构数据源导入导出 |
hadoop | 数据处理 | hadoop大数据组件,hdfs,hbase,sqoop,spark |
sparkjob | 数据处理 | spark serverless 分布式数据计算 |
ray | 数据处理 | python ray框架 多机分布式功能,适用于超多文件在多机上的并发处理 |
volcano | 数据处理 | volcano框架的多机分布式,可自由控制代码,利用环境变量实现多机worker的工作与协同 |
ray-sklearn | 机器学习 | 基于ray框架的sklearn支持算法多机分布式并行计算 |
xgb | 机器学习 | xgb模型训练 |
tfjob | 深度学习 | tf分布式训练,k8s云原生方式 |
pytorchjob | 深度学习 | pytorch的多机多卡分布式训练 |
horovod | 深度学习 | horovod 的多机多卡分布式训练 |
paddle | 深度学习 | paddle的多机多卡分布式训练 |
mxnet | 深度学习 | mxnet的多机多卡分布式训练 |
kaldi | 深度学习 | kaldi的多机多卡分布式训练 |
tfjob-train | tf分布式 | tf分布式训练,内部支持plain和runner两种方式 |
tfjob-runner | tf分布式 | tf分布式-runner方式 |
tfjob-plain | tf分布式 | tf分布式-plain方式 |
tf-model-evaluation | tf分布式 | tensorflow2.3分布式模型评估 |
tf-offline-predict | tf分布式 | tf模型离线推理 |
model-register | 模型服务化 | 注册模型 |
model-offline-predict | 模型服务化 | 所有框架的分布式模型离线推理 |
deploy-service | 模型服务化 | 部署云原生推理服务 |
media-download | 多媒体处理 | 分布式媒体文件下载 |
video-audio | 多媒体处理 | 分布式视频提取音频 |
video-img | 多媒体处理 | 分布式视频提取图片 |
object-detection | 机器视觉 | 基于darknet yolov3 的目标识别 |
平台部署
参考wiki 平台完成部署之后如下: