mirror of
https://github.com/tencentmusic/cube-studio.git
synced 2025-01-30 14:09:48 +08:00
update readme
This commit is contained in:
parent
2e27b17681
commit
4ab9308235
12
README.md
12
README.md
@ -1,12 +1,12 @@
|
||||
# Cube Studio
|
||||
|
||||
cube是tme开源的一站式云原生机器学习平台,目前主要包含
|
||||
- 1、特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;
|
||||
- 2、在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;
|
||||
- 3、任务流编排,在线拖拉拽;开放的模板市场,支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智能修正;
|
||||
- 4、nni,katib,ray的超参搜索;
|
||||
- 5、tf/pytorch/onnx模型的推理服务,serverless流量管控,triton gpu推理加速,依据gpu利用率/qps等指标的hpa能力,虚拟化gpu,虚拟显存等服务化能力。
|
||||
- 6、多集群多项目组资源统筹,联邦调度;
|
||||
- 1、数据管理:特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;
|
||||
- 2、在线开发:在线的vscode/jupyter代码开发;在线镜像调试,支持免dockerfile,增量构建;
|
||||
- 3、训练编排:任务流编排,在线拖拉拽;开放的模板市场,支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务;task的单节点debug,分布式任务的批量优先级调度,聚合日志;任务运行资源监控,报警;定时调度,支持补录,忽略,重试,依赖,并发限制,定时任务算力的智能修正;
|
||||
- 4、超参搜索:nni,katib,ray的超参搜索;
|
||||
- 5、推理服务:tf/pytorch/onnx模型的推理服务,serverless流量管控,triton gpu推理加速,依据gpu利用率/qps等指标的hpa能力,虚拟化gpu,虚拟显存等服务化能力;
|
||||
- 6、资源统筹:多集群多项目组资源统筹,联邦调度;
|
||||
|
||||
# 开源共建
|
||||
|
||||
|
@ -583,7 +583,7 @@ class CeleryConfig(object):
|
||||
}
|
||||
}
|
||||
|
||||
DOCUMENTATION_URL='' # 帮助文档地址,显示在web导航栏
|
||||
DOCUMENTATION_URL='https://github.com/tencentmusic/cube-studio/tree/master/docs/example' # 帮助文档地址,显示在web导航栏
|
||||
|
||||
ROBOT_PERMISSION_ROLES=[] # 角色黑名单
|
||||
|
||||
|
@ -583,7 +583,7 @@ class CeleryConfig(object):
|
||||
}
|
||||
}
|
||||
|
||||
DOCUMENTATION_URL='' # 帮助文档地址,显示在web导航栏
|
||||
DOCUMENTATION_URL='https://github.com/tencentmusic/cube-studio/tree/master/docs/example' # 帮助文档地址,显示在web导航栏
|
||||
|
||||
ROBOT_PERMISSION_ROLES=[] # 角色黑名单
|
||||
|
||||
|
@ -116,7 +116,6 @@ mv kfctl /usr/bin/
|
||||
kfctl apply -V -f kubeflow/v1.2.0/kfctl_k8s_istio.v1.2.0.yaml
|
||||
|
||||
kubectl delete apiservice v1beta1.webhook.cert-manager.io
|
||||
# 删除cert-manager 下面的pod
|
||||
|
||||
# 部署kfp pipeline
|
||||
kubectl create -f kubeflow/pipeline/minio-pv-hostpath.yaml
|
||||
|
@ -3,7 +3,7 @@
|
||||
|
||||
1、编写代码,打包镜像,推送远程仓库。
|
||||
|
||||
2、在Tme Cube Stdio页面上填写信息,注册模板。
|
||||
2、在 Cube Stdio页面上填写信息,注册模板。
|
||||
|
||||
# 2.job模板规范
|
||||
|
||||
@ -21,7 +21,7 @@
|
||||
|
||||
### 2.2.关于构建:
|
||||
|
||||
1、 统一的构建脚本 sh job/$job_template_name/build.sh
|
||||
1、 统一的构建脚本 `sh job/$job_template_name/build.sh`
|
||||
|
||||
2、 Dcokerfile文件定义镜像构建过程,构建路径为当前路径
|
||||
|
||||
@ -36,22 +36,50 @@
|
||||
|
||||
# 3.注册模板
|
||||
### 3.1.模板注册入口
|
||||
在Tme Cube Stdio页面上,训练->任务模板->添加按钮
|
||||
在 Cube Stdio页面上,训练->任务模板->添加按钮
|
||||
|
||||
### 3.2.注册仓库和镜像
|
||||
在Tme Cube Stdio页面上,训练->仓库、镜像。先注册完仓库和镜像,再注册任务模板。
|
||||
在 Cube Stdio页面上,训练->仓库、镜像。先注册完仓库和镜像,再注册任务模板。
|
||||
|
||||
### 3.3. 其他注册参数
|
||||
### 3.3 启动参数
|
||||
启动参数编写实例
|
||||
```bash
|
||||
{
|
||||
"group1":{ # 属性分组,仅做web显示使用
|
||||
"attr1":{ # 属性名
|
||||
"type":"str", # int,str,text,bool,enum,float,multiple,date,datetime,file,dict,list
|
||||
"item_type": "", # 在type为enum,multiple,list时每个子属性的类型
|
||||
"label":"属性1", # 中文名
|
||||
"require":1, # 是否必须
|
||||
"choice":[], # type为enum/multiple时,可选值
|
||||
"range":"$min,$max", # 最小最大取值,在int,float时使用,包含$min,但是不包含$max
|
||||
"default":"", # 默认值
|
||||
"placeholder":"", # 输入提示内容
|
||||
"describe":"这里是这个字段的描述和备注",
|
||||
"editable":1, # 是否可修改
|
||||
"condition":"", # 显示的条件
|
||||
"sub_args": { # 如果type是dict或者list对应下面的参数
|
||||
}
|
||||
},
|
||||
"attr2":{
|
||||
...
|
||||
}
|
||||
},
|
||||
"group2":{
|
||||
}
|
||||
}
|
||||
```
|
||||
### 3.4. 其他注册参数
|
||||
参照页面上的说明
|
||||
|
||||
### 公共魔法变量
|
||||
|
||||
为了便于使用,在配置中支持几个公共的魔法变量,类似占位符,在实际运行中会被展开成实际值,魔法变量的格式为${PARAM_NAME}$,目前支持的有如下几个:
|
||||
为了便于使用,在配置中支持几个公共的魔法变量,类似占位符,在实际运行中会被展开成实际值,魔法变量的格式为`${PARAM_NAME}$`,目前支持的有如下几个:
|
||||
|
||||
__${PACK_PATH}$__:包目录,即用户自己代码数据等所在目录,例如/mnt/lionpeng/ai_radio_v2。这个目录是分布式存储挂载到集群worker docker中的目录,该目录会挂载到pipeline中每一个job对应worker docker中。
|
||||
`__${PACK_PATH}$__`:包目录,即用户自己代码数据等所在目录,例如/mnt/lionpeng/ai_radio_v2。这个目录是分布式存储挂载到集群worker docker中的目录,该目录会挂载到pipeline中每一个job对应worker docker中。
|
||||
|
||||
__${DATA_PATH}$__: 数据目录,表示pipeline一次运行的目录,这里面会存放本次运行中各job产生的数据,包括用户自己代码所产生的数据都放在这里。每次运行目录是不一样的,便于每次运行之间隔离,另外也是便于同一次运行中上下游job进行数据交互。例如/mnt/lionpeng/ai_radio_v2_runs/20201021-141656.624784。同样该目录也会挂载到pipeline中每一个job对应worker docker中。
|
||||
`__${DATA_PATH}$__`: 数据目录,表示pipeline一次运行的目录,这里面会存放本次运行中各job产生的数据,包括用户自己代码所产生的数据都放在这里。每次运行目录是不一样的,便于每次运行之间隔离,另外也是便于同一次运行中上下游job进行数据交互。例如/mnt/lionpeng/ai_radio_v2_runs/20201021-141656.624784。同样该目录也会挂载到pipeline中每一个job对应worker docker中。
|
||||
|
||||
__${DATE[(-|+numd|w|h|m|s][:format]}$__: 日期变量,例如${DATE}$表示任务运行时的时间。该变量还支持偏移,偏移单位支持d(天),w(星期),h(小时),m(分钟),s(秒),y(年),M(月)。例如${DATE-1d}$,表示运行日的前一天,例如今天是20201021,则${DATE-1d}$展开后就是20201020,而${DATE+2d}$则表示运行日的后两天,即20201023。另外支持指定日期的格式化格式,默认格式是%Y%m%d,格式化符号与python datetime格式化符号一致,可参考说明。例如当前时间是2020年10月21日早上10点5分35秒,${DATE-1d:%Y-%m-%d %H:%M:%S}$的展开结果就是"2020-10-20 10:05:35"
|
||||
`__${DATE[(-|+numd|w|h|m|s][:format]}$__`: 日期变量,例如${DATE}$表示任务运行时的时间。该变量还支持偏移,偏移单位支持d(天),w(星期),h(小时),m(分钟),s(秒),y(年),M(月)。例如`${DATE-1d}$`,表示运行日的前一天,例如今天是20201021,则${DATE-1d}$展开后就是20201020,而${DATE+2d}$则表示运行日的后两天,即20201023。另外支持指定日期的格式化格式,默认格式是%Y%m%d,格式化符号与python datetime格式化符号一致,可参考说明。例如当前时间是2020年10月21日早上10点5分35秒,`${DATE-1d:%Y-%m-%d %H:%M:%S}$`的展开结果就是"2020-10-20 10:05:35"
|
||||
|
||||
__${ONLINE_MODEL}$__:线上模型,用于在评估任务方便用户拉取线上模型进行指标对比,关于评估任务见后面详述。
|
||||
`__${ONLINE_MODEL}$__`:线上模型,用于在评估任务方便用户拉取线上模型进行指标对比,关于评估任务见后面详述。
|
BIN
myapp/assets/images/user.png
Normal file
BIN
myapp/assets/images/user.png
Normal file
Binary file not shown.
After Width: | Height: | Size: 14 KiB |
@ -47,7 +47,7 @@
|
||||
>
|
||||
<i class="fa fa-user"></i> <b class="caret"></b>
|
||||
</a>
|
||||
<img src="https://xx.xx.xx.xx/{{ g.user.username }}.png" class="di-avatar" />
|
||||
<img src="/static/assets/images/user.png" class="di-avatar" />
|
||||
<ul class="dropdown-menu">
|
||||
<li><a href="javascript:;">Hi, {{ g.user.username }}</a></li>
|
||||
<li><a href="{{appbuilder.get_url_for_userinfo}}"><span class="fa fa-fw fa-user"></span>{{_("Profile")}}</a></li>
|
||||
|
Loading…
Reference in New Issue
Block a user