update readme

This commit is contained in:
pengluan 2022-05-23 15:13:53 +08:00
parent 2e27b17681
commit 4ab9308235
7 changed files with 47 additions and 20 deletions

View File

@ -1,12 +1,12 @@
# Cube Studio
cube是tme开源的一站式云原生机器学习平台目前主要包含
- 1、特征平台支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;
- 2、在线的vscode/jupyter代码开发在线镜像调试支持免dockerfile增量构建
- 3、任务流编排在线拖拉拽开放的模板市场支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务task的单节点debug分布式任务的批量优先级调度聚合日志任务运行资源监控报警定时调度支持补录忽略重试依赖并发限制定时任务算力的智能修正
- 4、nnikatibray的超参搜索
- 5、tf/pytorch/onnx模型的推理服务serverless流量管控triton gpu推理加速依据gpu利用率/qps等指标的hpa能力虚拟化gpu虚拟显存等服务化能力
- 6、多集群多项目组资源统筹联邦调度
- 1、数据管理:特征平台,支持在/离线特征;数据源管理,支持结构数据和媒体标注数据管理;
- 2、在线开发:在线的vscode/jupyter代码开发在线镜像调试支持免dockerfile增量构建
- 3、训练编排:任务流编排在线拖拉拽开放的模板市场支持tf/pytorch/mxnet/spark/ray/horovod/kaldi/volcano等分布式计算/训练任务task的单节点debug分布式任务的批量优先级调度聚合日志任务运行资源监控报警定时调度支持补录忽略重试依赖并发限制定时任务算力的智能修正
- 4、超参搜索:nnikatibray的超参搜索
- 5、推理服务:tf/pytorch/onnx模型的推理服务serverless流量管控triton gpu推理加速依据gpu利用率/qps等指标的hpa能力虚拟化gpu虚拟显存等服务化能力
- 6、资源统筹:多集群多项目组资源统筹,联邦调度;
# 开源共建

View File

@ -583,7 +583,7 @@ class CeleryConfig(object):
}
}
DOCUMENTATION_URL='' # 帮助文档地址显示在web导航栏
DOCUMENTATION_URL='https://github.com/tencentmusic/cube-studio/tree/master/docs/example' # 帮助文档地址显示在web导航栏
ROBOT_PERMISSION_ROLES=[] # 角色黑名单

View File

@ -583,7 +583,7 @@ class CeleryConfig(object):
}
}
DOCUMENTATION_URL='' # 帮助文档地址显示在web导航栏
DOCUMENTATION_URL='https://github.com/tencentmusic/cube-studio/tree/master/docs/example' # 帮助文档地址显示在web导航栏
ROBOT_PERMISSION_ROLES=[] # 角色黑名单

View File

@ -116,7 +116,6 @@ mv kfctl /usr/bin/
kfctl apply -V -f kubeflow/v1.2.0/kfctl_k8s_istio.v1.2.0.yaml
kubectl delete apiservice v1beta1.webhook.cert-manager.io
# 删除cert-manager 下面的pod
# 部署kfp pipeline
kubectl create -f kubeflow/pipeline/minio-pv-hostpath.yaml

View File

@ -3,7 +3,7 @@
1、编写代码打包镜像推送远程仓库。
2、在Tme Cube Stdio页面上填写信息注册模板。
2、在 Cube Stdio页面上填写信息注册模板。
# 2.job模板规范
@ -21,7 +21,7 @@
### 2.2.关于构建:
1、 统一的构建脚本 sh job/$job_template_name/build.sh
1、 统一的构建脚本 `sh job/$job_template_name/build.sh`
2、 Dcokerfile文件定义镜像构建过程构建路径为当前路径
@ -36,22 +36,50 @@
# 3.注册模板
### 3.1.模板注册入口
Tme Cube Stdio页面上训练->任务模板->添加按钮
在 Cube Stdio页面上训练->任务模板->添加按钮
### 3.2.注册仓库和镜像
Tme Cube Stdio页面上训练->仓库、镜像。先注册完仓库和镜像,再注册任务模板。
在 Cube Stdio页面上训练->仓库、镜像。先注册完仓库和镜像,再注册任务模板。
### 3.3. 其他注册参数
### 3.3 启动参数
启动参数编写实例
```bash
{
"group1":{ # 属性分组仅做web显示使用
"attr1":{ # 属性名
"type":"str", # int,str,text,bool,enum,float,multiple,date,datetime,file,dict,list
"item_type": "", # 在type为enum,multiple,list时每个子属性的类型
"label":"属性1", # 中文名
"require":1, # 是否必须
"choice":[], # type为enum/multiple时可选值
"range":"$min,$max", # 最小最大取值在int,float时使用包含$min但是不包含$max
"default":"", # 默认值
"placeholder":"", # 输入提示内容
"describe":"这里是这个字段的描述和备注",
"editable":1, # 是否可修改
"condition":"", # 显示的条件
"sub_args": { # 如果type是dict或者list对应下面的参数
}
},
"attr2":{
...
}
},
"group2":{
}
}
```
### 3.4. 其他注册参数
参照页面上的说明
### 公共魔法变量
为了便于使用,在配置中支持几个公共的魔法变量,类似占位符,在实际运行中会被展开成实际值,魔法变量的格式为${PARAM_NAME}$,目前支持的有如下几个:
为了便于使用,在配置中支持几个公共的魔法变量,类似占位符,在实际运行中会被展开成实际值,魔法变量的格式为`${PARAM_NAME}$`,目前支持的有如下几个:
__${PACK_PATH}$__包目录即用户自己代码数据等所在目录例如/mnt/lionpeng/ai_radio_v2。这个目录是分布式存储挂载到集群worker docker中的目录该目录会挂载到pipeline中每一个job对应worker docker中。
`__${PACK_PATH}$__`:包目录,即用户自己代码数据等所在目录,例如/mnt/lionpeng/ai_radio_v2。这个目录是分布式存储挂载到集群worker docker中的目录该目录会挂载到pipeline中每一个job对应worker docker中。
__${DATA_PATH}$__: 数据目录表示pipeline一次运行的目录这里面会存放本次运行中各job产生的数据包括用户自己代码所产生的数据都放在这里。每次运行目录是不一样的便于每次运行之间隔离另外也是便于同一次运行中上下游job进行数据交互。例如/mnt/lionpeng/ai_radio_v2_runs/20201021-141656.624784。同样该目录也会挂载到pipeline中每一个job对应worker docker中。
`__${DATA_PATH}$__`: 数据目录表示pipeline一次运行的目录这里面会存放本次运行中各job产生的数据包括用户自己代码所产生的数据都放在这里。每次运行目录是不一样的便于每次运行之间隔离另外也是便于同一次运行中上下游job进行数据交互。例如/mnt/lionpeng/ai_radio_v2_runs/20201021-141656.624784。同样该目录也会挂载到pipeline中每一个job对应worker docker中。
__${DATE[(-|+numd|w|h|m|s][:format]}$__: 日期变量,例如${DATE}$表示任务运行时的时间。该变量还支持偏移偏移单位支持d(天)w(星期)h(小时)m(分钟)s(秒)y(年)M(月)。例如${DATE-1d}$表示运行日的前一天例如今天是20201021则${DATE-1d}$展开后就是20201020而${DATE+2d}$则表示运行日的后两天即20201023。另外支持指定日期的格式化格式默认格式是%Y%m%d格式化符号与python datetime格式化符号一致可参考说明。例如当前时间是2020年10月21日早上10点5分35秒${DATE-1d:%Y-%m-%d %H:%M:%S}$的展开结果就是"2020-10-20 10:05:35"
`__${DATE[(-|+numd|w|h|m|s][:format]}$__`: 日期变量,例如${DATE}$表示任务运行时的时间。该变量还支持偏移偏移单位支持d(天)w(星期)h(小时)m(分钟)s(秒)y(年)M(月)。例如`${DATE-1d}$`表示运行日的前一天例如今天是20201021则${DATE-1d}$展开后就是20201020而${DATE+2d}$则表示运行日的后两天即20201023。另外支持指定日期的格式化格式默认格式是%Y%m%d格式化符号与python datetime格式化符号一致可参考说明。例如当前时间是2020年10月21日早上10点5分35秒`${DATE-1d:%Y-%m-%d %H:%M:%S}$`的展开结果就是"2020-10-20 10:05:35"
__${ONLINE_MODEL}$__线上模型用于在评估任务方便用户拉取线上模型进行指标对比关于评估任务见后面详述。
`__${ONLINE_MODEL}$__`:线上模型,用于在评估任务方便用户拉取线上模型进行指标对比,关于评估任务见后面详述。

Binary file not shown.

After

Width:  |  Height:  |  Size: 14 KiB

View File

@ -47,7 +47,7 @@
>
<i class="fa fa-user"></i>&nbsp;<b class="caret"></b>
</a>
<img src="https://xx.xx.xx.xx/{{ g.user.username }}.png" class="di-avatar" />
<img src="/static/assets/images/user.png" class="di-avatar" />
<ul class="dropdown-menu">
<li><a href="javascript:;">Hi, {{ g.user.username }}</a></li>
<li><a href="{{appbuilder.get_url_for_userinfo}}"><span class="fa fa-fw fa-user"></span>{{_("Profile")}}</a></li>