- 简介
- 目录大纲
- 最新文档
- 文集下载
LLaMa部署
总览 训练 LLaMA-33B/65B 训练的硬件配置: 32 x Ascend NPUs 拷贝仓库 git clone https://gitee.com/ascend/AscendSpeed.git cd AscendSpeed mkdir logs mkdir ckpt 搭建环境 ``` python3.8 conda create -n llama python=3.8 conda act……
zhangyuheng - 2024年11月14日 16:29
MindFormers
MindSpore Transformers（MindFormers） 一、介绍 MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件，提供业内主流的Transformer类预训练模型和SOTA下游任务应用，涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。 MindSpore Transformers套件基于MindSp……
zhangyuheng - 2024年10月30日 09:59
AICC实践
AICC上使用Mindformers教程 AICC，人工智能计算中心，提供ModelArts服务和Ascend算力。 MindFormers套件当前具备AICC适配的特性，用户在ModelArts平台启动集群训练时，无需额外增加上云训练适配代码，套件将自动进行： 从OBS拉取训练所需数据至训练镜像； 统一训练输出路径； 训练后将训练输出整体回传指定文件夹； 训练过程中，通过回调函数将训练输出回传……
zhangyuheng - 2024年10月30日 09:58
低参微调
低参微调 概述 在深度学习模型的微调过程中，通常需要更新模型所有的权重，这会导致大量的计算资源消耗。LoRA（Low-Rank Adaptation）是一种通过将模型的部分权重矩阵分解为低秩矩阵来显著减少微调所需参数量的技术。结合华为昇腾AI处理器及MindSpore深度学习框架，以及MindFormers大模型套件，LoRA能够轻松应用于大规模预训练模型（如Llama2）的低参微调，提供高效且灵……
zhangyuheng - 2024年10月30日 09:52
大模型能力
总览 华为Ascend昇腾处理器全面支持大模型训练推理与部署，并为大模型工作流提供了独立的门户网站 ModelZoo。其涵盖了 LLM语言大模型、Multimodal图文多模态、CV视觉大模型 三大类别的多种开源大模型方案。 硬件支持
zhangyuheng - 2024年10月24日 11:19
