Ascend笔记
昇腾产品形态
大模型能力
MindFormers
低参微调
AICC实践
LLaMa部署
Ascend 上的 vLLM
310芯片运行LLM
-
+
首页
昇腾产品形态
# 昇腾产品形态 学习昇腾首先需要对昇腾系列的所有硬件有一个总体的认知。 ## 两种模式 以昇腾AI处理器的PCIe(Peripheral Component Interconnect Express)的工作模式进行区分,如果PCIe工作在主模式,可以扩展外设,则称为RC(Root Complex)场景;如果PCIe工作在从模式,则称为EP(Endpoint)场景。 ## 昇腾 AI 处理器的工作场景 - 昇腾310 AI处理器有EP和RC两种场景。 - 昇腾310P AI处理器只有EP场景。 - 昇腾910 AI处理器只有EP场景。 ## 工作场景对应产品 ### 支持RC场景的产品 Atlas 200 AI加速模块、Atlas 200 DK开发者套件。 产品的CPU直接运行用户指定的AI业务软件,接入网络摄像头、I2C传感器、SPI显示器等其他外挂设备作为从设备接入产品。 ### 支持EP场景的产品 1. 昇腾310 AI处理器:Atlas 200 AI加速模块、Atlas 300I推理卡、Atlas 500智能小站、Atlas 500 Pro智能边缘服务器、Atlas 800推理服务器。 2. 昇腾310P AI处理器:Atlas 300I Pro推理卡、Atlas 300I Duo推理卡、Atlas 300V视频解析卡、Atlas 300V Pro视频解析卡。 3. 昇腾910 AI处理器:Atlas 800 训练服务器、Atlas 300T训练卡、Atlas 300T Pro训练卡。 EP场景通常由Host侧作为主端,Device侧作为从端。客户的AI业务程序运行在Host系统中,产品作为Device系统以PCIe从设备接入Host系统,Host系统通过PCIe通道与Device系统交互,将AI任务加载到Device侧的昇腾 AI 处理器中运行。 ![1729737362745.png](https://ssl.lunadeer.cn:14437/i/2024/10/24/6719b297cffe4.png) ## Host和Device的概念说明 - Host:是指与昇腾AI处理器所在硬件设备相连接的X86服务器、ARM服务器,利用昇腾AI处理器提供的NN(Neural-Network)计算能力完成业务。 - Device:是指安装了昇腾AI处理器的硬件设备,利用PCIe接口与服务器连接,为服务器提供NN计算能力。
zhangyuheng
2024年10月24日 10:38
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
分享
链接
类型
密码
更新密码