ToB企服应用市场:ToB评测及商务社交产业平台

标题: AI之HardWare：人工智能领域之大模型部署硬件设置的简介(人工智能超算的GPU [打印本页]

作者: 宁睿 时间: 2024-6-15 03:51
标题: AI之HardWare：人工智能领域之大模型部署硬件设置的简介(人工智能超算的GPU
AI之HardWare：人工智能领域之大模型部署硬件设置的简介(人工智能超算的GPU运算服务器硬件设置)、履历案例

目录
相关文章
AI之HardWare：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPU/TPU、GeForce【3090-4090】/Tesla【A800-A100/V100】)、服务器搭建(GPU集群、节点、GPU卡/显卡)之详细攻略
大模型部署硬件设置
人工智能超算的GPU运算服务器硬件设置案例：8* A100-80G
大模型训练服务器集群服务器硬件设置案例：8* A800-80G
准体系：8*4090-24G

相关文章

AI之HardWare：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPU/TPU、GeForce【3090-4090】/Tesla【A800-A100/V100】)、服务器搭建(GPU集群、节点、GPU卡/显卡)之详细攻略

AI：人工智能领域之大模型部署两大设计方案(本地搭建服务器+调用云厂商服务)、服务器和硬件相关技术的简介(GPU/TPU、GeForce【3090-4090】/Tesla【A800-A100/V100_ai服务器方案-CSDN博客

大模型部署硬件设置

人工智能超算的GPU运算服务器硬件设置案例：8* A100-80G

	型号	个数
服务器平台	超微4U机架式8KGPU体系	可支持8个GPU显卡和4个冗余电源
GPU	NVIDIA显卡A100-80G	6张，总容量共计480G显存
CPU	接纳AMD霄龙7702，64核心128线程	2颗
内存	内存三星64G DDR4 ECC	8条，总容量共计512G内存
硬盘	英特尔1.92T企业级SSD	8个
电源	2000瓦电源模块	4组，2+2冗余
散热器	塔式5导管散热器	2个
阵列卡	SAS 12GB RAID1O阵列卡	1个
网卡	NTL10G万兆网卡	1个

大模型训练服务器集群服务器硬件设置案例：8* A800-80G

	型号	个数
服务器平台
GPU	NVIDIA显卡A800-80G	8张，总容量共计640G显存
CPU
内存	内存条960G	2块
硬盘	4T NVME 固态硬盘	2个
电源	3000瓦电源模块	4组
散热器	风扇	6组
阵列卡
网卡	200G IB网卡	1个

准体系：8*4090-24G

	型号	个数
服务器平台	准体系Barebone System 主板：超微SuperMicro主板支持8个PCIE4.0接口电源：热插拔CRPS冗余电源模块机箱：宽482.6mmx深650mmx高177.8mm(4U)
GPU	NVIDIA显卡GeForce RTX 4090-24G 涡轮公版	8张
CPU	英特尔至强三代铂金Intel Xeon 8352V 36核2.2GHz	2个
内存	服务器版DDR4 64G 2400MHz	2块
硬盘	SSD企业级480G固态、SSD企业级1.92T NVME	2个
电源
散热器
阵列卡
网卡	10G万兆网卡-双光口模块	1个

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

欢迎光临 ToB企服应用市场:ToB评测及商务社交产业平台 (https://dis.qidao123.com/)