防坑指南，搞深度学习小白必备的服务器装机知识
很多时间，我们想要跑大模子，但是实行室的算力资源有限，分到每一个同砚身上就更少了，有的同砚大概会选择去租赁算力，但是时间长了就不是很划算了，有时间导师会给我们一笔钱让我们去组装一台用于深度学习的服务器，那么究竟知道哪些必要知识能让我们装机的时间少被商家坑呢？https://i-blog.csdnimg.cn/direct/c7964835ac224a54b93ab11a71de5818.png
起首明白一个点，我们必须把大部分预算都花在显卡上面。
显卡：
英伟达重要有3种级别的显卡：
一GeForce系列
这个是消费级别的显卡，熟知的重要有4090、3090等系列，面向游戏玩家和平凡用户，重要用于打游戏和家庭娱乐，不外旗舰系列的显卡如4090也由于他们的性价比高，用于中小模子的训练也是比力划算的。
二 Quadro系列
专业级GPU产品线，这个系列熟知的有英伟达A6000、A5000，具备强大的计算本领、大容量显存和专业特性，业内叫这个系列为图形卡，重要用于图像渲染、动画制作等领域。
三 Tesla系列
高性能计算GPU产品线，集成了深度学习加速器（如NVIDIA Tensor Cores），提供快速的矩阵运算和神经网络推理本领，熟知的有A100、V100、H100等等卡，重要用于人工智能和深度学习。
显卡我们重要关注以下几个方面：1显卡架构 2计算本领：包罗单精度（FP32）、双精度（FP64）浮点性能，以及Tensor焦点提供的混合精度 3显存大小 4是否支持nvlink，这对于进步多卡互联的速度很有帮助
以下面设置一台预算7W块，重要用于深度学习的服务器为例。
我们的应用领域重要是深度学习的训练，这时间V100 SXM版本的性价比就突显出来了，v100基于volta架构，选用32GB显存的，单精度浮点性能达到了14 TFLOPS，Tensor性能有112TFLOPS，在当前这个时间依然能打。 nvlink版本的相比平凡版本能提供更高的带宽和更低的通讯延迟，尤其在使用多卡的情况能允许多个GPU之间实现高速数据传输和协同工作，大幅加速计算过程，大模子的训练中，可否支持nvlink很重要。 别的32GB的显存也能支持跑大多数主流模子了。
CPU
CPU不必选得太好，不要太拖GPU的后腿就行了，一般而言选择英特尔至强金牌系列的2代大概3代的cpu性价比力为不错，焦点数选择20焦点及以上的一般就能满意要求，像这款英特尔的至强金牌6133，就还可以，缓存为27.5MB，焦点数是20，此中6代表他是金牌系列的，1则是代表他是至强系列的第一代产品，CPU的话设置一般我们选择2个。
准体系
可以明白为服务器框架，各家的准体系着实都差不多，主流的有超微的大概戴尔的，重要看它能支持第几代CPU和GPU，以及最多能插多少张GPU，能插几张的，我们一般就叫它几卡服务器。比如这款设置中的准体系DELL C4140，支持两个第一代Intel® Xeon®可扩展处理器，每个处理器多达20个焦点，也支持V100等gpu，最高可支持4个，还支持多达24个DDR4的内存。准体系的话，一般我们选择主流品牌内里能满意要求的，代价最低的就可以了。
内存
在设置内存时，内存大小一般为显存的两倍，内存现在重要有ddr4和ddr5两种版本的，重要看你选择的准体系支持什么版本，另一个内存的关键指标就是频率，
内存频率越高，内存模块在单位时间内可以传输的数据量就越大，这可以进步数据读写速度，从而提升体系的整体性能。不外内存并非焦点部件，一般而言选择主流厂商里能满意要求的最自制的内存即可，上述案例我就选择了镁光的8块DDR4 24G的内存，频率为2933。
硬盘
硬盘重要分为两块，一块是体系盘，一块用作存储盘，体系盘一般选择480g至1T的SSD硬盘作为体系盘就可以了，存储盘的话一般选个2T的就足够了，除非你要存储的数据量很大，才需要选择10T以上的机械硬盘，否则的话2T的固态硬盘也足够了。硬盘也是选择主流厂商最自制的固态硬盘即可，主流的厂商有三星、希捷、东芝等。像上述案例选了Intel最自制的480g的固态硬盘，只要100来块，再设置一块2T的固态硬盘即可。
网卡和电源
网卡作为非焦点项目，无需别的设置，除非对网络的稳定性和速度有较高要求。电源的选配很简单，把CPU、GPU的功率算进去再增加一些冗余电源，以防意外事件发生即可。在上述案例中4张GPU和2个cpu的功率一共是1500W，再思量其他设备的功率，选用2000W电源足够了。
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。
页:
[1]