先自我介绍一下，小编浙江大学结业，去过华为、字节跳动等大厂，目前阿里P7
深知大多数程序员，想要提拔技能，每每是自己探索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！
因此网络整理了一份《2024年最新大数据全套学习资料》，初志也很简朴，就是盼望可以大概帮助到想自学提拔又不知道该从何学起的朋友。
既有适合小白学习的零底子资料，也有适合3年以上经验的小伙伴深入学习提拔的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
由于文件比较多，这里只是将部分目次截图出来，全套包含大厂面经、学习笔记、源码课本、实战项目、大纲路线、讲解视频，并且后续会持续更新
如果你需要这些资料，可以添加V获取：vip204888 （备注大数据）
正文
| 工控小主板* | Intel DN2800MT | 再加 2GB内存、32GBSSD | 1000 |
| | | | 合计：19380 |
- 在单机方案中，不要工控小主板；在双机方案中，只采取一块 250GB 的固态盘。
- 配件可在美国、日本、中国台湾的亚马逊上购买，整体代价大概便宜 30% 左右。
全部采取一线品牌的配件能包管最大的稳定性，本方案根本上就是服务器的配件，也能达到服务器的高可靠性。4 核英特尔至强 CPU 相比同类型的 AMD CPU，代价要贵很多，但是能提供更大的固态盘带宽和更高的内存通信性能。
华硕的这块服务器主板支持双路至强，为以后纵向扩容预留了空间。内存具备主动纠错功能（ECC），每根内存虽然比没有纠错功能的内存要贵 200 多元，但是大大进步了稳定性，制止了因内存导致的蓝屏、死机等标题，以是还是比较划算的。
固态盘采取英特尔产品，因为这个牌子的固态盘稳定性早已被业界认同，同时 IOPS 能达到 4000 以上，只是代价有点贵。
海韵（Seasonic）额定 660W 的电源代表业界最可靠的电源，对于 300W 左右的负载，这款电源的电源转换效率最佳，600W 的额定功率也为以后扩充配置预留了足够的余量。
600GB 的企业级万转 SAS 机械硬盘就是为 7×24 小时运行设计的，机械硬盘 IOPS 远远落后于固态盘，但是比 SATA 机械硬盘要先辈，大容量、低代价是其两大优势。
Intel DN2800MT 工控小主板无风扇静音运行，用它来组建域控能包管十拿九稳。
配单中，主机配件不包括 NAS 和工控小主板，而且 4 核 CPU 和固态盘还有进一步贬价的空间，预计一年后整机代价应该还可以下降千元以上。
2. 中档配置
中档配置如表 2 所示。
配件名称型号参数大致报价（元）CPUIntel 酷睿 4 核 i7-4770k2300主板华硕 SABERTOOTH Z87 主板1800内存4 根金士顿（Kingston）骇客神条 Blu 系列 DDR3 1600 8GB1800固态盘（体系）英特尔（Intel）S3500 系列 SATA 6Gbit/s 固态硬盘 2.5 英寸 120G980固态盘（数据）2 块英特尔（Intel）S3500系列 SATA 6Gbit/s固态硬盘2.5英寸 240G3800电源海韵（Seasonic）额定 660W P-660 电源80PLUS 白金牌/全模组/支持双 CPU/支持 SLI/支持背线900硬盘1 块西部数据（WD）SE 系列 2TB 7200 转 64M SATA3 企业级 硬盘（WD2000F9YZ）1000NAS西部数据（WD）My Cloud 3.5 英寸个人云存储4TB（WDBCTL0040HWT-SESN）1600工控小主板*Intel DN2800MT 再加 2GB 内存、32GBSSD1000合计：14280 这是台式机的配置，稳定性不如服务器。
3. 低档配置
低档配置如表 3 所示。
配件名称型号参数大致报价（元）CPUIntel 酷睿 4 核 i7-4770k2300主板华硕 Z87-A 主板870内存4 根金士顿（Kingston）骇客神条 Blu 系列 DDR3 1600 8GB1800固态盘（体系）英特尔（Intel）S3500 系列 SATA 6Gbit/s 固态硬盘 2.5 英寸 120G980固态盘（数据）英特尔（Intel）S3500系列 SATA 6Gbit/s固态硬盘2.5英寸 240G1900电源安钛克（Antee）额定 450W TP-450 电源12cm 大风扇/80PLUS 金牌500硬盘1 块西部数据（WD）RE 系列 1TB 7200 转 64M SATA3 企业级硬盘（WD1003FBYZ）600NAS西部数据（WD）My Cloud 3.5 英寸个人云存储2TB（WDBCTL0040HWT-SESN）1000工控小主板*Intel DN2800MT 再加 2GB 内存、32GBSSD1000合计：10950 相比高档配置，本款配置在性能方面略微低落了一些，在可靠性方面低落得比较多。对于小微型成本敏感的公司来说，可以考虑采取本配单。
4. 家庭虚拟化主机
对于家庭虚拟化主机，还可以进一步低完工本，表 4 所示为一个参考配单。
配件名称型号参数大致报价（元）CPUIntel 酷睿 4 核 i5-44301200主板技嘉 B85M-D3H 主板550内存2 根金士顿（Kingston）骇客神条 Genesis 系列 DDR3 1600 4GB500固态盘（数据）1 块英特尔（Intel）S3500系列 SATA 6Gbit/s 固态硬盘 2.5英寸 240G1900电源安钛克（Antee）额定 450W TP-450 电源12cm 大风扇/80PLUS 金牌500硬盘1 块西部数据（WD）RE 系列 1TB 7200 转 64M SATA3 企业级硬盘（WD1003FBYZ）600移动硬盘西部数据 Elements 新元素系列 2.5 英寸 USB3.0 移动硬盘 2TB700合计：5950 本配置能轻松动员 6 个以内的云终端。
终端选型：微算技术有限公司设计的云终端。
软件选型
小型私有办公云目前还是以微软桌面为主，用户风俗了利用微软的那套软件，等将来利用体系与硬件捆绑时，到底利用什么利用体系就无所谓了，毕竟我们在乎的是应用软件，就像今天的 iPad，不用安装利用体系，直接在线安装需要的应用软件即可。软件选型如表 5 所示。
软件类型软件选型备注利用体系Windows Server 2012 R2开启多用户功能办公套件Microsoft Office 2013也可以采取金山公司的 WPS，与微软的办公软件兼容上网浏览器Google Chrome或者利用 Firefox，建议不用微软的 IE即时通信QQ、Skype平面图形处置惩罚工具Photoshop 或 FireworksFireworks是简化版，易学、易用矢量图形处置惩罚工具微软的Visio 20133D 图形工具Solidworks易学、易用PDF 阅读器Adobe Reader输入法搜狗拼音输人法、极品五笔音乐播放器酷狗或 QQ 音乐视频播放器暴风影音解/压缩工具Winrar下载工具迅雷项目管理工具微软的 Project 2013知识管理工具微软的 OneNote 2013结合 OneDrive 网盘，可以实现资料随地访问广播讲授软件NetSupport School针对培训或者需要监控用户桌面的方案容器Windows Server Container 或 Hyper-V Container 实现 Windows Server 2012 R2 支持多用户桌面的方法有两种：第一种是开启远程桌面服务脚色，并购买相应数量的允许证；第二种是打上多用户补丁，这个方法虽然成本低，但是存在法律风险。如果需要创建虚拟机，则还需要启用利用体系的 Hyper-V 脚色。
NetSupport School 是针对教育培训机构的广播讲授软件，当然也适合监控员工桌面的企业私有办公云，利用它之后，公司老板可以实时监控其他员工的桌面使命。
部署与运维
1. 单机部署
1）安装和配置利用体系。
把机器硬件装配好，并设置好硬件阵列，把两块固态盘做成 RAID 1。如果有两块机械硬盘，也做成 RAID 1。
安装 Windows Server 2012 R2 到 120GB 的 SSD 上并打上最新的补丁；额外安装这些脚色和功能：数据重复删除、桌面体验、存储服务、Hyper-V、用户界面与底子结构、Windows Server Backup。
定名好机器名称；把两块网卡捆绑在一起（服务器管理器→本地服务器→单击NIC组合旁边的“已禁用”→……）。
创建固态盘和机械硬盘混淆的存储池（服务器管理器→文件和存储服务→存储池→新建存储池→……），再在存储池上创建虚拟磁盘，可以考虑为这些类别创建专门的虚拟盘：页文件、C：\Temp 目次、用户桌面环境、公司内的共享资料。
对存放用户数据和共享数据的磁盘启用重复数据删除，页文件指定常驻 SSD 中（采取命令 Set-FileStorageTier-FilePath＜PATH＞-DesiredStorageTier$tier_ssd 完成，采取命令 Clear-FileStorageTier-FilePath ＜PATH＞解除）。把 Windows Server 2012 R2 优化为桌面应用。
2）用户、配额和远程桌面。
创建 60 个用户并加入“Remote Desktop Users”组和“Users”组，可以采取命令 net user、net localgroup、wmic useraccount 等写成批命令来主动化完成创建用户的使命。
C：盘上的目次 C：\Users 转向到其他磁盘，并针对用户启用磁盘配额。
对利用体系启用远程桌面并打上多用户补丁或者安装远程桌面服务功能。
3）安装并配置应用软件。
4）创建若干台虚拟机（这一步可选）。
5）善后处置惩罚。
- 打上全部软件的最新补丁。
- 隐藏无须让用户知晓的分区。
- 配置好防火墙。
- 设置好备份筹划。
- 对整台服务器做一次完备备份（利用：服务器管理器→工具→ Windows Server Backup：体系备份→一次性自界说备份→勾选“裸机恢复”项，其他关联项主动被选中）。
知识小贴士
- 裸机恢复：当整个体系损坏（含硬盘损坏）时采取裸机恢复，用启动光盘启动→修复盘算机→疑难解答→体系映像恢复，然后根据提示利用即可。
- 启动体系盘写保护（采取 UWF 或者 Enhanced-Write-Filter 技术）。
2. 双机部署
双机部署与单机部署相比，多了机器间的同步配置、域控搭建等步骤。
1）安装域控。
在图 2 中的域控上安装 Windows Server 2012 R2 利用体系，取机器名 BaseDS，网卡设为固定 IP 地点，然后配置 AD DS，域名为 weisuan.com。创建 workmen 全局安全组，创建用户 workmanN（N=1～60），都加入 workmen 组。两台服务器分别定名为 Node1 和 Node2，都加入域。域控上的 workmen 组加入两台服务器的本地组“Remote Desktop Users”中。
2）配置“DFS复制”（只在 Node1 上利用）。
完成两台盘算机间数据文件的双向同步，创建一个复制组，加入需要同步的目次。注意，对于 E：\Users 目次，子目次 TEMP、Administrator、Administrator.WEISUAN 不同步。只针对 E：、F：两个盘做同步计谋，D：盘的虚拟机文件改动频繁，建议一天或半天同步一次，其他两个盘做成实时同步。
3）配置“网络负载均衡”（只在 Node1 上利用）。
在服务器管理器中，单击“工具→网络负载均衡管理器”。新建集群，加入 Node1 和 Node2 两台盘算机，选择直连的网卡，属性有：名称=remotedesktop，集群利用模式=单播，端口规则=端口范围 3389—3389，筛选模式=多个主机，相关性=单一。
知识小贴士
单播——参与集群的全部机器的网卡配成雷同Mac地点，如果机器只有一块网卡，那么这些机器之间无法通信，只能作为一个整体与外界通信。
多播——网卡的Mac地点各不雷同，因此集群中的机器可以互相通信，对外时需要支持多播的路由器配合。
当机器有多块网卡时，建议选择单播。反之，选择多播。“单一”相关性，来自雷同源地点的会话路由到雷同的服务器上；“无”相关性，以会话为单位平均路由到各个服务器上；“网络”相关性，来自雷同源地点的会话被路由到一个网段内的服务器上。
中型云盘算平台的搭建以及办理方案（超详细）
本节我们来讲怎样搭建中型的云盘算办理方案，文中的软件选型和部署运维与搭建小型方案时大致雷同，在文中不过多赘述了。各人可先阅读教程《怎样搭建一个小型的云盘算平台》。
需求分析
能满足 100～500 个用户日常办公的需要，每个用户分配一个账号，从而使其能在任何一台云终端上登录云端桌面，实现公司内部的移动办公。应用场所包括大型的阅览室、培训教室、中型公司、大型门柜业务等。
体系设计
我们继续在前面双机方案的底子上做纵向和横向扩展：起首，在纵向上进步单台机器的硬件配置，从而进步每台盘算机的性能。
其次，在横向上添加更多的机器，比如每台机器能服务 80 个用户，那么 5 台机器就能服务 400 个用户。继续采取分布式存储并定期同步的计谋，不引入会合存储装备，这样一来可以低完工本，二来可以简化体系架构。
对 3389 端口做负载均衡处置惩罚。中型方案的体系框图如图 1 所示。
图 1 中型方案体系框图
为了增长可靠性，我们增长了一台域控，同时为了进步容量和磁盘性能，采取两块高速机械硬盘做成 RAID 0，并选购更好的固态盘。5 台机器的数据存储做成实时同步，用户登录时通过负载均衡技术被平摊到每台机器上，当某台机器故障时，该台机器上的用户被重新分配到其他机器上。
仍然采取 Windows Server 2012 R2 利用体系，利用利用体系自带的集群、分布式文件体系（DFS）、Hyper-V、备份等组件。
硬件选型
单台盘算机的配置尽量参考表 1，可以自己组装，也可以购买类似配置的品牌盘算机，但是目前还没有 SSD+HDD 混搭存储的商用盘算机。
配件名称型号参数大致报价（元）CPU英特尔至强E5-2620V22800主板华硕 Z9PE-D16C/2L支持双路，最大 512GB内存3300内存4 根金士顿 DDR3 1600 16G RECC64GB总容量5000固态盘（体系）英特尔（Intel） S3500 系列 SATA 6Gbit/s 固态硬盘2.5英寸120G980固态盘（数据）OCZ 25SAT3-512GSATA 6.0 GBit/s,100K IOPS4000电源海韵（Seasonic ）额定 660W P-660 电源 80PLUS 白金牌/全模组/支持双 CPU/支持 SLI/支持背线900硬盘2 块西部数据（WD）迅猛龙 1TB 企业级硬盘（WD1000DHTZ）SATA6Gbit/s 10000 转 64M3000NAS西部数据（WD） My Cloud EX4 系列 NAS 网络存储云存储 8T WDBWWD0080KBK-SESN6000工控小主板*2 块 Intel DN2800MT再加 2GB 内存、32GBSSD2000合计：27980 不计 NAS 和工控小主板，一台机器的代价在 2 万元以内；如果直接从美国进货，则每台机器可控制在 1.5 万元以内；如果购买品牌服务器，要达到雷同的性能，代价在 3 万元以上。本配置单支持以后做纵向扩容：增长一块 CPU、增长内存、增长硬盘。
软件选型
软件选型与前面的“小型方案”雷同。
部署与运维
与前面“小型方案”的“双机部署”大致雷同，不过在配置 DFS 同步和集群时涉及 5 个节点。
大型云盘算平台的搭建以及办理方案（超详细）
本节重要教各人怎样搭建一个大型的云盘算平台，读完之后你会对云盘算有一个更加清楚的认识。
需求分析
能接入 500 台以上的云终端，可以满足大型公司内各类员工的办公需求。公司员工用各自的账号能在公司内部的任何云终端上登录自己的远程桌面，实现公司内部移动办公；同时，要求出差在外的员工也能安全访问远程桌面，公司安全管理部门能监控到外发的电子文档资料。对于一家大型公司来说，云终端用户的根本分类如表 1 所示。
序号用户类型特征常用利用1访客非公司员工在公司内的公共场合，如会场、餐厅、休息室、大堂、接待室等利用盘算机查询、上网、娱乐等2合作伙伴授权访问、外部接人与特定的接口人交换信息等3普通文员采取一般的轻量级的软件处置惩罚日常笔墨工作、生产调度等，涉及的信息重要级别低笔墨处置惩罚、收发邮件、上网、音视频娱乐、ERP 等4重要文员涉及的信息安全级别高，如财政会计、人事档案、项目管理、工资福利等，要求用户间的隔离效果好、可用性高、数据安全性高等。业务软件利用、文件处置惩罚、收发邮件、上网、音视频娱乐、ERP 等。5研发职员信息安满是关键，项目团队与外围必须绝对隔离，斲丧较多的盘算资源研发工具、文件处置惩罚、收发邮件、上网、音视频娱乐等。6向导利用轻量级的软件，但是信息安全级别最高，应用可用性要求最高笔墨处置惩罚、审批、 收发邮件、上网、音视频娱乐、ERP 等。7业务职员市场部、采购部、安全部门的员工，他们的共性屎要求信息绝对安全，可用性高。业务软件利用、笔墨处置惩罚、 收发邮件、上网、音视频娱乐、ERP 等。8IT运维职员他们除运维外，还要对新技术、新方案做测试和评估运维软利用、测试评估、笔墨处置惩罚、收发邮件、上网、音视频娱乐等。 体系设计
1. 技术背景
根据用户在云端共享条理（拜见《IT体系组成》教程）的不同，有如下几种实现技术。
1）共享信息和技术（Ⅰ 型）
这是最轻量级的，所有的人都用同一个账户登录，进入同一个用户环境，可运行同一个程序会合的程序，每个人的数据集对其他人可见。用户一退出，其盘算痕迹全部被删除。本方法特别实用于公共场所，如图书馆的多媒体阅览室、教育培训机构的盘算机室、智能会议室、查询终端等。
2）独占信息、共享技术（Ⅱ 型）
这是较轻量级的，即每个用户独占数据集和少量应用软件，共享硬件、体系软件（如利用体系）和大部分应用软件。这就是多用户体系，Linux 利用体系是一个典范的多用户体系，Windows 的远程桌面服务也是多用户体系。
多用户体系又存在以下两种实现方法：
- RemoteApp 方式，即在本地创建快捷方式，指到云端的程序（程序安装在云端并在云端运行）。
- 远程桌面方式，用户直接登录到云端并进入自己的用户环境。
这两种方法都要求事先在云端创建账号，并配置用户环境。在第一种方法中，当用户双击快捷方式时，会主动登录云端（账号和暗码事先配置好），然后在云端盘算。第二种方法是人工登录到云端桌面。
RemoteApp 方式可以实现“单一入口、分工盘算”的目的，即若干台云端服务器可以分工盘算，比如有的服务器运行办公软件，有的服务器运行多媒体软件，有的服务器运行游戏软件，有的服务器专门用于科学盘算，等等，然后把这些程序都整合到用户的桌面上来。
为了实现这种“单一入口、分工盘算”的目的，必须采取单点登录（用户会合认证）和家目次漫游。用户的桌面可以在本地，也可以在云端（专门用一台服务器存放桌面），桌面上的快捷方式可以由用户自己创建（但规定了可选择的程序集），也可以由体系管理员推送过来。当用户数达到几百、上千甚至上万时，采取 RemoteApp 方式较合适。
3）独占信息和应用软件，共享硬件和利用体系（Ⅲ 型）
这是基于利用体系层面的虚拟机，也称为“容器”（常说的 VPS，即虚拟私有服务器）。每个 VPS 都拥有自己的 IP、根文件体系、用户认证体系，以及应用软件集，但是同一台物理机器上的 VPS 共享底层的利用体系内核，用户利用 VPS 就像利用一台单独的物理机器（但是涉及利用体系内核修改的利用是禁止的，比如我们常常会在 Linux 下重构内核，这在 VPS 中是不允许的）。
从整台物理机来看，由于内存中只有一个利用体系在运行，以是与全虚拟机相比，物理机能输出更大的有效盘算本领，也能承载更多的“容器”，容器数量几乎多出一倍。别的，与上面两种方法相比，VPS 能达到更好的数据隔离效果。本技术方案特别适合个性化用户和要求数据隔离良好的应用，绝大多数 VPS 提供商都会采取。
4）虚拟机（Ⅳ 型）
虚拟机共享硬件和 Hypervisor 层（有的是利用体系，有的是虚拟层），独占利用体系、应用软件和信息。
与 Ⅲ 型相比，虚拟机具备更佳的隔离效果，用户透明度更高，远程用户几乎不能分辨自己利用的到底是虚拟机还是物理机，在物理机上能进行的利用在虚拟机里都能进行。但是由于一台物理机同时运行多个利用体系，以是资源浪费更大。对于一些要做深度开发的技术工程师（如程序开发员），建议给他们创建虚拟机，允许他们配置虚拟机硬件、安装利用体系、安装开发工具等。
5）物理机（Ⅴ 型）
这是最重量级的，即独占网络层以上的全部信息和技术，直接给用户分配物理机。用户通过远程管理卡毗连到物理机，从而可以开关机、配置 BIOS 参数、安装利用体系、配置网络参数、安装应用软件等。物理机的隔离效果最佳，用户个人体验最佳，但是成本也最高。对于一个单位构造的IT工程师，建议给他们分配物理机。
2. 体系拓扑
根据公司用户分类和 IT 体系条理的不同，可制成表 2。
序号用户类型终端数桌面类型备注服务器1访客100先 Ⅳ 型后Ⅰ型单独利用两台服务器，并与其他服务器在网络上隔离2 台2合作伙伴100先 Ⅳ 型后SaaS型单独利用服务器，每个应该利用一台虚拟机来承载2 台3普通文员350先 Ⅳ 型后 Ⅱ 型与本表序号 7 中的业务职员公用雷同的物理机：10台4重要文员80直接 Ⅳ 型虚拟机隔离5研发职员250先 Ⅴ 型后 Ⅱ 型或先 Ⅳ 型后 Ⅱ 型研发部与其他部门先物理机隔离，然后各个项目间虚拟机隔离，人与人之间可采取容器隔离9 台6向导20先 Ⅴ 型后 Ⅳ 型后 Ⅱ 型先与其他部门做物理机隔离，然后向导间做虚拟机隔离2 台7业务职员400先 Ⅳ 型后 Ⅱ 型8IT运维职员50V 型和 Ⅳ 型部门 Ⅴ 型，部门 Ⅳ 型5 台+若干台低配裸机 对表 2 剖析如下：
1）公司向导的数据和应用特别重要，以是每个向导分配一台虚拟机，向导的虚拟机运行在专门的两台服务器上，两台物理服务器做成集群。
2）研发职员的重要水同等同于公司向导，他们具备大致雷同的利用行为，以是也采取专门的物理服务器。但是同一个项目成员之间保密度不高，他们之间每每需要共享很多文档资料和源代码，并利用雷同的开发工具，以是建议他们利用多用户远程桌面（先 Ⅳ 型后 Ⅱ 型）。
不同项目组之间应施行严格的隔离措施，即不同的项目组采取不同的虚拟机。如果一个项目足够大，超出了一台虚拟机的处置惩罚本领，那么可创建多台虚拟机，这些虚拟机之间通过 VLAN 互联。采取虚拟机而不是物理机的利益是，虚拟机迁移方便、可用性高。
3）业务职员面向的是公司的对外业务，涉及客户和提供商，他们积累的数据同样非常重要，对应用的可用性要求较高。以是，建议尽量利用专门的服务器，重要的职员利用单独的虚拟机，同一部门的职员利用虚拟机上的多用户桌面。如果某个部门内的职工人数很多，则可以分配多台虚拟机。
4）普通文员和重要文员利用专门的服务器，每个重要文员分配单独的虚拟机，普通文员采取虚拟机上的多用户桌面。当然，对于那些只维护应用的员工来说，也可以分配一台虚拟机。
5）IT 运维职员利用的软件比较杂，利用行为多变，需要常常模拟各种应用场景，以是直接给他们分配物理服务器是一个好主意。根据具体情况，可能一些运维职员还需分配多台服务器。
基于上述分析，最终我们设计的云盘算方案框图如图 1 所示。
我们采取 OpenStack 云盘算管理工具和 Mariants 公司的 Fuel 主动部署工具。在图 1 中，每个组承载一定数目的虚拟机，这些虚拟机可能被分割成不同的 VLAN，同一台虚拟机允许在它归属的组内“漂移”，但不能跨越组边界。以是我们采取的网络拓扑为基于 VLAN 的 Neutron，它支持网卡绑定、虚拟交换机（OVS）和 Murano，允许对租户进行隔离。
图 1 大型云盘算方案框图
3. 网络设计
网络设计如图 2 所示。
图 2 网络设计
图 2 网络设计（续）
我们采取了 5 张网络平面，从上至下分别是公司内部网（或业务网）、管理网、存储网、Fuel 网和 Ceph 内网。其中，公司内部网相当于公司的传统 IT 体系网络，分配给员工利用的虚拟机和一些应用服务器（如网站、邮箱等）都属于这张网；而管理网、存储网、Fuel 网和 Ceph 内网组成 OpenStack 相关网络部分，OpenStack 的作用就是管理虚拟机，是手段。
在图 2 中，由 Ceph 内网支撑的立方体代表 OSD 服务器，由 Fuel 网支撑的立方体代表 OpenStack 中的控制和盘算服务器，贯穿公司内部或者由其支撑的立方体代表虚拟机和应用服务器。
一个立方体的支撑网络平面和贯穿网络平面代表一台服务器同时处于几个网络平面中，如图 2 中的 OpenStack 服务器同时处于 3 个网络平面。各个网络平面的作用如表 3 所示。
网络名称作用网络参数公司内部网云终端用户、虚拟机之间、应用服务器之间的通信包，以及与公司外部的交换数据包B 类地点 +VLAN，172.16.0.1/16，服务器和虚拟机采取固定 IP，终端采取动态 IP管理网承载 OpenStack 各组件间的通信包、管理员的管理数据包192.168.1.1/24，固定 IP存储网中央存储与服务器、虚拟机的存储数据包192.168.2.1/24，固定 IPFuel 网服务器主动安装利用体系的数据包192.168.3.1/24，固定 IPCeph 内网Ceph 内部各个节点之间同步数据包192.168.4.1/24，固定 IP 本大型方案决定采取 OpenStack 构建底子平台，全部的集群具备横向扩充的特征，对于 OpenStack 我们做如下设计。
在云端存在 8 个集群，其中管理集群用来运行 OpenStack 服务（但不包含业务盘算节点），以是管理集群本身的虚拟机不纳入 OpenStack 中管理。而每个集群上的虚拟机不允许“漂移”到其他集群，以是我们采取 HA 对全部机器进行分组，同时只采取一个 Region 和一个 Cell。之以是要采取 Cell，是为了以后扩展，如图 3 所示。
图 3 采取 Cell
为了便于区分和记忆，直接采取集群的名字作为 HA 分组的属性，属于同一个 HA 组的机器最好分布在不同的机柜，每个机柜一般都有各自的供电、网络、避雷和冷却等设施，这样就能最大限度地包管同一个 HA 内的机器不会同时损坏。分组情况如表 4 所示。
序号HA 分组属性对应的集群机器数目1guest访客群22partner合作伙伴群23office办公集群104development开发集群95leader向导集群26support运维集群57base底子服务集群6 加上管理群等，差不多有 45 台机器，全部采取 2U 的机架式服务器，安装在 3 个机柜中，要求每个分组的机器分散到尽量多的机柜中，如图 4 所示。
图 4 机柜结构
管理群中有 3 台服务器，每台服务器上运行 3 台虚拟机，第一台虚拟机运行 Keystone 和 Horizon 服务，第二台虚拟机运行父 Cell 中的 4 个服务，第三台虚拟机运行子 Cell 中的几个控制服务（AMQP、Database、Nova-cells、Nova-scheduler、Nova-network），通过负载均衡器把使命平均调度给 3 台服务器。
一共 9 台虚拟机，分成 3 组，每组 3 台虚拟机中运行雷同的服务，共同承担由负载均衡器分配过来的使命。
体系架构图中的底子服务集群包括 DNS、域控、DHCP、局域网接入认证、单点登录、IT 装备监控、用户上网行为管理、病毒特征库、补丁中央、入侵检测、VPN 等。
4. 存储设计
中央存储部分保存公司与办公相关的数据，以是科学设计中央存储非常关键，必须从容量、性能、可靠性等方面仔细斟酌。本案例的存储需求说明如表 5 所示。
需求项值备注1. 预算多少？200 万元只包括存储服务器2. 业务类型是什么？云桌面移动办公私有云3. 访问存储的应用软件？HypevisorKVM4. 存储的数据类型？大文件5. 容量偏好还是性能偏好？性能偏好6. 初始数据量多少？1.5 TB7. 数据增长率多少？7GB/天8. 主机请求 IOPS 多少？600001500个用户，每个用户 40 个 IOPS。由于存在写惩罚，以是磁盘现实 IOPS 在 100 000 以上9. 吞吐（带宽）多少？1 Gbit/s 方案选型时，对以下几方面加以关注。
- 多副本存储。
- 万兆网络：万兆交换机、多网卡绑定。
- 分布式体系：每个节点都能单独提供服务。
- 多采取 SSD。
- 消除单点故障。
综上所述，我们决定采取 Ceph 来构建存储子体系。Ceph 发展很快，目前已能在生产环境中利用。它对外能提供 3 种存储服务，分别如下。
- 对象存储服务（Object）：有原生的 API，而且也兼容 Swift 和 S3 的 API。
- 块存储服务（Block）：支持精简配置、快照、克隆等。
- 文件存储服务（File System）：Posix 标准接口，支持快照。
Ceph 的优点如下。
- 高扩展性：利用普通 X86 服务器，支持上千台存储节点和数 PB 级的数据量。
- 高可靠性：不存在单点故障，多数据副本，主动管理，主动修复。
- 高性能：数据分布均衡，并行化水平高。对于对象存储和块存储，不需要元数据服务器，因此不存在瓶颈通道（短板）。
Ceph的架构如图 5 所示。
外界可以通过以下四条途径访问 Ceph：
- 通过文件存储服务接口，如 NFS。
- 通过块存储服务，如 iSCSI。
- 通过对象存储服务，如 OpenStack 的 Swift 就是采取 RESTfull 调用方式访问 Ceph 的。
- 采取编程函数库编写应用软件来访问 Ceph。
我们设计的会合存储方案逻辑框图如图 6 所示。
图 5 Ceph 架构
图 6 会合存储方案逻辑框图
在这个方案中，我们采取了 6 台存储节点、3 台监控节点、2 台文件体系元数据节点。其中，最关键的是运行对象存储守护历程（OSD 历程）的节点，Ceph 官方建议采取通用的服务器，比如惠普、戴尔品牌的机器都可以。
如果用不到 Ceph 的文件存储服务（如 NFS），那么元数据服务器（MDS）可以不要。客户端通过网络访问 Ceph 中的数据，负载被平均分配到全部的存储节点上，因此并没有瓶颈。访问数据的输入/输出通路如图 7 所示。
图 7 访问数据的输入/输出通路
在整个输入/输出通路上，带宽是由最慢的部件决定的。在这些部件中，内存的速率是最快的，“短板”必在硬盘、输入/输出控制卡、网卡、交换机中，下面分别加以论述。
1）硬盘：
混淆利用固态硬盘（SSD）和多块机械硬盘（HDD）。固态硬盘性能高、容量小，机械硬盘性能低、容量大，混淆利用大致可以达到固态硬盘的性能和机械硬盘的容量。当然，还需要软件的配合才气发挥其最大的优势。在 Ceph 方案中，固态硬盘做日记盘，多块机械硬盘做数据盘，多块硬盘做成 JBOD 或者 RAD0。
表 6 所示是截至发稿前一些硬盘的 IOPS 和吞吐统计值。
磁盘类型容量IOPS顺序读写吞吐ATA 5400RPM≤4TB55~85115~120MB/SSATA 7200RPM≤4TB75~100140~170MB/SSAS10000RPM≤1.2TB125~150115~190MB/SSAS15000RPM≤600GB175~210120~210MB/SSATA SSD≤800GB5000~120000300~550MB/SmSATA SSD≤500GB≈18000300~530MB/SPCI~E SSD≤3.2TB120000~9608000300~2800MB/S ATA 5400RPM 的硬盘在笔记本、移动硬盘产品中多见。
SAS 硬盘在传统服务器中用得较多，但是其代价高、容量小的缺陷注定其将渐渐退出市场。
SATA 7200RPM 目前是主流，尤其是台式机用得最普遍，结合 SSD 硬盘，做成混淆存储方案，越来越得到重视。
相比 PCI-E SSD，SATA SSD 用得更普遍，尽管 PCI-E SSD 具备卓越的 IOPS 和巨量吞吐，但是其动辄上万元的代价使绝大多数消耗者望而却步。
总结：SATA 7200RPM 的机械盘 +SATA SSD 混淆存储方案是将来两三年内的盛行方案。
2）I/O 控制卡
硬盘控制器一般集成在主板上的南桥芯片中，尤其是台式机，很少需要额外添加硬盘控制卡。但是有时需要接入太多的硬盘或者需要更高的吞吐或者支持阵列，这时就要额外购买硬盘控制卡，并插入主板的 PCI-E 插槽中。无论是独立的控制卡还是集成到南桥芯片中，输入/输出控制芯片都至关重要（见表 7）。
输入/输出控制芯片芯片JBOD回写缓存备注HP P420iQlogic不支持有1Gbit/sLSI 3081E-RLSI SAS 1068EPCI-E，3Gbit/s华硕 P8B-C 集成，LSI SAS 9211-8iLSI SAS 2008支持无PCI-E 2.0，6Gbit/s，30万IOPS，吞吐 6000MB/s，8口，支持电池供电保护数据LSI Logic LSI00345 9300-8iLSI SAS 3008支持PCI-E 3.0，SAS 12Gbit/s，SATA 6Gbit/s，百万计 IOPS，吞吐 6000 MB/s，8 口，支持电池供电保护数据MegalRAID SAS 9631-8iLSI SAS 3108支持PCI-E 3.0，每端口 12Gbit/s，百万计 IOPS，吞吐 6000MB/s，8口，1GB缓存，双核，支持电池供电保护数据戴尔 H710LSI SAS2208不支持有超微主板集成LSI SAS2208支持有HP H220 LSI00345 9300-8iLSI SAS 3108支持无PCI-E 3.0，6Gbit/s，60万IOPS，8口，支持电池供电保护数据 从表 7 中可以看出，输入/输出控制芯片几乎被 LSI 公司把持。如果购买独立的 I/O 控制卡，建议芯片版本在 2008 以上。本方案中购买的是 LSI SAS 3008 芯片组产品，为以后预留足够的纵向扩展空间。
3）内存
在 I/O 通路上，内存的速率是最快的，以是在速率上没有特别的要求（当然，在实行指令的通路上，内存又会成为“短板”）。但是内存的稳定性至关重要，内存的稳定性要求不能出错，即使出错了，也还能纠正错误。因此，猛烈建议采取具备纠错功能的 ECC 内存、多通道内存、DDR Ⅲ 代内存、服务器内存，当然内存容量越大越好。
4）网卡和交换机
网络很轻易成为输入/输出通路上的瓶颈，可以肯定，如果采取单块千兆网卡或者千兆及以下的交换机，那么理论上网络的吞吐是 100 兆字节（约等于 1000/10），实验数据大概在 60 兆左右。表 6 中列出的最慢硬盘，其吞吐也在百兆以上。因此，组建 Ceph 存储时建议采取当时最快的网卡和网络装备。
比如 2014 年有万兆网卡和交换机，万兆网络理论吞吐是 1000MB，实验数据也在 600MB 以上，凌驾除 PCI-E 固态盘外的所有类型的硬盘吞吐。如果还嫌慢，就捆绑多块万兆网卡平摊流量，比如采取 n 块，那么理论吞吐就是 n×1000MB 了。注意，网卡的稳定性也很重要，以是要购买大品牌网卡，可能代价会贵很多，但是收益也很显着（淘汰一次数据丢失就赚了）。
Ceph 中的监控程序（MON）建议运行在单独的盘算机上，至少三台。MON 监督整个存储集群的运行状态，记录 PG（对象的位置信息）和 OSD 日记，因此运行 MON 的盘算机配置要求不高，采取一般配置（如 7GHz 的 CPU、16GB 内存、500GB 硬盘）即可。
硬件选型
1. 盘算节点
各种集群中的服务器的重要使命是运行虚拟机，因此对 CPU 和内存比较敏感。底子服务集群中的盘算机统一采取物理机直接安装法（不采取虚拟机），以便进步底子服务的快速相应本领，这部分机器对硬件配置要求不高，但是对可靠性要求很高，具体如表 8 所示。
配件名称型号参数大致报价（元）CPUIntel 至强 E5-2620V26核，2.1GHZ。购买2个5600主板华硕 Z9PE-D16C/2L支持双路，最大512GB内存3300内存8 根金士顿 DDR3 1600 16G RECC128GB 总容量10000固态盘（体系）英特尔（Intel）S3500系列SATA 6Gbit/s 固态硬盘 2.5英寸 120G980电源航嘉HK700-12UEP950合计：20830 2. 控制节点
控制节点包括网络底子服务节点和 OpenStack 控制节点，其中网络底子服务节点有 3 个，OpenStack 控制节点有 3 个。
网络底子服务包括 DHCP、DNS、AD、RADIUS、IDS、CA、打印服务、NTPD 等，关乎整个体系的可用性，因此机器要求稳定可靠，性能倒在其次。
网络底子服务节点硬件配置如表 9 所示。
配件名称型号参数大致报价（元）主板超微MBD-AISAI-2750F-O集成 C2750 CPU（8 核，2.4GHZ），4个千兆网口，1个IPMI口，MINI-ITX2800内存2根金士顿 DDR31600 8G RECC1200固态盘（体系）Intel DC S3500120G1000电源台达电源适配器主动 PFC 大功率 DCI2V 12.5A 额定 150W150合计：5150 注意：体系做成只读的，可变数据放在 Ceph 中。
OpenStack 控制节点对盘算资源没有特别偏好，要求 CPU、内存、网络和硬盘配备均衡，硬盘侧重于速率。OpenStack 控制节点硬件配置如表 10 所示。
配件名称型号参数大致报价（元）CPUIntel Xeon E7-48076核心12线程,1.86GHz, LGA15673300主板华硕 Z9PE-D16C/2L支持双路，最大512GB 内存3300内存4 根金士顿 DDR3 1600 16G RECC64GB总容量5000周态盘（体系）英特尔（Intel） S3700 系列SATA6Gbit/s固 态硬盘 2.5 英寸 100G1700电源安钛克 TP 650C650W, 80PLUS 金牌700合计：13500 3. Fuel 节点
Fuel 节点侧重于输入/输出通路带宽，即配备高速的网络、磁盘、内存，合理的硬件配置如表 11 所示。
配件名称型号参数大致报价（元）CPUIntel Xeon E5-2620V2LGA2011/2.1GHz/15M, 6 核2900主板华硕 Z9PE-D16C/2L支持双路，最大512GB内存3300内存2 根金士顿 DDR3 1600 16GB RECC32GB总容量2500固态盘（体系）英特尔S3700系列200G, SATA3,企业级2890电源安钛克TP 650C650W，80PLUS金牌700合计：12290 4. 存储节点之OSD
Ceph 中央存储采取 6 台机器，三份备份模式，提供 96TB 的有效存储容量，物理磁盘容量为 288TB。单台盘算机的配置参考如表 12 所示，可以自己组装，也可以购买类似配置的品牌盘算机。
配件名称型号参数大致报价（元）CPUIntel Xeon E3-12354 核 8 线程，3.2GHz1600主板P9D-MH-10G-DUAL2 个万兆网口，2 个千兆网 口，集成 LSI 2308 磁盘卡，8 个 SAS 口，6 个 SATA 口4000内存6 根金士顿 DDR3 1600 8G RECC48GB 总容量3600固态盘（体系）Intel/英特尔DC S3500 120G1000固态盘（日记）OCZ RVD3-FHPX4-240G240GB，IOPS=130000，吞吐：读 1000MB/S，写 900MB/S3500电源酷冷至尊白金龙影 1000W （RS-A00-SPPA）80PLUS 白金牌/全模组/支持双 CPU/支持 SLI/支持背线/12 个 SATA1900硬盘(SAS)8 块 4TB WD4001FYYG32TB20000硬盘（SATA）4 块 4TB WD4000FYYZ16TB10000合计：45740 根据 Ceph 部署经验值，一个 OSD 历程需要 1GHz 的 CPU 频率，1TB 的存储需要 1GB 内存，以是对本配置，一台盘算机约莫运行 12 个 OSD 历程（4×3.2），每个 OSD 历程约莫分配 4GB 内存，并分别负责一块机械硬盘。240GB 的固态盘分为 12 个区，每个区 20GB，存放 OSD 历程的日记。
5. 存储节点之MON
存储节点配置之 MON 配置如表 13 所示。
配件名称型号参数大致报价（元）主板超微 MBD-A1SAI-2750F-O集成 C2750 CPU （ 8 核，2.4GHz ）, 4 个千兆网口，1个 IPMI 口，MINI-ITX2800内存2 根金士顿 DDR3 1600 8G RECC16GB 总容量1200固态盘（体系）Intel DC S3500 120G1000 网上学习资料一大堆，但如果学到的知识不成体系，碰到标题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提拔。
需要这份体系化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
一个人可以走的很快，但一群人才气走的更远！岂论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
|
| 硬盘（SATA） | 4 块 4TB WD4000FYYZ | 16TB | 10000 |
| | | | 合计：45740 |
根据 Ceph 部署经验值，一个 OSD 历程需要 1GHz 的 CPU 频率，1TB 的存储需要 1GB 内存，以是对本配置，一台盘算机约莫运行 12 个 OSD 历程（4×3.2），每个 OSD 历程约莫分配 4GB 内存，并分别负责一块机械硬盘。240GB 的固态盘分为 12 个区，每个区 20GB，存放 OSD 历程的日记。
5. 存储节点之MON
存储节点配置之 MON 配置如表 13 所示。
配件名称型号参数大致报价（元）主板超微 MBD-A1SAI-2750F-O集成 C2750 CPU （ 8 核，2.4GHz ）, 4 个千兆网口，1个 IPMI 口，MINI-ITX2800内存2 根金士顿 DDR3 1600 8G RECC16GB 总容量1200固态盘（体系）Intel DC S3500 120G1000 网上学习资料一大堆，但如果学到的知识不成体系，碰到标题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提拔。
需要这份体系化的资料的朋友，可以添加V获取：vip204888 （备注大数据）
[外链图片转存中…(img-qpLkF7X5-1713164848148)]
一个人可以走的很快，但一群人才气走的更远！岂论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。 |
