【盘算系统】5分钟了解超算，高性能盘算，并行盘算，分布式盘算，网格盘算 ...

1. 超算

超级盘算机（Supercomputer）是一种盘算力极强的盘算机，学术界通常称这一范畴为高性能盘算（High-Performance Computing）。超级盘算机主要为最顶尖的科学研究服务，包括核聚变模仿、石油勘探、量子力学、气候模仿、癌症研究、基因组学、分子动力学、飞机和航天器空气动力学、量化金融、计量经济和当前火热的各类民用人工智能。简而言之，超算（超级盘算机）主要用于处理复杂的科学盘算、模仿和大规模数据处理等任务，具备出色的盘算性能和处理能力。
从实现上来看，超级盘算机是一种高性能盘算集群，集群有众多盘算节点，通常由大量的处理器、高速互联网络和大容量存储器组成。集群由众多盘算节点组成，由集群管理系统通过高速IB网或专用网络将多个盘算机节点连接在一起，统一调度管理，从而实现强盛的盘算功能。
当前，多数高性能盘算系统都是通过加持GPU来实现超高性能的，也就是常说的GPU运算，不同于CPU，GPU一样平常集成了上千个焦点于一体，具备平凡CPU无法比拟的浮点盘算性能，因此非常实用于图像处理、虚拟实际和盘算机仿真等一类科学范畴的应用，近几年发展火热的人工智能、呆板学习等技能应用背后也是依赖GPU运算在做支撑。
从实际利用上看，并不是将成千上万个CPU和GPU都拿过来跑一个任务，也不是某一个人独占，而是按需所取，利用一种叫做调度器的软件来分配盘算资源。超级盘算机上的CPU和GPU等盘算资源更像是城市中的共享单车，服务方先提供好一批盘算资源放置在那里，利用方如有需求，向调度器申请，如有闲置的资源则分配给需求方。超算中心提供一个共享的资源池，每个用户每次占用部门资源，多个用户在调度器的调度下按照一定的规则排队。固然，这个资源池越大，每个用户能够得到的资源就会越多，排队等候的时间也就越短，加上一些公道的编程优化，每个盘算任务的耗时就会越短，以此加速科研进程。

---

补充1：CPU与GPU的特点与优势

• 首先，CPU在处理逻辑和控制流方面表现出色，而GPU在并行盘算和数据麋集型任务方面具备强盛的盘算能力。将CPU和GPU融合在一起，可以充实发挥它们的优势，提供更全面、更强盛的盘算能力。
  
• 其次，CPU和GPU的融合可以减少数据传输和通讯的开销。通常环境下，GPU作为加速器与CPU之间需要频仍进行数据传输，这会导致较大的延迟和能耗。通过将CPU和GPU融合在一起，可以实现更紧密的协作和数据共享，减少数据传输的需求，提高盘算效率和性能。
  
• 第三，融合CPU和GPU还可以简化系统架构和编程模子。当前，利用GPU进行加速盘算需要利用专门的编程模子（如CUDA或OpenCL），并且需要管理CPU和GPU之间的数据传输和同步。然而，将CPU和GPU融合在一起，可以利用统一的编程模子，简化编程和系统管理的复杂性。
  
• 最后，融合CPU和GPU还可以降低系统成本和功耗。独立的CPU和GPU需要占用额外的硬件资源和能源斲丧。而将它们融合在一起，可以节省硬件成本、减少系统功耗，提高能源效率。
  

补充2：超算vs云盘算
超算与云盘算有些相似，但不同的地方在于：

• 云盘算一样平常将一台物理机上安装多台虚拟机，用户在一个虚拟机资源池上申请资源；
  
• 超算上的步伐一样平常直接跑在物理机上。
  

虚拟机会导致性能的损耗，其优点在于将资源分别的粒度更细，虚拟机资源能够的到充实利用。物理机的优势在于硬件性能可以100%提供给利用者，缺点是如果利用不当，会造成硬件资源的浪费。
近年来，随着虚拟化技能的成熟，虚拟机的损耗越来越小，超算也在往虚拟化方向发展，超算和云盘算之间界线似乎不那么显着。

---

2. 高性能盘算

高性能盘算（High Performance Computing，HPC）是指利用超级盘算机或高性能盘算机来解决需要大量盘算资源和高速数据处理的问题。高性能盘算侧重于提供强盛的盘算能力和高效的数据处理能力，通常运行复杂的科学模子、大规模的数值模仿和数据分析等任务。

• 高性能盘算（High Performance Computing，HPC）是一种盘算范畴的技能和方法，旨在利用超级盘算机或高性能盘算机解决需要大量盘算资源和高速数据处理的复杂问题。
  
• 高性能盘算的主要目标是提供强盛的盘算能力和高效的数据处理能力，以应对科学、工程、贸易和其他范畴中日益增长的盘算需求。它通常用于处理大规模的、盘算麋集型的任务，涉及复杂的模仿、建模、仿真、优化和数据分析等应用。
  

高性能盘算通常依赖的盘算机系统具有以下特点：

• 高度并行化：高性能盘算系统能够同时实行多个盘算任务，利用并行处理来提高盘算速率和效率。它可以包括多个处理器、多个盘算节点、多核处理器、加速器（如GPU）等，以支持并行盘算。
  
• 大规模存储器：高性能盘算通常需要处理大规模的数据集。因此，它需要具备大容量和高带宽的存储系统，以存储和访问海量数据。
  
• 高速互联网络：高性能盘算系统中的盘算节点需要通过高速互联网络进行通讯和数据互换。如允许以实现节点之间的数据共享、协作和任务调度。
  
• 高性能软件和编程模子：高性能盘算需要利用高效的算法和优化技能来充实发挥硬件的盘算能力。并行编程模子如MPI（Message Passing Interface）和OpenMP（Open Multi-Processing）等被广泛用于高性能盘算应用的开发和优化。
  

3. 并行盘算

并行盘算（Parallel Computing）是指同时实行多个盘算任务，以便更快地完成工作。可分为时间并行和空间并行。时间并行即利用多条流水线同时作业，空间并行是指利用多个处理器实行并发盘算，以降低解决复杂问题所需要的时间。
并行盘算过程涉及将一个大型盘算问题分成多个小问题，然后在多个处理单位（通常是 CPU 焦点或多个盘算机）上同时处理这些小问题。这种方式可以显著提高盘算速率和效率，尤其是在需要处理大规模数据或复杂数学模子的环境下。并行盘算可应用于各种规模的盘算系统，包括超级盘算机、多核处理器、GPU等。通常，我们可以认为并行盘算是高性能盘算的学术上的叫法。
为实行并行盘算，盘算资源应包括一台配有多处理机（并行处理）的盘算机、一个与网络相连的盘算机专有编号，大概两者结合利用。并行盘算主要目标在于两个方面： 
(1) 加速求解问题的速率。
(2) 提高求解问题的规模。

为提高盘算效率，并行盘算处理问题一样平常分为以下三步： 
（1）将工作分离成离散独立部门，有助于同时解决；  
（2）同时并及时地实行多个步伐指令；   
（3）将处理完的效果返回主机经一定处理后表现输出。
并行盘算需满意的根本条件

• 并行盘算机。并行盘算机至少包罗两台或两台以上处理机，这此处理机通过互联网络相互连接，相互通讯。
  
• 应用问题必须具有并行度。也就是说，应用可以分解为多个子任务，这些子任务可以并行地实行。将一个应用分解为多个子任务的过程，称为并行算法的设计。
  
• 并行编程。在并行盘算机提供的并行编程环境上，详细实现并行算法，编制并行步伐并运行该步伐，从而达到并行求解应用问题的目标。
  

---

补充3：串行盘算方式vs并行盘算方式

从上图可以看出，串行盘算必须按步骤一步一步盘算才能出来终极效果。而并行盘算则要将问题分成N多个子任务，每个子任务并行实行盘算。而每个子任务是非独立的，每个子任务的盘算效果决定终极的效果。这个和分布式盘算不同。

---

4. 分布式盘算

分布式盘算（Distributed Computing）是指将盘算任务分布到多台盘算机或盘算节点上进行并行盘算的方法。分布式盘算系统通常由多个独立的盘算节点组成，通过网络进行通讯和协作。分布式盘算可通过利用多台盘算机的盘算资源来解决大规模的盘算问题，提高盘算效率和吞吐量。

---

补充4：并行盘算与分布式盘算的区别
并行盘算更多的是为了解决高性能盘算的问题，更多的夸大盘算性能；分布式盘算一样平常是为了解决任务量大的盘算问题。并行盘算是在同一台盘算机上同时处理多个任务，而分布式盘算是将任务分发到多个盘算机或节点上。

• 并行盘算一样平常用于解决需要大量盘算的问题，如生命科学研究中的分子动力学分析、地质勘探中的地震建模、成像、转位等，这些盘算任务数量不多，但每个任务都需泯灭极强的盘算能力。
  
• 分布式盘算一样平常应用于超大任务量的场景，如当今非常流行的hadoop分布式系统就非常适合用来处理海量数据，淘宝的分布式系统TFS（Taobao File System）天天都可以处理千万以致上亿次的订单等。
  

---

5. 网格盘算

网格盘算是一种盘算基础设施，它结合了分布在不同地理位置的盘算机资源以实现共同目标。多台盘算机上全部未利用的资源都搜集在一起，可供单个任务利用。组织利用网格盘算来实行大型任务或解决在单台盘算机上难以完成的复杂问题。
例如，气象学家利用网格盘算进行气候建模。气候建模是一种盘算麋集型问题，需要实行复杂的数据管理和分析。在单台盘算机上处理大量气候数据不仅迟钝，而且相当耗时。为此，气象学家在地理上分散的网格盘算基础设施上运行分析并结合效果。

从效率上看，利用网格盘算，可以将一个庞大而复杂的任务分解为多个子任务。多台盘算机可以同时处理子任务，这使网格盘算成为一种高效的盘算解决方案。
从成本来看，网格盘算实用于现有硬件，这意味着可以重复利用现有盘算机。可以在访问多余的盘算资源的同时节省成本。还可以经济高效地访问云中的资源。
灵活性方面，网格盘算不限于特定的构筑物或位置。可以建立一个跨越多个区域的网格盘算网络。这使得不同国家的研究人员可以利用类似的超级盘算能力进行协作。
网格盘算中需要有哪些组件？

• 节点。网格盘算网络上的盘算机或服务器称为节点。每个节点向网格网络提供未利用的盘算资源，例如 CPU、内存和存储。同时，还可以利用节点实行其他不相关的任务。网格盘算中的节点数量没有限制。存在三种主要类型的节点：控制节点、提供者节点和用户节点。
  
• 网格中间件。网格中间件是一种专门的软件应用步伐，它将网格操作中的盘算资源与高级应用步伐连接起来。例如，它处理用户对网格盘算系统的额外处理能力的请求。 它控制用户对可用资源的共享，以防止网格盘算机不堪重负。网格中间件还提供防止网格盘算中出现资源滥用的安全性。
  
• 网格盘算架构。网格体系布局表示网格盘算机的内部布局。以下层广泛存在于网格节点中：
  
  
  
  • 顶层由高级应用步伐组成，例如实行推测建模的应用步伐。
    
  • 第二层，也称为中间件，管理和分配应用步伐请求的资源。
    
  • 第三层由可用的盘算机资源组成，例如 CPU、内存和存储。
    
  • 底层允许盘算机连接到网格盘算网络。
    
  
  

网格盘算有哪些类型？

• 盘算网络。盘算网格由高性能盘算机组成。它使研究人员可以利用盘算机的综合盘算能力。研究人员利用盘算网格盘算来实行资源麋集型任务，例如数学模仿。
  
• 拾遗网络。虽然与盘算网格类似，但 CPU 拾遗网格包罗许多通例盘算机。拾遗一词描述了在通例盘算机网络中搜索可用盘算资源的过程。当其他网络用户访问盘算机实行与网格无关的任务时，网格软件会在这些节点空闲时利用它们。拾遗网格也称为 CPU 拾遗或循环拾遗。
  
• 数据网络。数据网格是连接多台盘算机以提供大数据存储容量的网格盘算网络。可以像在本地盘算机上一样访问存储的数据，而不必担心数据在网格上的物理位置。
  

---

补充5：分布式盘算与网格盘算的比较
分布式盘算用于在任一时间实现单一目标。相比之下，网格盘算并没有协同性，而是在其网络上为多个相关的子任务分配资源。一个网格盘算网络可能包罗几个分布式盘算系统。

---

6. 集群盘算

集群盘算描述了由同构盘算机组成的网络系统。同构盘算机具有类似的硬件和软件。可以将它们连接到高速本地网络以创建运行类似任务的盘算机集群。中心服务器可以控制和协调呆板。

---

补充6：集群盘算与网格盘算的比较
集群盘算具有稳定和特定的硬件、任务和控制布局，而网格盘算则在资源共享方面具有灵活性。网格网络上的盘算机独立工作，没有任务共享资源。它们有一个资源管理器，在运行时共享未利用的资源。

---

7. 云盘算

云盘算(Cloud Computing)是分布式处理(Distributed Computing)、并行处理(Parallel Computing)和网格盘算(Grid Computing)的发展，大概说是这些盘算机科学概念的贸易实现。
云盘算的根本原理是，通过使盘算分布在大量的分布式盘算机上，而非本地盘算机或远程服务器中，企业数据中心的运行将更与互联网相似。这使得企业能够将资源切换到需要的应用上，根据需求访问盘算机和存储系统。
小结

超算是一种大型高性能盘算系统，高性能盘算是解决大规模问题的盘算方式，并行盘算和分布式盘算是实现高性能盘算的两种方式。
相关资料

• 什么是网格盘算？
  
• 分布式盘算、网格盘算和云盘算
  
• 《并行与分布式处理》
  

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。