高性能计算 (HPC) 如何工作及其用例

编程入门行业动态更新时间:2024-10-27 04:24:53

高性能计算 (HPC) 如何工作及其用例

什么是高性能计算 (HPC)？

HPC 可处理大量数据，并且能够实时或接近实时地解决当今最复杂的计算问题。

什么是 HPC？

HPC 是一种技术，它使用并行工作的强大处理器集群，处理海量多维数据集（大数据），并以极高的速度解决复杂问题。 HPC 系统的运行速度通常要比最快的商用台式机、笔记本电脑或服务器系统快一百万倍以上。

超级计算机作为 HPC 系统的范式已存在了几十年，这是一种专门构建的计算机，它包含数百万个处理器或处理器核心。超级计算机如今仍在我们身边；截至本文撰写之时，最快的超级计算机就是位于美国的 Frontier，其处理速度为1.102 exaflops，即每秒 quintillion (10^18) 次浮点运算（flops）。但如今，越来越多的组织在高速计算机服务器集群上运行 HPC 解决方案，这些服务器托管在本地或云中。

HPC 工作负载揭示了重要的新锐洞察，这些洞察可以促进人类知识的进步，并创造显著的竞争优势。例如，HPC 被用于 DNA 测序、股票交易自动化，以及运行人工智能 (AI) 算法和模拟（比如支持自动驾驶汽车），它可以实时分析从物联网传感器、雷达和 GPS 系统流入的太字节数据，进而在瞬间做出决策。

HPC 如何工作？

标准计算系统主要使用串行计算来解决问题，它将工作负载分成一系列任务，然后在同一处理器上依次执行这些任务。

相比之下，HPC 则利用

大规模并行计算。并行计算是在多个计算机服务器或处理器上同时运行多个任务。大规模并行计算则是使用数万到数百万个处理器或处理器核心的并行计算。
计算机集群（也称为 HPC 集群）。 HPC 集群由多个联网的高速计算机服务器组成，并有一个集中式调度器来管理并行计算工作负载。这些计算机被称为节点，可能会使用高性能多核 CPU，如今更有可能使用 GPU（图形处理单元），它们非常适合处理严格的数学计算、机器学习模型和图形密集型任务。单个 HPC 集群可能包括 100,000 个或更多节点。
高性能组件：HPC 集群中的所有其他计算资源（网络、内存、存储和文件系统）都是高速、高吞吐量、低延迟组件，可以与节点同步，优化集群的计算能力和性能。

HPC 与云计算

就在十年前，HPC 的高昂成本还令大多数组织对其望而却步，这涉及到拥有或租赁一台超级计算机，或在内部数据中心构建和托管 HPC 集群。

而如今，云中的 HPC，有时称为 HPC 即服务 (HPCaaS)，则为公司利用 HPC 提供了一种更快捷、可扩展且更经济的方式。 HPCaaS 通常包括访问云服务提供商数据中心中托管的 HPC 集群和基础架构，以及生态系统功能（如 AI 和数据分析）和 HPC 专业知识。

当今云中的 HPC 由以下三种趋势共同推动：

激增的需求。 各行各业的组织越来越依赖于解决复杂问题后所产生的实时洞察和竞争优势，这些复杂问题只有 HPC 应用才能解决。例如，提起信用卡欺诈检测，几乎我们每个人都离不开它，我们中的大多数人也都曾遇到过这种情况，它越来越依赖 HPC 来更快地识别欺诈行为，并减少令人讨厌的误报，即使欺诈活动范围不断扩大，诈骗者花样百出。
低延迟、高吞吐量 RDMA 网络的盛行。 RDMA 即远程直接内存访问，它使一台联网的计算机能够访问另一台联网计算机的内存，而不涉及任何一台计算机的操作系统，也不会中断任何一台计算机的处理操作。这有助于最小化延迟并最大化吞吐量。新兴的高性能 RDMA 结构，包括 Infiniband、虚拟接口架构和基于融合以太网的 RDMA (RoCE)，使基于云的 HPC 成为可能。
广泛的公有云和私有云 HPCaaS 可用性。 现如今，每个领先的公有云服务提供商都提供 HPC 服务。虽然一些组织仍在内部运行高度受监管或敏感的 HPC 工作负载，但是已有许多组织开始采用或迁移到由硬件和解决方案供应商提供的私有云 HPC 解决方案。