高性能计算平台如何选？怎么配置？
关键词: 深度学习、数据分析、数据挖掘、医药研发、遥感测绘、地质遥感、AI 绘画、AIGC、高性能计算、高性能服务器、蓝海大脑
摘要: 随着深度学习、数据分析、数据挖掘、医药研发、遥感测绘、地质遥感、AI 绘画、AIGC 现代化的快速发展，新产品的研发频率越来越快，大量的计算任务已经严重阻碍了企业的研发效率。由于排队和计算速度的原因，许多大型计算任务往往需要几周甚至一两个月的计算时间。由此造成的项目进度滞后，长期困扰着广大科研人员。构建高性能、高可靠、高效的高性能计算平台也被提上日程。
一、高性能计算的含义
高性能计算简称 HPC, 是指利用聚合的计算能力来处理标准工作站无法完成的数据密集型计算任务，包括仿真、建模和渲染。在处理各种计算问题时，经常会遇到这样的情况: 一台通用计算机因为计算量大，无法在合理的时间内完成工作，或者因为需要的数据量大，可用资源有限，以至于计算根本无法进行。HPC 方法通过使用专门高端的硬件或整合多个单元的计算能力，可以有效地克服这些限制。将数据和运算相应地分布到多个单元，这就需要引入并行的概念。
就硬件配置而言，常用的类型有两种:
共享内存计算机
分布式内存集群
在共享内存计算机上，所有处理单元都可以访问随机存取存储器 (RAM); 然而，在分布式内存集群中，不同的处理单元或节点之间不能访问。当使用分布式内存配置时，由于不同的处理单元不能访问同一个内存空间，因此必须有一个互连的网络在这些单元之间发送消息 (或使用其他通信机制)。由于一些单元共享一个公共内存空间，而其他单元处于另一种情况，现代 HPC 系统通常是融合了这两个概念的混合体。并行计算可以最大限度地发挥共享内存的性能优势。
二、为什么要使用高性能计算平台
使用 HPC 有两个主要原因:
1、随着中央处理器 (CPU) 和节点数量的不断增加，人们可以使用越来越多的计算能力。有了强大的计算能力，单位时间可以进行更多的运算，从而提高特定模型的计算速度。这就是我们所说的加速度比。
加速比通常定义为: 同一任务在并行系统中的执行时间与在串行系统中的执行时间之比。
加速比的上限取决于模型的并行求解程度。如: 假设一个运算量固定的计算任务，其中 50% 的代码可以并行执行。在这种情况下，理论上的最大加速度比为 2。如果并行执行的代码可以上升到 95%, 理论上最大加速比很可能达到 20。对于能够实现完全并行的代码，计算单元可以不断地添加到系统中，因此没有理论上的最大限制。阿姆达尔定律解释了这一现象。
2、在集群的情况下，可用内存量通常以线性方式增加，并且包含更多的节点。这样，随着计算单元数量的增加，可以处理越来越大的模型。这就是所谓的扩展加速比。从某种意义上说，运用这种方法可以对阿姆达尔定律提出的限制加以"欺骗"-- 该定律适用于固定大小的计算问题。通过双倍的计算能力和内存，可以在相同的时间内完成两倍于基本任务的计算任务。Gustafson-Barsis 定律解释了这一现象。
三、蓝海大脑高性能计算平台
蓝海大脑通过多年的努力，攻克了各项性能指标、外观结构设计和产业化生产等关键技术问题，成功研制出蓝海大脑高性能计算平台。该产品图形处理速度快，支持 GPU 智能运算，性价比高，外形美观，满足了人工智能企业对图形、视频等信息的强大计算处理技术的需求。
快速、高效、可靠、易于管理的蓝海大脑液冷工作站具备出色的静音效果和完美的温控系统。在满负载环境下，噪音控制在 35 分贝左右。借助英伟达 NVIDIA、英特尔 Intel、AMD GPU 显卡可加快神经网络的训练和推理速度，更快地创作精准的光照渲染效果，提供高速视频和图像处理能力，加速 AI 并带来更流畅的交互体验。
1、主要技术指标
1) 可靠性: 平均故障间隔时间 MTBF≥15000 h
2) 工作温度：5～40℃
3) 工作湿度：35 %～80 %
4) 存储温度:-40～55℃
5) 存储湿度：20 %～90 %
6) 声噪:≤35dB
2、产品特点
1) 集中管理: 支持多种异构硬件平台、操作系统和应用程序，提供单一系统镜像，实现计算节点和图形工作站节点的集中管理和统一调度；
2) 负载均衡: 提供强大的负载均衡能力，保证计算服务器的任务分配尽可能均匀，避免机器忙闲不均的现象。并根据服务器的负载指标 (如 CPU 利用率、可用内存、IO 等), 可以采取保护措施，避免系统因为任务太多而繁忙、无效甚至死机。自动分配计算资源，无需用户干预；
3) 资源的有效利用: 避免计算任务之间发生冲突，导致任务失败或计算时间延长；计算任务按资源可用性 (许可证和 CPU 利用率) 排队，以确保 7x24 使用许可证资源；
4) 资源的合理分配: 包括许可证和硬件资源。如果没有合理的分配机制，开放的高性能计算服务平台建成后，必然会出现部门和人员对资源使用的无序竞争，资源使用的效率和合理性得不到保障；
5) 优先级管理: 确保在资源不足 (包括许可证和服务器) 时，紧急的项目或任务可以获得更高的优先级，从而更快地启动，避免影响设计和工程的进度；
6) 避免无效占用: 设置应用使用限制和生命周期，防止应用低效占用资源；
7) 资源的安全使用: 通过系统与系统的充分融合，可以防止用户绕过作业调度，私自使用计算资源；
8) 并行能力: 采用公认的计算方法，支持多种 MPI 和网络协议
9) 跨平台性、稳定性要求: 系统跨平台性强，支持各种 Linux / Windows 平台，能够最佳地跨越各种平台管理并行作业处理。系统提供的功能全，稳定性高，使用方便，容错能力强；
10) 先进性: 充分考虑其先进性，使整个系统既能满足用户当前的业务需求，又能满足未来技术发展的趋势和需要；
11) 扩展性: 既能提供单个节点的高运算能力和整体效率，又能考虑未来根据业务需求和技术发展特点方便地增加节点。
3、客户收益
1) 实现统一的用户登录、验证、作业管理、数据管理；实现资源跨部门共享以及利用率最大化。
2) 加快企业的产品研发进度、大幅缩短研发周期、提升产品的设计开发效率。
3) 提供统一平台，最大化提升在深度学习、虚拟图像、HPC 等领域的快速响应以及精准预测，带来更流畅的交互体验。4) 提高客户满意度，在图像、视频、声音等提供实时用户体验、加快搜索速度。
5) 降低总体拥有成本，简化工作流程，加速多种工作负载，提高生产力，促进企业创新。
