一次看懂科技新世代少不了的高效能运算_专栏

AI趋势浪潮下，处理大量信息的需求涌现，大数据处理成为一项重要工程，传统计算方式已无法达成市场期望，高速运算成为新世代发展的重点需求项目。众所周知，高效能运算（HPC）最早的应用领域是在科学计算，包括国防、航空、能源、电力、汽车、生物、气象、仿真等领域，因此HPC亦被称之为“国之重器”，它不仅代表着一个国家在科学计算方面的实力，更是一个国家在经济建设中打造核心竞争力的关键要素。但与此同时，HPC经过一代又一代的不断进化和迭代，特别是随着人工智能应用的快速崛起，更使得HPC不仅在科学计算领域的贡献日益突出，同时也被人们广泛应用于自然语言、图像识别、自动驾驶等人工智能的新领域。

高效能运算概述

简单的说，高效能运算（High Performance Computing）是计算机科学的一个分支，研究并行算法和开发相关软件，致力于开发高效能运算机（High Performance Computer）。

随着信息化社会的飞速发展，人类对信息处理能力的要求越来越高，不仅石油勘探、气象预报、航天国防、科学研究等需求高效能运算机，而金融、政府信息化、教育、企业、网络游戏等更广泛的领域对高效能运算的需求迅猛增长。

高效能运算集群技术

高效能运算集群，英文原文为High Performance Computing Cluster，简称HPC Cluster，是指以提高科学计算能力为目的计算机集群技术。 HPC Cluster是一种并行计算（Parallel Processing）集群的实现方法。并行计算是指将一个应用程序分割成多块可以并行执行的部分并指定到多个处理器上执行的方法。目前的很多计算机系统可以支持SMP（对称多处理器）架构并通过进程调度机制进行并行处理，但是SMP技术的可扩展性是十分有限的，比如在目前的Intel架构上最多只可以扩展到8颗CPU。为了满足哪些＂计算能力饥渴＂的科学计算任务，并行计算集群的方法被引入到计算机界。著名的“深蓝”计算机就是并行计算集群的一种实现。

由于在某些廉价而通用的计算平台（如Intel＋Linux）上运行并行计算集群可以提供极佳的性能价格比，所以近年来这种解决方案越来越受到用户的青睐。比如壳牌石油（Shell）所使用的由IBM xSeries服务器组成的1024节点的Linux HPC Cluster是目前世界上计算能力最强的计算机之一。

新兴技术带动作用明显

从2016年起，物联网等技术兴起，带动全球物联网装置数量爆发性成长，产生的巨量资料也成为深度学习的重要因素，有助AI发展，而大量资料的处理亦推升运算与储存需求，高效能运算应运而生。高效能运算需仰赖记忆体技术的升级，催生出各类型的次世代技术，找出效能更好的解决方案也成为记忆体厂商的首要任务。

为了满足日益繁重的资料处理需求及工作负荷，运算能力持续演进，从超越PC的功能型运算，慢慢走向工作站，再到企业用伺服器；近年来随着智慧型连网装置的推陈出新与普及，网路服务的导入逐渐演变成伺服器群组或资料中心。

未来，网路工作量将持续增加，呈现算力集中化的趋势，由边缘处理重要且即时但非隐私的资料；中央（高效能运算与云端）则处理机密、非即时的资料，高效能运算的重要性不言而喻。

高效能运算可以在有限或较短时间内，完成复杂或大量运算工作，以提高应用程式的处理能力，应用领域涵盖机器学习、深度学习、物联生活与智慧城市等。上述应用服务需要倚赖庞大数据进行运算与训练，大部分藉由伺服器来进行统合。

此外，伴随着虚拟化平台及云储存技术发展，伺服器需求与日俱增，也带动超大规模资料中心（hyperscale datacenter）的成长。根据TrendForce调查显示，全球超大规模资料中心的建置数量于2025年预计将达1，070座，2016年至2025年CAGR达13．7％。

用不同方式思考

HPC非常传统，相对而言人工智能是新的。就目前而言，当两者相互作用时，它将重提有关实现遗留代码的问题，在某些情况下这些代码可能早就该实现了。说法可能是让我们为这段代码添加一些人工智能功能，但现实将是努力可能成为浪费时间。就像那些早期疯狂的Java时代一样，急于将代码重写为新形式的人既有成功的也有失败的。投资回报率（ROI）将是关键，但预测创新的结果往往是错误的。

在任何HPC或AI的会议上谈论容器似乎只能站着说说。但这正在改变，例如Python和Julia在配置时可以更好地扩展，容器可以帮助部署。

容器为用户提供了良好的环境，2019年将看到HPC领域越来越多的容器使用，部分原因是AI用户的对此表现出的兴趣。毫无疑问，这会对HPC带来挑战，因为这需要优化的生态系统。如今，这个领域正在进行这方面大量的精细工作，HPC社区将帮助实现这一目标，满足大家对容器的渴望。

只要有人工智能，就有大数据。人工智能的重点是利用数据模型从大量的数据集中找到价值。许多HPC中心已经有很多基础设施可以很好地处理大数据问题。所有HPC中心都将大数据作为新系统的主要需求，AI工作负载是大数据需求的主要动力。

由于存储器的高成本，我们看到存储器大小与FLOP／s的比率多年来一直在下降。这对大数据发展不利。与持久内存相关的新功能带来了一些希望，并支持大型机器（包括HPC）中的大数据模型。这些新的内存技术提供了主内存和本地存储（SSD）的扩展。
HPC对可视化的热爱将对AI产生的影响。将数据放在最接近处理器的位置是最适合进行实际数据可视化的处理器，是HPC影响AI ／ ML的最重要的方法之一。当然，使用和理解大数据以及可视化数据和分析是相互交织的。

推理工作负载将对HPC产生重大影响

应用程序的融合不是在重新思考之后进行替换，融合两全其美，扩展工作负载多样性并看到不同工作负载的融合。那些有远见的人已经证明，HPC和AI结合时有很多机会。虽然现在很少有应用结合HPC算法和AI技术，基于早期的结果，我很容易预测这是HPC应用的未来，并且将因为AI带来HPC最大的变化。

计算在某种意义上并没有改变：它完全取决于整个系统对用户的作用。虽然需求有变化，但一个完整的系统由硬件起来和软件组成不会改变。实际上，很容易被单一技术（硬件或软件）分散注意力；最好的系统会谨慎地应用最新技术。

AI＋HPC的重要意义

显然AI将使用HPC，这将永远改变HPC。事实上，AI可能是HPC历史上最大的变革推动者。HPC随着科技的发展不断进步，工作负载也将随着人工智能的发展而变化。我不认为辩论收敛与交叉给予足够的信任的概念，人工智能用户将加入HPC社区，并留下自己的标记。他们也将使用非HPC系统，就像其他HPC用户一样。

将有专为AI工作负载设计和构建的定制高性能机器，其他机器的AI工作负载也在可以在更通用的高性能设备上运行。要平衡机器的高性能和灵活才能实现加速。在所有情况下，人工智能将有助于定义未来什么是超级计算，这将永远改变HPC。

HPC和AI不仅有着天然的联系，如今更处在加速融合之中。换句话说，HPC不仅可以助推人工智能的快速发展，更随着人工智能的不断成熟，又反过来促进了HPC系统更好的部署和应用。

领先企业正着手部署

高效能运算指应用程序平行化机制，在有限或较短的时间内完成复杂或大量运算工作，以提高应用程序的处理能力，常应用于一般计算机无法处理的大型计算式高效能运算计算机系统。

正是洞察到了那些已部署HPC，但又希望利用现有基础设施发展AI的群体，英特等行业领先企业合作开发了面向高效能运算的英特尔精选解决方案，这是一套面向快速部署HPC基础设施的解决方案，已针对分析集群和高效能运算应用进行了优化，可帮助客户在发展人工智能的过程中，缩短实现突破、提供可行洞察和设计新产品的时间。