iPad 大小的 AI 芯片会成为 AI 硬件的未来吗？

来源：内容由半导体行业观察（ID：icbank）翻译自「searchenterprisea」，作者：George Lawton，谢谢。

诸如Cerebras WSE之类的巨型AI芯片令人眼花缭乱，并且可以改变AI模型，采用不同的组织内存，计算和网络方式的新型AI芯片可能会重塑领先企业设计和部署AI算法的方式。供应商Cerebras Systems已开始测试与iPad大小相同的单个芯片，该芯片的数据传输速度比现有AI芯片快数千倍。这可能为开发人员提供尝试新型AI算法的机会。

风险投资公司Engineering Capital的首席工程师Ashmeet Sidana说：“这是一个巨大的市场机会，我看到正在对计算机体系结构进行全面的重新思考。”

Ashmeet Sidana

Sidana指出，早就应该进行重新思考了。从历史上看，该行业一直专注于在传统计算机体系结构之上扩展简单的机器学习工作负载，而不是考虑构建AI特定计算机的最合适方法。

但是，随着Cerebras和Graphcore等初创企业以及像Intel这样的老牌企业（通过收购Habana Labs）竞相建造新一代的AI芯片，情况正在迅速改变。

在短期内，这些进步将对拥有大量AI的公司产生最大的影响。从长远来看，各种规模的企业将不得不重新考虑其IT，数据工程和数据科学流程，以保持领先地位。

解决传统AI硬件中的带宽瓶颈

Cerebras在推出晶圆级引擎（Wafer Scale Engine，WSE）芯片时震惊了整个行业：WSE芯片的尺寸相当于整个硅晶圆的大小，比最大的GPU大56倍，拥有的内核多78倍。但是其真正的优势在于它可以以多快的速度移动数据-快10,000倍。

研究公司Omdia的高级首席分析师兼处理器副总监Tom Hackenberg表示：“我在此解决方案中发现的最大创新就是将如此高的带宽集成到内存中。”

Tom Hackenberg

他说：“内存访问和配置是许多新创公司正在解决的技术之一，因为传统的大规模内存地址没有针对神经网络算法进行优化。”

传统的AI硬件架构的一个主要瓶颈在于在不同的处理内核，内存和其他芯片上的处理内核之间进行转换所花费的时间。因此，需要对AI算法进行优化，以最大程度地减少内核之间通信的需求。无论算法是在多个CPU上还是在多个GPU上运行，这都适用。

WSE上的内核比传统芯片上的互连更加紧密。这样可以加快内核之间以及内核与板载RAM（称为SRAM）之间的通信速度。而且，在与处理核心相同的基板上存储着更多的SRAM。WSE具有32 GB的SRAM，而传统芯片只有几十兆的SRAM。密集互连允许数据在内存和处理器之间以每秒9 PB的速度移动，在内核之间以每秒100 PB的速度移动。

在典型的计算机中，计算的中间步骤存储在主板上的DRAM中，该DRAM比SRAM慢得多，但比外部存储快。

Cerebras首席执行官Andrew Feldman说：“ DRAM就像杂货店的故事，而SRAM就像冰箱。” 他说，如果您想快速得到一些东西，最好把它放在冰箱里。杂货店有多大都没关系，因为如果您必须去杂货店买啤酒，就会错过一些足球比赛。

Andrew Feldman

相比之下，最先进的GPU（例如Tesla V100）具有每秒900 GB的GPU内存带宽。

其他AI芯片提供商也正在缓解带宽瓶颈。例如，Graphcore的智能处理单元具有 300 MB的SRAM和每秒45 TB的内存带宽。

重新思考内存和计算的组织方式的工作最终可以解决传统系统的某些内存访问障碍。Hackenberg说，这还可以大大降低功率需求。这将吸引已经开始涉足AI加速器协处理器的云服务超标量 -阿里巴巴，Alphabet，亚马逊和微软都是设计自己的ASIC解决方案的公司。

生态系统支持是新AI芯片的关键

像所有新的芯片供应商一样，Cerebras必须投资使其大型AI芯片与TensorFlow和PyTorch等现有的AI开发框架协同工作。但是，关于WSE和类似的大型AI芯片在AI开发工作流程中如何发挥作用尚无定论。

Omdia的Hackenberg警告说：“这不仅需要每瓦性能，而且还需要大量的生态系统支持，服务和定价激励措施，才能抢夺AMD，英特尔，Nvidia或Xilinx等领导者的市场份额。”

Hackenberg说，这个市场上最大的供应商不仅提供规模经济，还提供多年的生态系统支持。为了从Beta测试过渡到商业可行性，这一领域的初创企业将需要提供大量激励措施，以促使买家放弃其传统供应商-包括明显的性能提升，成本节省或两者兼而有之。

Hackenberg说：“长期关系和生态系统支持经常被初创公司低估。”

其他人则对巨型AI芯片和更新的架构证明其价值的潜力充满希望。

IT咨询公司Globant的技术副总裁Agustin Huerta表示，芯片提供商正在使公司更容易使用更大的AI芯片。

Agustin Huerta

国产芯片，又一只力量从默默无闻到异军突起

相信很多人都有这样的观点，觉得紫光展锐既没有高通的垄断市场，也没有华为海思的科研实力，更没有苹果的知名度，因为这样的认识，所以一直将紫光展锐当作芯片领域的第二梯队企业，甚至是第三梯队企业。 紫光展锐 其实，这是对紫光展锐的一大误解，现在的紫光

Globant的AI和流程自动化工作室负责人Huerta说：“以我个人的经验，与传统的CPU供应商不同，芯片供应商也愿意比以往更接近企业，并提供大量的投入。”

他说，芯片提供商正在直接与最终用户合作，以针对不同的用例和架构优化其芯片。该支持使AI团队不必进行这项工作。这也意味着AI团队可以编写一次算法，然后针对各种不同的目标生产环境重新编译该算法。

称赞解决问题的小芯片

也就是说，Huerta希望更大的芯片将主要用于以AI应用程序为业务核心的企业或提供AI开发服务的公司。巨型AI芯片将使他们能够投入更多时间来微调模型或在其他培训无法返回预期结果的情况下确定案例。但是，对于其他许多公司而言，这些芯片将不再适用-至少在不久的将来不会。

他说：“大多数企业，如银行或零售商，几乎都不会使用这些解决方案，因为太多的计算能力使他们无法真正利用它。” “对于更主流的企业使用而言，更大的芯片可能会浪费资源。”

确实，哈肯伯格警告说，在现阶段，只有更大的筹码才能吸引人们的观点。通过采用更小的购买和运行成本更低的芯片，许多企业将看到更高的投资回报率。实际上，市场趋势是朝着较小的芯片发展。他说：“ Smaller倾向于提高每瓦性能，并提高生产良率。”

传统的处理器供应商正在尝试开发成本更低的AI硬件，例如小芯片（可集成到更大的异构处理器中以增加带宽并运行专门算法的模块化芯片）。

Huerta认为，这些较小的低功耗芯片可以使AI在无法可靠连接到网络的设备上使用AI，例如机器人手臂，交付机器人和远程设备自动化。

巨型AI芯片具有不同的功能。Cerebras的Feldman认为，更大的芯片有望开辟AI研究的新途径。

他说：“当您拥有允许不同功能的新硬件时，可以编写不同的模型。” 到目前为止，数据科学家仅研究了针对GPU特性的一部分算法。他们正在编写相同类型的算法以更快地运行。

但是，Feldman说，他希望研究人员能够探索新的模型，这些模型可能包括更大的网络，更深的网络或极为稀疏的网络。

重新思考AI的IT：首先要做的事

新硬件-包括iPad大小的AI芯片-不会为大多数企业提供主要的竞争优势。

相反，Engineering Capital的Sidana表示，首席信息官应着重于基础知识，首先要建立能够将新模型持续投入生产的机器学习管道。对于许多CIO来说，生产数量将是个位数，而AI强国将生产数千个模型。

不管是哪种情况，负责监督AI计划的CIO都需要重新评估他们购买硬件和服务的方式，Capital Engineering的Huerta说。

他说：“许多公司的失误之一就是购买了不足的硬件来满足AI领域的当前需求。” 许多IT部门依靠自己对传统服务器需求的了解，并根据过去使用的相同因素做出投资决策，而没有意识到部署AI的特定基础架构要求。

他说，CIO必须确保其团队准确地预测其AI需求，以避免过度使用从未真正使用过的功能。该分析还可以帮助您确定AI基础设施不足的地方，例如，在运行关键任务应用程序时会导致长时间的延迟。

根据Huerta的经验，公司面临的主要挑战是确定哪种硬件或云解决方案适合其特定的计算需求。在许多情况下，与购买和运行自己的服务器相比，从云提供商那里租用AI处理功能可能给公司带来更大的投资回报率。他说，关键是要从软件开发，云和硬件的角度与合作伙伴合作，以全面了解需求和成本。

Sidana说，成功的AI也需要保持警惕。AI团队在失去准确性时必须能够重新训练模型。传统企业可能要花费数月的时间来重新训练模型，而最老练的公司则每天或每分钟都这样做。

Sidana说：“大多数企业仍需改进几个数量级。”

Sidana说，CIO也不应低估保持高性能AI系统正常运行所需的数据工程。“随着我们建造更快的设备并且公司收集更多的数据，大规模管理，操纵和交付AI计算的能力经常被忽视。”

*免责声明：本文由作者原创。文章内容系作者个人观点，半导体行业观察转载仅为了传达一种不同的观点，不代表半导体行业观察对该观点赞同或支持，如果有任何异议，欢迎联系半导体行业观察。

今天是《半导体行业观察》为您分享的第2300期内容，欢迎关注。

从财报看2019年的国产集成电路

AI芯片的一些科普

Arm芯片三十五年

中国半导体｜苹果｜封测｜蓝牙｜设备｜晶圆｜英伟达｜射频｜台积电