FuriosaAI推出高能效AI芯片：性能与英伟达L40S

8月27日消息，在近日召开的Hot Chips 2024大会上，韩国AI芯片初创公司FuriosaAI 推出了一款面向高性能大型语言模型和多模态模型推理的高能效数据中心AI加速器 RNGD。

需要指出的是，这款芯片并不追求最高的AI性能，对标的也不是英伟达的H100之类的高性能AI芯片，而是一款追求高能效、低功耗AI数据中心解决方案，性能与英伟达L40S接近，功耗还降低了40%。

具体来说，FuriosaAI RNGD基于台积电5nm工艺制造，其核心的面积为653mm²，晶体管数量为400亿颗，AI计算核心的频率为1.0GHz，拥有256MB的片上SRAM，外围还通过CoWoS-S封装集成了48GB HBM3（2颗12层堆栈的24GB HBM），内存带宽为1.5TB/s。

在性能方面，基于 RNGD芯片的单张卡算力为64TFLOPS（FP8），可以运行Llama 3.1 8B等大语言模型，TDP功耗仅150W，相比之下英伟达H100 TDP则高达400W。而基于8张RNGD加速卡的系统，则可提供最高512TFLOPS（FP8）和1024TOPS（INT4）的计算能力。

根据FuriosaAI介绍，RNGD在运行拥有约100亿个参数的模型时，能够达到每秒处理多达3000个Token的吞吐量。在复杂的AI算法处理场景中，其能够有效降低电费和冷却成本，为数据中心提供了一种可持续的发展解决方案。与当前市场上的主流GPU相比，RNGD芯片能耗大幅降低的同时，计算性能却未受影响，提升了整体的经济效益。

正如前面所提及的，FuriosaAI并没有将RNGD的目标对准高性能的英伟达H100之类的产品，而是瞄准了英伟达L40S，目标不仅是提供相似的性能，而且是以更低的功耗提供该性能。根据FuriosaAI提供的数据显示，RNGD在拥有与英伟达L40S相近的AI性能的情况下，其能耗大约只有L40S的60%（即相当于功耗降低了40%），这也反应了其出色的能效表现。

FuriosaAI RNGD的高能效主要得益于其独特的TCP架构。FuriosaAI表示，该架构在能效、性能和可编程性之间达成了良好的平衡，能够高效管理数据和内存。这使得RNGD在处理例如Llama3这样的庞大模型时，比传统GPU方案具备明显的优势，尤其是在能效比方面。

当然，这也得益于FuriosaAI RNGD来自于硬件、软件和算法方面的联合优化。

比如，FuriosaAI一直试图解决在硬件和软件之间的抽象层上工作的挑战。

张量收缩是FuriosaAI的主要操作之一。在BERT方面，占据了FLOPS算力的99%。

通常，我们把矩阵乘法作为基元，而不是张量收缩。

相反，抽象是在张量收缩级别。

FuriosaAI为其原语添加了一个低级einsum。

这里，矩阵A和B相乘产生C。

然后，FuriosaAI利用这一点，在具有内存和计算单元的实际架构上对其进行调度。

从这里开始，一个完整的张量收缩可以是一个本原。

通过考虑空间和时间编排，他们可以提高效率和利用率。

Furiosa表示，它具有灵活的可重新配置性，这对于在批量变化时保持高性能非常重要。

下面是RNGD实现的情况：

以下是互连网络，包括访问暂存存储器。

FuriosaAI正在使用PCIe Gen5 xq6进行芯片到芯片的通信。它还通过PCIe交换机使用P2P进行GPU之间的直接通信。

FuriosaAI支持SR-IOV进行虚拟化。

FuriosaAI已经为可靠性做了信号和电源完整性方面的工作。

下面是Furiosa LLM如何以流程图的形式工作：

编译器编译映射到多个设备的每个分区。

编译器优化了模型的性能增益和能效。

服务框架做类似连续批处理的事情来获得更多的利用率。

FuriosaAI公司有一个基于图表的自动化工具来帮助量化。Furiosa可以支持许多不同的格式，包括FP8和INT4。

编辑：芯智讯-浪客剑 编译自：servethehome