8月19日,“第四届滴水湖中国RISC-V产业论坛”正式在上海临港滴水湖洲际酒店召开。北京奕斯伟计算技术股份有限公司智能计算事业部交付中心中心长路向峰先生推介了全球首款搭载64位RISC-V乱序执行CPU及自研高性能NPU的双DIE互联AI SoC EIC7702X,算力高达40TOPS!
近年来,在中美科技战、国产芯片自主可控的大背景之下,开源RISC-V架构的在中国获得了蓬勃发展,一大批的国产芯片设计厂商都有在做基于RISC-V架构的自研芯片。而随着自去年以来AI大模型的快速发展,也开始有不少厂商发力基于RISC-V架构AI SoC。
北京奕斯伟科技集团有限公司是一家集成电路领域产品和服务提供商,核心业务包括芯片与方案、硅材料、生态链开发等板块。其中,从事芯片与方案业务的奕斯伟计算公司是一家以RISC-V为基础的新一代计算架构芯片与方案提供商,目前也推出了一系列基于RISC-V架构的AI SoC。
据介绍,目前奕斯伟智能计算事业部已经推出了多款基于RISC-V架构高性能AI SoC,其中EIC7700X是全球首款搭载64位RISC-V乱序执行CPU及自研高性能NPU的AI SoC,基于四核的SiFive P550 RISC-V CPU内核,支持64位乱序执行能力,它的DMIPS跑分可以达到8.57分,这个是要超过竞品A76的指标,并且其还集成了NPU内核,AI算力约20TOPS,能够支持在端侧加速生成式AI大模型。
而EIC7702X则是在EIC7700X基础上进行了双DIE互联封装,即拥有了8核SiFive P550 RISC-V CPU内核,和双核NPU内核,实现了EIC7700X两倍的性能,进一步提升了CPU及AI性能,AI算力高达40TOPS,是全球基于RISC-V架构性能最高的AI SoC,可以满足各类AI智能设备、AI PC、AI加速卡等产品的需求。
根据路向峰公布的测试数据来看,EIC7700X和EIC7702X都可以支持运行Llama 2 70亿参数大模型,EIC7700X可以实现每秒8个Token的生成,EIC7702X可以实现每秒16个Token的生成。
“我们这个芯片在自研的时候也是创新性的引入了很多指令优化,涉及到数据流的优化,所以不光是它的整个性能好,它的利用率也是得到了极大的优化。它内部支持的数据精度包含FP16,这对于精度要求比较高的场合是非常合适的。这个芯片内部支持了LPDDR4/4X/6等不同的接口,EIC7700X达到32GB,EIC7702X达到了64GB,分别是64-Bit和128-bit。这个也是特别适用于大模型,它们对于整个参数数量大、带宽吞吐量要求较高的特点。除了NPU的这些优势之外,这个芯片内部集成了丰富的视频编解码,3D的GPU及丰富的外设。芯片整体的功耗也是非常低的,在桌面应用下只有2.6瓦的功耗。”路向峰进一步解释道。
△在25路1080P的解码加上回放的场景,EIC7700X的功耗是2.83W,覆盖了桌面、办公及媒体播放。右边的三列实际上在上面的业务基础之上,还添加了NPU推理的性能,这个可以当作一个AI PC典型应用的场景,它的功耗也控制在6-7W,这样就使得它适用于电池供电或者是一些无风扇设计的一些被动散热的场合。
路向峰表示:“我们这个产品因为内部的CPU算力非常高,所以也是适用于边缘侧的一些AI应用,像笔记本电脑或者是平板这样的一类产品。这个核心原因:一方面是,EIC7702X内部的高性能CPU;第二方面是,EIC7702X内部有2个GPU,可以为游戏等一些对GPU要求较高的场景(3D渲染)提供支持。EIC7702X有2路输出,因此可以适用于笔记本一路接内置屏、第二路解外置屏。还有CV类算法与大语言模型,这些也是为对应的场景提供了较有力的软件层面的适配和支持。EIC7700X/EIC7702X出色AI性能和能效表现,则主要得益于两方面的工作:一是,硬件上NPU内部的设计优化。二是,采用的编译器框架能够根据网络模型特点自动适配NPU,使得内部的数据流尽量达到最优化。采用了这些优化之后,现在芯片支持的整个编译器的框架包含了TensorFlow、PyTorch等多种框架。”
在论坛的展示区域,奕斯伟也展示了基于EIC7702X方案的AI PC产品,支持Linux系统。此外,EIC7702X还可用作AI加速卡,EIC7702X通过内部的Switch互联,做到一个板子上往外通过PCIE接口提供出来,用户在主机就可以调用实现软件功能
据路向峰透露,EIC7702X即将在今年8月初已经正式量产,目前已经获得了一些客户的采用,预计很快将会上市。
编辑:芯智讯-浪客剑
这些信息可能会帮助到你: 联系作者 | 报毒说明
修改版本软件,加群提示等均为修改者自留,非本站信息,注意鉴别
评论(0)