当前位置: 首页 » 资讯 » 新科技 » 正文

比英伟达快10倍的AI芯片,初创公司Groq一夜爆火

IP属地 山东济南 编辑:朱程尔克 头部财经 时间:2024-02-21 18:28:25

近日,初创公司Groq因其高性能的AI芯片在科技界引起了轩然大波。据悉,该公司在其同名模型启动器上运行的大型AI模型,每秒能输出近500个token,其速度竟然比知名的Gemini快10倍,甚至比GPT-4还要快18倍。这样的性能表现让Groq几乎一夜之间成为了业界的焦点。

然而,值得注意的是,Groq并没有研发新的AI模型。其令人瞩目的性能提升主要归功于他们自主研发的语言处理单元LPU。这是一种专门为AI推理设计的芯片,其独特的架构和优化使得它在处理大型语言模型时具有出色的效率和速度。

根据Groq官网公布的测试数据,由Groq LPU驱动的meta Llama 2模型在推理性能上达到了顶级云计算供应商的18倍。这样的成绩无疑证明了Groq在AI芯片设计上的深厚实力和前瞻性。

公司创始人Jonathan Ross在接受采访时表示,Groq的LPU在大语言模型任务上的性能比英伟达的GPU快10倍,但价格和耗电量却仅为后者的十分之一。此外,这款芯片的单卡内存仅有230MB,售价也相对亲民,为2万美元一张。这样的性价比使得Groq的LPU在AI芯片市场上具有极强的竞争力。


免责声明:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其内容真实性、完整性不作任何保证或承诺。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。

全站最新