8月6日消息，美國人工智能（AI）芯片初創(chuàng)公司Groq于當(dāng)?shù)貢r間周一成功獲得了6.4億美元的D輪融資，以加強(qiáng)其云端大模型推理能力。

據(jù)了解，Groq最新一輪融資由 BlackRock、Neuberger Berman、Type One Ventures、Cisco Investments、Global Brain 和 Samsung T催化劑等公司領(lǐng)投。

這家總部位于美國加利福尼亞州山景城的初創(chuàng)公司成立于 2016 年，是一家 AI 芯片生產(chǎn)商，旨在實(shí)現(xiàn)高吞吐量、低成本的推理，而不是訓(xùn)練。該公司核心團(tuán)隊(duì)來源于谷歌最初的張量處理單元（TPU）工程團(tuán)隊(duì)。Groq 創(chuàng)始人兼CEO Jonathan Ross是谷歌TPU項(xiàng)目的核心研發(fā)人員。該公司硬件工程副總裁Jim Miller 曾是亞馬遜云計(jì)算服務(wù)AWS設(shè)計(jì)算力硬件的負(fù)責(zé)人，還曾在英特爾領(lǐng)導(dǎo)了所有 Pentium II 工程。截至目前，Groq 總共籌集了超過 10 億美元，現(xiàn)在的估值已達(dá) 28 億美元。

今年2月，Groq推出了全球首個基于LPU（Language Processing Unit）方案的大模型推理芯片，作為一款基于全新的TSA 架構(gòu)的Tensor Streaming Processor (TSP) 芯片，旨在提高機(jī)器學(xué)習(xí)和人工智能等計(jì)算密集型工作負(fù)載的性能。

雖然Groq的LPU并沒有采用更本高昂的尖端制程工藝，而是選擇了14nm制程，但是憑借自研的TSA 架構(gòu)，Groq LPU 芯片具有高度的并行處理能力，可以同時處理數(shù)百萬個數(shù)據(jù)流，并該芯片還集成了230MB容量的SRAM來替代DRAM，以保證內(nèi)存帶寬，其片上內(nèi)存帶寬高達(dá)80TB/s。

根據(jù)官方的數(shù)據(jù)顯示，Groq的LPU芯片的性能表現(xiàn)相當(dāng)出色，可以提供高達(dá)1000 TOPS (Tera Operations Per Second) 的計(jì)算能力，并且在某些機(jī)器學(xué)習(xí)模型上的性能表現(xiàn)可以比常規(guī)的 GPU 和 TPU 提升10到100倍。

Groq表示，基于其LPU芯片的云服務(wù)器在Llama2或Mistreal模型在計(jì)算和響應(yīng)速度上遠(yuǎn)超基于NVIDIA AI GPU的ChatGPT，其每秒可以生成高達(dá)500個 token。相比之下，目前ChatGPT-3.5的公開版本每秒只能生成大約40個token。由于ChatGPT-3.5主要是基于NVIDIA的GPU，也就是說，Groq LPU芯片的響應(yīng)速度達(dá)到了NVIDIA GPU的10倍以上。Groq表示，相對于其他云平臺廠商的大模型推理性能，基于其LPU芯片的云服務(wù)器的大模型推理性能最終實(shí)現(xiàn)了比其他云平臺廠商快18倍。

另外，在能耗方面，英偉達(dá)GPU需要大約10到30焦耳才能生成響應(yīng)中的tokens，而Groq LPU芯片僅需1到3焦耳，在推理速度大幅提升10倍的同時，其能耗成本僅有英偉達(dá)GPU的十分之一，這等于是性價比提高了100倍。

Groq的策略是使用光纖互連將數(shù)百個LPU拼接在一起，每個LPU都裝有片上SRAM。通過使用 576 個 LPU 的集群，Groq 聲稱它能夠在 Meta 的 Llama 2 70B 模型上實(shí)現(xiàn)每秒超過 300 個令牌的生成速率，是具有 8 個 GPU 的 HGX H100 系統(tǒng)的 10 倍，同時消耗十分之一的功率。

Groq公司在演示中展示了其芯片的強(qiáng)大性能，支持Mistral AI的Mixtral8x7B SMoE，以及Meta的Llama2的7B和70B等多種模型，支持使用4096字節(jié)的上下文長度，并可直接體驗(yàn)Demo。不僅如此，Groq還喊話各大公司，揚(yáng)言在三年內(nèi)超越英偉達(dá)。目前該公司的LPU推理芯片在第三方網(wǎng)站上的售價為2萬多美元，低于NVIDIA H100的2.5-3萬美元。

編輯：芯智訊-浪客劍