自研芯片速度碾压英伟达10倍 初创公司Groq一夜爆火
财富理财师
2024-06-20 00:34:39
0次
一夜之间，初创公司Groq爆火，其在同名模型启动器上运行的大模型，能够每秒输出近500个token，输出速度比Gemini快10倍，比GPT-4快18倍。
Groq并没有研发新模型，主页上运行的是开源模型Mixtral 8x7B-32k和Llama 270B-4k。其神速的响应源于自研的语言处理单元LPU。根据Groq官网的介绍，LPU是一种专为AI推理所设计的芯片。
Groq官网的测试资料显示，由Groq LPU驱动的Meta Llama 2模型推理性能是顶级云计算供应商的18倍。Groq创始人Jonathan Ross称，在大语言模型任务上，LPU比英伟达的GPU性能快10倍，但价格和耗电量都仅为后者的十分之一。单卡仅有230MB内存，2万美元一张。
自研芯片速度碾压英伟达10倍 初创公司Groq一夜爆火。点击视频，一看究竟！
文章作者 
视点
相关视频
09'18'' 英伟达营收好于市场预期 黄仁勋称人工智能触及“临界点”丨从华尔街到陆家嘴 11小时前 
01'56'' 2035年中国人工智能产业规模将达到1.73万亿元 业内：大模型对算力和效率提出极大考验 01-16 22:44 
07'53'' 英伟达推出新芯片 宣称在人工智能PC竞赛中处于领先地位丨从华尔街到陆家嘴 01-09 10:12 
01'55'' 英伟达或成今年全球半导体收入第一名 分析师：并非高枕无忧 2023-12-26 22:42 
00'56'' 英伟达新产品被曝出首张渲染图 改良版AI芯片或明年1月接受预定 2023-12-26 22:41 一财最热 点击关闭
相关内容
热门资讯
淘气天尊：市场出现这个信号，或...
周二市场呈现探底反弹的格局，投资者可以看到，早盘沪指高开1点于2737点，创业板高开1点于1540点...
我国学者提出新能源电池快充新方...
锂电池的充电速度、工作温度、安全性是电动汽车进一步发展的难点问题。浙江大学联合多家单位设计出一款新型...
APOLLO出行(00860H...
格隆汇3月17日丨APOLLO出行(00860.HK)公布，于2024年3月15日，公司与该等认购人...
广东新一批信访督查专员和督查员...
2月29日，第77批省信访督查专员和第15批督查员工作总结暨第78批省信访督查专员和第16批督查员到...
广州祺宸科技有限公司佛山分公司...
转自：金融界本文源自:金融界金融界2024年3月15日消息，广州祺宸科技有限公司佛山分公司因提供服务...
中国田径协会原主席于洪臣一审被...
北京1月30日电(记者 张素)记者从中国最高人民法院获悉，1月30日，湖北省黄石市中级人民法院一...
3月1日雄韬股份涨停分析：5G...
证券之星消息，雄韬股份涨停收盘，收盘价14.83元。该股于9点33分涨停，2次打开涨停，截止收盘封单...
田洪良：2月23日主要货币短线...
从技术上来看，美指周四上涨在104.15之下遇阻，下跌在103.40之上受到支持，意味着美元短线下跌...
东兴证券第三季净利降5623%...
中国经济网北京11月1日讯 东兴证券(601198.SH)近日公布的2023年第三季度报告显示，今年...
华庄科技业绩滑坡应收账款偏高：...
《港湾商业观察》乐沛淇2024年2月2日，广东华庄科技股份有限公司(以下简称，华庄科技)收到深交所第...