台州市吉隆鞋业有限公司 > 新闻中心 > 公司新闻
星空体育官方网站星空体育官方网站星空体育官方网站2016 年,谷歌张量处理单元 TPU 的发明者乔纳森·罗斯(Jonathan Ross),在美国加利福尼亚州山景城创建了一家名为 Groq 的 AI 芯片公司。
经过几年的发展,这家致力于生成式 AI 解决方案的企业,已经构建了旨在大规模实现低延迟、节能和可重复推理性能的 LPU 推理引擎,并希望实现这样一个使命,即创建 AI 经济,以让任何有绝妙创意的人都能使用并负担得起。
过去几天,这家长期以来一直处于隐身状态的公司,在互联网上引发较大的轰动星空体app首页。
Groq 基于自研 LPU 推理引擎,让 Mixtral 8x7B 等开源大语言模型能够以几乎每秒 500 个 token 的速度运行,并在大多数基准测试中击败了以每秒 40 个 token 的速度运行的 GPT-3.5。(编者注:token 指的是 AI 训练过程中处理文本的最小单元。)
显而易见,如果推理速度像 LPU 这样快的芯片在今后变得越来越普遍,那么用户等待生成式 AI 缓慢输出内容的日子会逐渐消失。与此同时,Groq 的发展也将不可避免地为 GPU 芯片的霸主英伟达带来威胁。
日前,该公司收购了一家位于美国加利福尼亚州帕洛阿托的初创公司 Definitive Intelligence,收购金额尚未公开。
Definitive Intelligence 主要推出与生成式 AI 有关的产品,包括开发大语言模型所需的开源库集合 OpenAssistants,和连接到企业与公共数据库的可视化生成器 Advisor。
Pioneer 是该公司的主要工具之一,作为一种“自主数据科学代理”,能够实现对任何数据分析任务的处理,比如预测建模等。
在本次收购之后,马德拉将领导 GroqCloud 业务部门,主要利用他在服务企业客户方面积累的专业知识和丰富经验,通过 GroqCloud 来广泛地拓展用户对 LPU 推理引擎的访问。
对此,罗斯在公司发布的新闻稿中表示:“我们很欢迎来自 Definitive Intelligence 的马德拉和他的团队帮助我们实现公司使命。
该团队拥有 AI 解决方案和进入市场策略方面的专业知识,并且致力于与社区分享知识。他们是领导我们 GroqCloud 业务部门的完美人选。”
需要说明的是,GroqCloud 云平台是 Groq 围绕开发人员打造的一个新平台,已经具有该公司完全集成的文档、代码示例和自助服务访问权限(用户能通过**** 访问)。
具体来说,GroqCloud 不仅能够帮助用户通过自助服务平台轻松访问 LPU 推理引擎,还能为客户部署新的生成式 AI 应用程序,并为这些程序提供只有 Groq 才拥有的超快运行速度。
公开资料显示,GroqCloud 自 2024 年 2 月 19 日试运行以来,已经吸引了大量开发人员,其中数千人对于 GroqAPI 的使用持非常积极的态度。
而马德拉和该平台的业务团队计划最初将工作重点集中在扩大容量、提高效率、建立合作伙伴关系以及构建开发者平台。
“世界现在才意识到高速推理对生成人工智能的重要性。在 Groq,我们为开发人员提供了实现生成式 AI 承诺所需的速度、低延迟和效率。”马德拉在一封电子邮件声明中说。
同时,他也在该声明中表示:“自从 2016 年第一次见到罗斯以来,我一直是 Groq 的忠实粉丝,我很高兴能加入他的行列,Groq 团队力求将最快的推理引擎推向世界。”
该部门在聚焦创新的同时,还会为需要将 Groq 芯片用于其 AI 计算中心的公共部门和客户提供服务。
对于 Groq 为何选择将 GroqCloud 和 Groq Systems 分成两个部门,罗斯解释说:“这将使 Groq 能够继续快速创新、加速推理并引领 AI 芯片竞赛,而传统提供商和其他 AI 领域的知名企业仍然在尝试构建一款可以与我们的 LPU 竞争的芯片。”
面临如今定制 AI 芯片市场的竞争如此激烈的当下,这或许不会是 Groq 的最后一次收购行动,毕竟该公司显然打算先于竞争对手站稳脚跟。
*博客内容为网友个人发布,仅代表博主个人观点,如有侵权请联系工作人员删除。