万维读者网 > 信息时代 > 正文  

英伟达赢麻了!马斯克xAI曝光,10万块H100…

www.creaders.net | 2024-05-26 12:08:45  机器之心 | 0条评论 | 查看/发表评论

英伟达:尽管建,用的还是我的芯片……

——题记

最近几年,随着大语言模型的飞速发展与迭代,科技巨头们都竞相投入巨额财力打造超级计算机(或大规模 GPU 集群)。他们认为,更强大的计算能力是实现更强大 AI 的关键。

早在 2022 年,Meta 即宣布与英伟达共同打造大型 AI 研究超级计算机“AI Research SuperCluster”(RSC),它由 760 个英伟达 DGX A100 系统组成,共有 6080 块 GPU,性能非常强大。

如今,马斯克旗下人工智能初创公司 xAI 传出了打造超级计算机的消息。

据外媒 The Information 报道,最近马斯克向投资者透露,xAI 计划建造超级算力工厂“Gigafactory of Compute”,为 AI 聊天机器人 Grok 的下一个版本提供算力支持。

据悉,xAI 计划将 10 万块 H100 专用 GPU 串联一台超级计算机,其规模至少是当前最大 AI 集群的四倍。如果 xAI 的计划能够顺利完成,这台超级计算机将耗费数十亿美元和大量电力。

不过,马斯克似乎很有信心,他的目标是在 2025 年秋季之前让这台超级计算机“跑”起来,并亲自负责按时交付。

英伟达赢麻了!马斯克xAI曝光,10万块H100…

当然,xAI 不想单打独斗, 其有望与甲骨文公司(Oracle)合作建造超级计算机。我们知道,xAI 是 Oracle 最大的 H100 服务器芯片租赁客户,已经使用了后者超过 1.5 万块 H100 芯片。

届时,xAI 超级算力工厂建成之后,10 万块 GPU 芯片集群将加速 Grok 聊天机器人的开发,减少语音限制。目前,Grok 的最新版本为 Grok 1.5,该版本实现了长上下文理解和高级推理能力,可以处理 128K token 的长上下文窗口。

而据马斯克此前透露,xAI 正在训练的 Grok 2 已经耗费了约 2 万块 H100 GPU,未来进阶版本 Grok 3 可能需要高达 10 万块 H100 GPU。看来,马斯克已经在为 Grok 3 未雨绸缪了。

英伟达赢麻了!马斯克xAI曝光,10万块H100…

最后,对于超级算力工厂而言,最关键的找到一个电力充沛(可能需要 100MW)的位置。因此,AI 数据中心位置的选择非常重要。

至于建成的意义是什么?这个规模庞大的超级算力工厂将帮助 xAI 追赶 OpenAI、微软等资金更为雄厚的竞争对手。

此前同样据 The Information 报道,微软和 OpenAI 拟投入超 1000 亿美元打造一个数据中心项目,其中包括一台“星际之门”(Stargate)的 AI 超级计算机,配备了数百万个专用服务器芯片,旨在为 OpenAI 实现 AGI 提供动力。

英伟达赢麻了!马斯克xAI曝光,10万块H100…

其实,这也不是马斯克第一次投入超算项目。此前,特斯拉就被曝出到 2024 年底,投入远超 10 亿美元打造一台“Dojo 项目”的内部超级计算机,用于处理数据和视频,提高自动驾驶能力并最终实现完全自动驾驶。

此次, 马斯克又在大语言模型领域斥巨资建造超级计算机。有人表示,如果消息属实的话,这将成为游戏改变者。当然,英伟达是最大的赢家。

   0


24小时新闻排行榜 更多>>
1 中国新规!今起所有酒店不得拒绝外国人
2 冒险传递中南海绝密的太子党 是他?
3 军中流传一句话 气炸老习
4 微信突然更新!这个功能我等了5年
5 “满是白色恐怖” 刘强东的狠话杀气腾腾

48小时新闻排行榜 更多>>
1 三坊七巷余波未平 又传出更劲爆丑闻
2 竟是真的!红二代捅出惊人消息
3 中国新规!今起所有酒店不得拒绝外国人
4 钟楚红与甘比聚会 64岁打扮时髦超显年轻
5 长居上海10年分析师逃了 发文曝中国崩盘
6 他的一句话 让老习很难堪
7 张学良谈蒋介石失败:不是他把大陆丢了,是
8 冒险传递中南海绝密的太子党 是他?
9 军中流传一句话 气炸老习
10 习罕见邀请他出席会议!三中全会前再放重大
热门专题
1
以哈战争
6
中共两会
11
秦刚失踪
2
中美冷战
7
台湾大选
12
火箭军悬案
3
乌克兰战争
8
李克强猝逝
13
台海风云
4
万维专栏
9
中国爆雷
14
战狼外交
5
美国大选
10
李尚福出事
15
普里戈津
一周博客排行 更多>>
1 近十年习近平执政只干了两件事 雷歌747
2 普金窜访哈尔滨的真实战略意图 文庙
3 习近平的两护法、三大金刚及一 胡亥
4 山雨欲来风满楼 要有大事发生 体育老师
5 愚蠢的国家战略是如何出笼的? 思芦
6 “自由”造就美国,也可能会葬 湮灭之城
7 “来,宝宝,叔叔暴抱!” Winston Sm
8 《全球化(三),中国已经处于 翰山
9 损人不利己的美国外交政策 不合群
10 2024年回国杂记(一) 玉米穗
一周博文回复排行榜 更多>>
1 损人不利己的美国外交政策 不合群
2 习近平会武统台湾吗 karkar
3 “自由”造就美国,也可能会葬 湮灭之城
4 普金窜访哈尔滨的真实战略意图 文庙
5 近十年习近平执政只干了两件事 雷歌747
6 山雨欲来风满楼 要有大事发生 体育老师
7 西方文学名著与习近平精神人格 折多山
8 一个人最大的悲剧, 就是所有 体育老师
9 川普 和 黑利 联合起来了,让 启泰
10 武统百日做梦/员工不买房就开 体育老师
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2024. CyberMedia Network/Creaders.NET. All Rights Reserved.