搭载1000瓦GPU的服务器要来了，AI耗电已超普通人类家庭上万倍

        戴尔首席运营官 Jeff Clarke 在上周公司的财报电话会议上透露 Nvidia 最新的 AI 加速器将消耗 1,000 瓦，比前身增加 42%。

        即便如此，他表示即将推出的 Nvidia 芯片（他称之为 B200）将不需要在数据中心服务器中进行液体冷却。Nvidia 尚未宣布一款名为 B200 的芯片，但一些观察人士推测，Clarke 可能指的是 Nvidia 路线图上的 GB200 芯片，该芯片预计将结合 Nvidia 的 Grace CPU 和 B100 GPU，与 GH200 的配置相同。GB200的热设计功率可达1,300瓦，比前代产品提高了30%。

        Nvidia 可能会在两周后的 GTC 活动中透露更多信息。

        Nvidia 于 2023 年底推出了 H200，这是 H100 的更新版，由于采用了 HBM3e 内存，能够将 LLM 性能提高一倍。

        在戴尔的财报电话会议上，Clarke说："我们对 H200 的发展及其性能提升感到兴奋。然后他又说：要达到每个 GPU 1000 瓦的能量密度，确实不需要直接的液体冷却。

        戴尔已经展示了在大规模液冷、互连、遥测和电源管理方面的专业技术。"这确实使我们能够做好准备，将其大规模推向市场，以利用市场上将存在的这种令人难以置信的计算能力或强度或能力"。他说。

AI耗电是人类普通家庭上万倍

        人工智能芯片的功耗是数据中心专家和戴尔等服务器制造商最关心的问题之一。

        据《纽约客》杂志报道，OpenAI的热门聊天机器人ChatGPT每天可能要消耗超过50万千瓦时的电力，以响应用户的约2亿个请求。相比之下，美国家庭平均每天使用约29千瓦时电力，也就是说，ChatGPT每天用电量是家庭用电量的1.7万多倍。

        如果生成式AI被进一步采用，耗电量可能会更多。荷兰国家银行数据科学家亚历克斯·德弗里斯在一篇论文中估计，到2027年，整个人工智能行业每年将消耗85至134太瓦时(1太瓦时=10亿千瓦时)的电力。