nafyi.

公开观点

Richard Ho

信息来源参与者

1 份资料 · 3 条观点 · 3 个话题

内容更新于:

Richard Ho 关于人工智能基础设施战略、芯片架构、硬件灵活性的观点。 按话题阅读 3 条观点，核对 1 个来源中的证据。

探索知识关联

按话题查看观点

按来源发布日期整理的个人观点，仅反映这些材料中的表达，不代表其全部立场。

译文仅辅助阅读；核查观点请以原始摘录为准。

人工智能基础设施战略

查看话题
人工智能基础设施战略

使命：降低推理成本

其使命是降低推理和计算成本——让用户更快、更便宜地获得智能。

支持这项说法

Richard Ho·

OpenAI 首款芯片内幕

他们非常想仔细研究我们能做些什么来降低推理成本和计算成本。

原始摘录
They wanted to look really hard at what we could do to lower the cost of inference and lower the cost of compute.
上下文

我认为这个项目真正启动是在 Sam 和 Greg 认定基础设施将成为关键差异化因素，并且是向用户提供 AI 和智能的关键驱动力之一的时候。

原始上下文

I think this project really kicked off when Sam and Greg decided that infrastructure was going to be a key differentiator and one of the key drivers of AI and intelligence to users.

打开原始内容 · Publisher transcript paragraph 10 （在新标签页中打开）原始文本来源 （在新标签页中打开）
Richard Ho
分享观点

芯片架构

查看话题
芯片架构

硬连线的内存-计算局部性

唯一关键的硬连线架构特性是紧密的内存-计算局部性——具体而言，即 HBM 与计算核心之间的亲和性——以提升性能、提高能效并减少数据移动。

支持这项说法

Richard Ho·

OpenAI 首款芯片内幕

我们的架构中真正独特、可以说是硬连线进去的一点，就是内存与计算之间的局部性和亲和性。这是该设备的关键架构差异。

原始摘录
The one thing that is really unique about our architecture, that is kind of hardwired in, is the locality and affinity between memory and compute. That’s the key architectural difference of this device.
打开原始内容 · Publisher transcript paragraph 31 （在新标签页中打开）原始文本来源 （在新标签页中打开）
Richard Ho
分享观点

硬件灵活性

查看话题
硬件灵活性

单设备的吞吐量与延迟帕累托曲线

Ho 表示，单个设备可以在高吞吐量与低延迟之间帕累托曲线的任一端运行，也可以在两者之间的任意点运行。他将这一能力与降低基础设施成本联系起来。

支持这项说法

Richard Ho·

OpenAI 首款芯片内幕

我们在单个设备中所拥有的——我认为这对我们的基础设施以及降低基础设施成本的能力至关重要——是一个可以在这两个端点或该曲线上任意点运行的单一设备。我们称之为高吞吐量与低延迟之间的帕累托曲线。

原始摘录
What we have in a single device—and I think this is really critical for our infrastructure and being able to lower the cost of the infrastructure—is a single device that can operate at both points, or at any point along that curve. We call it the Pareto curve between high throughput and low latency.
打开原始内容 · Publisher transcript paragraph 43 （在新标签页中打开）原始文本来源 （在新标签页中打开）
Richard Ho
分享观点

按来源日期阅读1

按原始来源的发布日期排序；措辞不同不代表立场发生变化。