真正的推理所有权需要拥有、理解并优化运行推理的代码
要真正拥有你的推理,你需要拥有、理解并优化运行推理的代码。
支持这项说法
Modal Auto Endpoints 介绍:真正属于你的优化推理 | Modal 博客
如果你使用由推理提供商提供的开放模型,你会获得一定的控制权。但我们认为,所有权的内涵远不止于 API 层面。要真正拥有你的推理能力,你需要拥有、理解并优化运行推理的代码。
原始摘录
If you work with open models served by an inference provider, you gain some control. But we think ownership runs deeper than the API. To actually own your inference, you need to own, understand, and optimize the code that runs the inference.