Hacker News· amrrs·· 15 天前精选AI 评分28
不自己跑 LLM 代理，怎么知道到底发生了什么
If you don't run your own LLM proxy, how do you know whats going on?
AI 导读
作者主张只有自托管 LLM 代理，才能看清模型调用中的流量与行为，否则只能依赖外部服务的转述。
推荐理由
原文把自托管 LLM 代理当作观测模型流量的前置条件，读者可以据此对照现有工作流，决定是否要在自己环境里加这一层。
来源：Hacker News · jrdsgl.com