把模型能力做成能上线、能算成本、能被评测的东西,而不是停在 Demo。
切分、检索、重排、评测。重点写清楚哪一步在拖后腿,而不是只堆向量库。
工具调用、规划、多智能体协作、失败重试。写的是边界条件,不是演示视频。
vLLM / SGLang、批处理、量化、缓存与成本控制。延迟和成本永远是同一道题的两面。
Prompt 管理、效果评测、灰度与回滚。线上跑得稳,比 demo 惊艳更重要。