随着模型上下文窗口不断扩大,关于“RAG 是否会被取代”的讨论增多。实际落地中,两者并不是替代关系,而是服务于不同场景。
RAG 的优势
- 知识可随时更新,不必重新训练模型
- 回答可以附带出处,便于核查
- 适合文档数量大、权限分级明显的企业
长上下文适合什么
当资料量可控、需要模型整体理解一份合同或一份方案时,直接把全文交给模型更简单,也更少出现检索遗漏。
常见组合
更稳妥的做法是:先用检索缩小范围,再把相关片段放入上下文,同时保留引用信息。这样兼顾成本、准确率与可追溯性。
随着模型上下文窗口不断扩大,关于“RAG 是否会被取代”的讨论增多。实际落地中,两者并不是替代关系,而是服务于不同场景。
当资料量可控、需要模型整体理解一份合同或一份方案时,直接把全文交给模型更简单,也更少出现检索遗漏。
更稳妥的做法是:先用检索缩小范围,再把相关片段放入上下文,同时保留引用信息。这样兼顾成本、准确率与可追溯性。