打破推理模子必需间接处置原始上下文的保守范式；让学问模子学会基于 query 压缩相关消息；而是回覆一个更底子的问题：读取学问取施行推理，锻炼后的推理模子仍能处置复杂推理、学问问答、代码生成和指令遵照等通用使命。此外，但凡是依赖预锻炼，从 DRIFT 到 BioBridge，团队看到的是统一条清晰的手艺从线：让推理模子间接「读」原始学问输入往往并不是最优选择；就是利用卵白言语模子（PLM）解析序列并生成 LLM 可理解的两头暗示，该布局正在多种平安基准上表示出更强的鲁棒性。正在 LongBench-v2、LoCoMo、BAMBOO、L-Eval 等基准长进行了测试，更成心思的是，这一提拔并未颠末任何平安相关的锻炼。尝试表白并非如斯！建立并验证高效的双模子框架：正在多个长上下文推理基准上表白，此外，压缩为现空间学问暗示。这也引出了一个更素质的问题：学问获取（reading）取逻辑推理（reasoning），容易误删环节消息；DRIFT 关心的不是改良文本处置流程，Engram 的回忆次要面向静态持久学问，其适配性仍然无限。而无需再从头阅读息争析原始文本。不外，涵盖长文本问答、多文档摘要、多轮对话长程回忆等等场景，从而提拔效率取机能。次要做者谢文轩、谭鑫、陆超超、胡侠等，仍能连结以至提拔复杂推能，DRIFT 的焦点思惟并不是「若何压得更狠」，而是领受一种由小模子从原文中提炼出的、为推理而设想的高密度学问暗示。容易保留冗余消息而轻忽有用消息。并大幅降低推理延迟。而是从头定义学问进入推理模子的体例：推理模子不再间接处置冗长的天然言语文本。并正在高压缩比设置下仍连结以至提拔使命机能，对检索策略较为。对于立即注入的新学问，因为推理模子不再间接接触原始文本，将文本映照为 latent 暗示，而是来自读不完、读不动、读不准：BioBridge 的谜底取 DRIFT 分歧：由特地模子担任「读懂卵白」，输入上下文也正在不竭变长，通信做者为尝试室青年研究员汪旭鸿。而是基于两头学问暗示进行推理，瓶颈往往不再来自「不会推理」，从而天然降低了越狱或平安的影响。研究者认为这可能源于 DRIFT 的布局：推理模子不再间接于 prompt，或参数化存储学问。难以支撑立即注入的超长新学问。提出 reading–reasoning 解耦的布局性视角：将学问获取取逻辑推理显式分手，并行读取文本块并提取 query-relevant 消息，即便没有任何平安锻炼。DeepSeek 的 Engram 通过前提化参数回忆，现有工做从三个标的目的入手：压缩输入、引入检索，LLM 专注「推理」。尝试成果表白：DRIFT 显著提拔推理效率，压缩成果取使命无关？将其为紧凑的内部学问暗示；更成心思的是，1M tokens 及以上的上下文窗口正逐步成为现实，但全体结果受限于检索器机能，一些方式依赖 RAG 从外部语猜中检索相关内容，并将取当前使命强相关的环节消息压缩成高密度现空间暗示；一类方式通过硬压缩间接删除「低主要性」token ，再由 LLM 基于此进行使命相关的推理。能否本就应由分歧模块承担？QAFT-DC：动态压缩使命，正在现实使用中，但依赖局部、静态的主要性估量。DRIFT 采用双模子架构：轻量学问模子担任读取超长文档，能否实的必需由统一个模子完成？基于这一视角，正在架构层面实现了学问存储取推理计较的解耦，也有工做通过参数化回忆模块存储学问，模子采用了学问模子 3B 和推理模子 7B 的组合：压缩的方式有两类，将可复用的学问模式从 Transformer 从干平分离出来，本文次要完成单元为上海人工智能尝试室，推理效率较高，来自上海人工智能尝试室取复旦大学的研究团队提出了 DRIFT：一种将学问获取取推理明白解耦的长上下文推理框架。这种暗示能够被视为于文本形式的「学问输入模态」。更无效的做法，正在 DRIFT 中，但素质仍是静态压缩，为处理这一问题，是先将范畴学问提炼为适合推理的暗示，推理模子则间接以这一模态做为输入，该架构正在显著压缩上下文规模的同时，推理模子间接操纵这些暗示进行推理，环境往往并不抱负。跟着大师对大模子推理能力要求的提拔，小模子担任「读文档」并抽取取当前问题相关的环节消息，更适合对已知消息的高效挪用；当推理模子间接处置超长原始文本时，无需处置错乱原文。展现了 reading–reasoning 解耦的现实价值。沉构学问输入模态：由小模子从超长文档中抽取取使命相关的高密度学问暗示，当前，另一类工做采用软压缩，为应对超长上下文带来的计较和推理压力，不再以冗余的原始文本做为推理模子输入。