大模型可以不再依赖人类调教，真正"自学成才"啦？
新研究仅通过RLVR（可验证奖励的强化学习），成功让模型自主进化出通用的探索、验证与记忆能力，让模型学会"自学"！
当前主流的 LLM Agent 依然高度依赖于提示词工程、复杂的系统编排、甚至静态规则表，这使得它们在面对复杂任务时难以实现真正的智能行为演化。
而来自招商局狮子山人工智能实验室的研究团队认为，RLVR 范式是智能体（Agent）通往更高通用性和自主性的重要突破口。
于是，他们从两个关键层面出发构建了端到端 Agent 训练 pipeline ——L0 系统：
智能体架构层面
提出了结构化智能体框架—— NB-Agent，在经典"代码即行动"（Code-as-Action）架构基础上进行扩展，使智能体能够操作记忆 / 上下文，从而获得类人类的记忆存储、信息总结与自我反思能力。
学习范式层面
探索了一个核心问题：是否可以仅通过 RLVR 范式，引导智能体从零开始，学会如何规划、搜索、验证与记忆，最终解决复杂的多轮推理任务？
L0 系统的框架、模型及训练集已全部开源，详细可见文末链接。
结构化智能体框架：Notebook Agent（NB-Agent）
△NB-Agent 的" Think-Code-Observe "循环
受到"代码即行动"的启发，NB-Agent 选择使用代码作为通用的动作空间，并且遵循"读取 - 求值 - 输出"循环（Read-Eval-Print-Loop，REPL）的方式来和 Jupyter Kernel 交互。
每一步都是" Think-Code-Observe "：
Think：模型生成推理逻辑；
Code：将推理转化为 Python 代码；
Observe：执行代码并观察输出结果，反馈进入下一轮思考。
在这个过程中，长文本处理是智能体驱动模型（Agentic model）面临的核心挑战。
为此，研究团队提出一个创新方案：将模型的上下文窗口（context）与一个 Python 运行时的变量进行双向绑定。
这赋予了智能体主动管理自身记忆的能力，不再被动受限于上下文长度。
具体来说，研究团队提供了一个 Notepad Python 类作为结构化的外部记忆模块。智能体可以通过代码指令，将关键信息、推理步骤或中间结果写入 Notepad。
这些信息会持久存在，并映射到上下文中一个稳定区域，确保在长程任务中不被遗忘。
同时，REPL 的交互模式，使智能体能像程序员一样，将复杂信息存入变量、随时取用，从而彻底突破上下文的枷锁。
训练流程：端到端强化学习
△L0 的 multi-turn 训练过程
L0 采用端到端强化学习进行智能体训练：
重新定义动作粒度
一个动作不再是一个 token，而是一个完整的"思考 + 代码段"；
提出 Agentic Policy Gradient 算法
适应序列级动作定义，将策略梯度从单 token 级扩展到完整动作序列级；
构建多维度自动奖励函数
包括最终答案正确性、代码执行情况、输出结构规范性等；
分布式训练架构
采用轻量级沙箱隔离（Bubblewrap），支持高并发、低部署门槛的大规模 RL 训练。
测试：L0 显著提升了模型在多个基准测试上的性能
在多个经典的开放领域问答数据集对 L0 系统进行测试，见证了智能体的惊人进化。
以 Qwen2.5-7B 这个基础模型为例：
在L0-Scaffold（仅有架构，未经过 RL 训练）下，它就像一个刚拿到 Notebook 的新手，在 HotpotQA 上得分22%。
经过L0-RL（强化学习训练）后，它学会了如何高效搜索、验证信息、剔除冗余步骤，最终在同一任务上得分飙升至41%（提升 84%）。
在 SimpleQA 数据集上，L0-RL 带来的提升更加显著：EM（精确匹配）得分从30%暴涨到80%（提升 166%）。
L0 在与其他工作的比较中也获得了具有竞争力的性能，在平均表现上明显优于 Search-R1 和 ZeroSearch。
这表明 L0 框架为强化学习提供了更丰富和更具表现力的环境：其他方法训练智能体学习何时调用单个工具（例如搜索引擎），而 L0 框架训练智能体成为一个程序化的问题解决者，学习如何在结构化环境中组合动作、管理状态和进行推理。
这意味着什么？
在真实搜索之外，模型自己"学会"的搜索、规划和记忆行为，比直接调用 API 的规则式 Agent 更稳定、更泛化、也更强大！
它不再是生硬地调用工具，而是真正理解了怎么利用代码和这个世界交互，展现了通往更高级通用智能的清晰路径。
论文：https://github.com/cmriat/l0/tree/main/papers/l0.pdf
NB-Agent 框架、训练 pipeline 和所有训练 recipe：https://github.com/cmriat/l0
模型 checkpoint：https://huggingface.co/cmriat/models
20K 训练数据集：https://huggingface.co/cmriat/datasets
用 checkpoint 执行深度搜索任务的示例：https://github.com/cmriat/l0/blob/main/examples/nb_agent/deep_searcher_case.md
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
� � 点亮星标 � �
科技前沿进展每日见
股票可以杠杆提示：文章来自网络，不代表本站观点。
