AI 如何继续进步：五个值得关注的研究问题

从这次活动的分享来看，研究圈目前关注的方向，主要是回答以下五个问题：

AI 能否自主学习，并在使用中持续变强？ 减少对人工标注与专家反馈的依赖，让使用过程中产生的经验成为下一次能力提升的基础。
相同的算力，能否产生更多可用的智能？ 通过低精度计算、新的生成方式与更合理的计算分配，改变模型能力与成本之间的关系。
AI 能否持续理解人的意图，并参与真实协作？ 在不断变化的声音、画面和对话中，理解用户需要什么，并判断何时应该回应和行动。
AI 如何通过行动理解物理世界？ 主动获取视觉之外的信息，把真实交互转化为可以用于训练和决策的物理经验。
如何让推理可验证，让知识可积累？ 准确保留问题的含义、检查结果，并将已有知识组织成能够持续复用的体系。

一、自主学习与经验积累

孙若愚｜用模型自己的回答继续训练

背景与研究路线： 香港中文大学（深圳）数据科学学院副教授，曾任 UIUC 助理教授、FAIR 全职访问科学家。长期研究深度学习优化与基础模型训练，本次关注模型能否减少对外部反馈的依赖，通过自己的回答继续学习。

分享要点

提升模型的推理能力，通常需要正确答案、外部评分或专家反馈。但这些反馈并不总是容易获得，专业任务尤其如此。SePT 研究的是：减少这些外部反馈后，模型能否通过学习自己的回答继续进步？
做法是让模型先生成一批解题过程，再用这些过程训练自己。生成时适当减少随机性，让回答更集中；训练完成后，由更新后的模型生成下一轮材料。
这项方法没有先按答案是否正确筛选训练材料，但在多种基础模型、六项数学评测中仍观察到了提升。部分提升超过了仅调整生成随机性所能达到的效果。
目前的改善在数学任务中更明显。常识任务上的收益较小，多轮训练后也可能出现能力下降，因此还不能据此判断模型能够长期、稳定地自我提升。

我们的判断

我们更关注它能否减少专业任务对专家逐题提供答案的依赖。如果能够迁移，专家的工作就可能更多转向选择关键问题、制定验收标准。
要判断它能否用于持续学习，需要继续看多轮训练是否退化，以及数学之外的任务能否同样受益。专家反馈越昂贵的领域，越值得优先验证这种方法。

周煊赫｜让 AI 自动诊断问题并迭代

背景与研究路线： 上海交通大学计算机学院助理教授，清华大学博士。研究智能数据系统与自我改进 Agent，尝试把问题诊断、数据补充和效果验证等研发工作组织成自动迭代流程。

分享要点

模型或 Agent 表现不好之后，研究人员通常需要分析失败案例、查找原因、补充数据或调整配置，再重新测试。这些工作反复发生，也需要大量人工判断。
这条路线尝试把上述过程自动化。系统先检查失败来自哪里：是资料缺失、工具反馈不清楚，还是模型确实缺少某种能力，再采取相应的改进措施。
自动化范围包括收集难题、获取缺失知识、补充训练数据，也包括寻找更省资源的运行配置、检查是否影响模型表现，以及生成新的评测任务。
难点在于诊断是否准确，以及评测能否及时发现问题。只有正确定位原因，后续的补数据、调配置或训练才有针对性。

我们的判断

更直接的机会在模型与 Agent 的研发和维护环节。失败案例分析、数据准备和效果复测都需要反复投入人力，能减少多少人工工作、缩短多少迭代时间，是这类产品较容易验证的价值。
企业 Agent 是一个潜在应用场景。对于任务重复、执行过程可追踪、结果可检查的业务，系统有机会持续收集失败案例并验证修复效果。如果能够降低部署后的维护成本，客户会有更明确的付费理由。

王立元｜让 AI 学会新经验，同时保留旧能力

背景与研究路线： 清华大学心理与认知科学系助理教授，具有生命科学与计算机交叉研究背景。研究借鉴生物智能的学习和记忆机制，让 AI 在环境变化时持续适应，并保留已经掌握的能力。

分享要点

真实使用中的任务和环境不断变化，系统需要吸收新经验，同时避免更新之后丢失原有能力。持续学习研究的就是如何处理这种新旧知识之间的冲突。
一种思路是借鉴果蝇大脑的稀疏表示和模块分工，让不同模块处理变化较快的信息与较稳定的经验，减少每次学习都对整个模型进行大幅修改。
记忆也需要分工：工作记忆服务眼前任务，长期记忆保存经过筛选的经验，更稳定、重要的经验再有选择地进入核心模型。保存、检索和真正学会使用这些经验，是不同的问题。
对机器人而言，空间经验可以整理成地标、路线和地图。这样系统能够调用过去看到的信息，减少重复探索，并把多个地点、多个目标之间的任务衔接起来。
在初步控制实验中，这类方法的优势主要体现在环境扰动和本体变化时的适应能力。外部记忆如何稳定转化为模型能力、如何避免学习新任务时遗忘旧任务，仍是难点。

我们的判断

需要长期服务同一用户、同一客户或同一环境的产品，更容易体现经验积累的作用。需要观察同类错误是否随使用减少，进入新环境所需的调试时间是否缩短。
记忆系统能否形成产品优势，取决于保存的经验能否被后续任务有效使用。历史记录越来越多、检索越来越方便，还不足以说明系统已经掌握了更稳定的技能。

二、模型效率与计算优化

杨红霞｜通过模型融合与低精度计算降低训练成本

背景与研究路线： 香港理工大学生成式人工智能讲座教授，曾任字节跳动美国大模型负责人、阿里巴巴 AI 科学家及总监。研究低成本训练与模型融合，探索如何复用不同领域、不同机构已经形成的模型能力。

分享要点

模型训练投入昂贵，而医疗、能源等领域的数据又分散在不同机构。其研究从两个方向降低成本：复用已有模型的能力，以及减少训练和推理所需的计算资源。
Co-GenAI 尝试融合不同领域独立训练的模型。在能够访问必要模型参数等条件下，研究如何组合已有能力、减少重复训练，并让融合后的效果更容易预测。
低精度计算则是在模型内部用更少的位数表示数值。FP8、FP4 等方法可以减少计算和存储开销，但训练算法、底层计算实现和系统需要配合调整；强化学习还要处理训练与推理精度不一致带来的不稳定。
对数据难以集中的方向，一种可能的做法是先利用本地数据训练专业模型，再探索模型之间的能力融合。难点是融合后能否保留各自的专长，以及整个训练过程能否稳定复现。

我们的判断

行业机构未必需要承担完整通用模型的训练成本。先形成解决具体问题的专业能力，再探索复用其他模型的能力，可能是一种成本更可控的选择。
融合效果必须逐个领域检查。总体分数上升，可能掩盖某项专业能力的下降。对初创团队而言，能否在不同客户环境中稳定保留这些能力，比展示一次融合结果更重要。

陈键飞｜为什么降低计算精度后，模型仍然能够工作

背景与研究路线： 清华大学计算机系副教授，清华大学学士、博士，代表工作包括 ActNN。长期研究高效机器学习与量化算法，本次从理论上分析模型为何能够容忍低精度计算。

分享要点

低精度计算希望用更少位数表示模型内部的数值，节省显存和计算资源。问题是，舍去一部分数值细节之后，为什么模型仍能保持效果？又能降低到什么程度？
在所研究的 Transformer 语言模型中，充分训练后的网络能够抵消一部分层间误差，因此量化误差的累积速度慢于随机初始化的网络。这为模型的容错能力提供了一种解释。
模型原本更倾向输出的文字，在一定分析条件下对数值误差更稳定。因此，一部分计算误差未必会改变最终选出的文字。
训练本身也存在随机波动，因为每次更新使用的只是部分样本。当量化误差没有系统性偏差、幅度也足够小时，它增加的干扰可能小于训练中原本已有的波动。
这些结论都有适用条件。精度继续降低后，误差仍可能快速增加；模型为什么会在训练中形成部分容错机制，也还没有得到完整解释。

我们的判断

对训练和推理服务商而言，低精度方案的意义最终体现在账单上：在同等任务质量下，显存、计算开销和运行成本能减少多少，需要放到完整流程里核算。
商业化的难点还包括适配。能够稳定支持哪些模型、硬件和任务，会影响方案的部署成本和客户范围；单个模型上的优秀结果，还不足以说明它可以成为通用工具。

李崇轩｜探索另一种语言生成方式

背景与研究路线： 中国人民大学高瓴人工智能学院副教授，研究生成模型的理论、训练与高效采样。本次以 LLaDA 为代表，讨论扩散语言模型能否改变文字生成的顺序和计算方式。

分享要点

目前常见的语言模型按从左到右的顺序生成回答，后面的内容需要依赖前面已经生成的内容。LLaDA 探索的是，能否让模型同时处理回答中的多个位置，再逐步完成整段文字。
训练时，它会遮住文本中的部分内容，让模型根据剩余文字恢复缺失部分。例如，将“北京是中国的首都”中的“中国”遮住，让模型结合前后的文字把它补回来。
生成新回答时，模型从一段空位开始，分多轮填入内容。它可以先填较有把握的位置，并在后续步骤中参考已经生成的前后文，继续补全或修订。多个位置能够同时处理，为并行生成提供了空间。
并行处理有加速潜力，但生成仍需要多轮计算。最终是否更快，取决于需要多少轮才能达到足够好的质量，以及现有推理系统能否高效支持这种方式。

我们的判断

对需要较快获得完整结果、输出质量容易检查的任务，可以优先比较这类模型的实际表现。需要补全已有文本、结合前后文整体修改内容的应用，也值得测试。
判断它是否有优势，需要比较同等质量下完成整项任务的时间和成本。单轮能处理更多文字，并不自动意味着整个回答生成得更快。

李根｜让连续生成的结果能够对应实际文字

背景与研究路线： 香港中文大学统计与数据科学系助理教授，清华大学博士，研究扩散模型、生成式 AI 与强化学习。本次介绍 ConvergeFlow，解决连续语言生成中的一个基础问题。

分享要点

在模型内部，文字可以用一组数字表示。连续语言生成尝试直接生成这些数字表示，再得到文字，为并行生成等方法提供另一种实现方式。
这条路线会遇到一个问题：生成出来的数字，未必恰好对应词表中的某个文字单元。因此，往往还需要额外的纠正或转换步骤，才能输出文本。
ConvergeFlow 调整了模型的预测结构，让预测由已有文字的数字表示加权组合而成。研究证明，在相应条件下，生成过程最终能够得到与词表中具体文字单元对应的结果。
目前实验在 GPT-2 small 量级、长度为 1,024 的设置下展开，观察并行生成与文本质量之间的取舍。更大规模模型中的表现仍需验证。

我们的判断

这项研究处理的是连续生成能否顺利得到实际文字的问题。文字组成的句子是否通顺、推理是否正确，需要另外检验。
实际效率优势要看完整生成过程。我们更关心，在更大模型中减少额外转换步骤后，究竟能省下多少时间和资源，生成质量又是否会受到影响。

杨成｜把大模型的理解能力用到搜索和推荐中

背景与研究路线： 北京邮电大学计算机学院副教授，清华大学学士、博士，研究推荐系统、图学习与大模型。研究如何将大模型对用户和内容的理解，与现有搜索、推荐系统结合。

分享要点

搜索和推荐需要处理大量请求，对成本和响应时间都有要求。如果每次请求都交给大模型进行复杂推理，开销会比较高。这条路线研究如何保留大模型的理解能力，同时满足线上服务的效率要求。
一种做法是用大模型把用户需求、查询和商品内容转成便于比较的数字表示，再由现有系统找出匹配的候选结果。常见查询的计算结果可以提前保存，供后续请求重复使用。
另一种做法是利用用户历史和商品信息，提前推断用户偏好，再交给轻量模型在线使用。它尤其关注用户或商品交互记录不足时，能否通过更充分的信息理解改善推荐。
生成式检索则进一步改变候选结果的产生方式：先给商品或内容编码，再由模型直接生成候选编码。研究也在探索如何利用更长的用户历史、多模态信息，以及让同一模型服务多个场景。

我们的判断

这类方法需要把推荐效果和服务成本放在一起看。将复杂推理提前完成、把结果复用于大量请求，更容易摊薄成本；交互记录较少的用户和商品，可以优先检验大模型是否带来额外改善。
长期用户行为数据、商品的组织和表示方式，以及线上实验能力，都会影响团队能否持续改善效果。最终需要看到模型升级带来了更好的业务结果。

方聪｜为什么更大的模型，有时反而更容易训练

背景与研究路线： 北京大学智能学院助理教授、研究员，北京大学博士，曾在普林斯顿大学与宾夕法尼亚大学从事博士后研究。研究深度学习理论与优化，分析模型规模、训练方法和数据需求之间的关系。

分享要点

一个小模型在理论上足以完成某项任务，并不代表训练算法能够高效地找到合适参数。理解模型规模，需要同时考虑它能表达什么，以及实际训练能否把这些能力学出来。
研究从 Tensor PCA 等简化数学问题入手，分析增加参数如何改变训练的搜索空间。在特定设定下，更大的参数空间反而有助于算法找到目标，并降低所需样本量。
训练方法也会影响能力形成的过程。在所分析的条件下，随机梯度下降倾向于先学习信号较强的特征；某些约束有利于早期发现更多特征，但持续施加又可能限制后期拟合。
因此，研究也在探索分阶段调整训练约束。这些理论提供了理解训练过程的线索，但结论来自简化问题，还不能直接用来确定大语言模型的最优规模。

我们的判断

评估小模型和模型压缩项目时，要把达到目标能力所需的训练、数据和推理成本一起算进去。参数减少后，如果训练更困难、需要更多数据，部分成本优势可能被抵消。
这项研究提醒我们，模型规模和训练方法需要一起选择。对具体项目，仍要用实际训练结果验证，不能仅凭理论上的表达能力判断成本高低。

三、意图理解与实时交互

黄民烈｜让语音 Agent 理解情境，并把任务继续做完

背景与研究路线： 清华大学计算机系教授，长期研究自然语言生成、对话系统与社会智能。本次关注语音 Agent 如何理解人的情绪和意图，以及如何在持续沟通中完成任务。

分享要点

语音服务中，用户可能还没有想清楚需求，也可能临时改变主意、打断系统，或处在有噪声的环境中。本次分享的评测显示，语音 Agent 的任务完成表现仍弱于文本 Agent，噪声会进一步降低表现。
理解一句话，需要结合双方关系、对话情境和任务进度。例如，同一句“随便吧”，可能表示同意，也可能表达不满，合适的回应会因此不同。
全双工交互要求系统能够边听边说，处理插话和打断，并在之后恢复任务。轻量模型负责即时交互、后端模型负责较复杂的推理，可以减少用户等待，同时继续推进任务。
回应方式也需要控制，包括重音、停顿、语速和语调。情绪识别的作用，应体现在后续如何沟通和行动，而不仅是给用户的情绪贴上标签。

我们的判断

教育、客服和陪伴类产品，经常需要先把需求问清楚，再逐步提供服务。能否理解情境、处理打断并恢复任务，会影响语音 Agent 能承担多完整的服务流程。
情绪理解是否有效，要看用户是否少重复解释、少纠正系统，以及是否减少人工接管。这些使用结果，比识别了多少种情绪更接近产品效果。

姚远｜让模型持续接收画面和声音，并判断何时回应

背景与研究路线： 清华大学人工智能学院助理教授，清华大学博士，主导面壁 MiniCPM-V 与 MiniCPM-o 系列研发。研究高效多模态模型，以及视觉、声音和语音连续输入输出的实时交互。

分享要点

单次看图或听音频后回答问题，与持续参与真实交互有明显区别。现实中的画面、声音和用户行为同时变化，模型在说话时也需要继续接收新信息，并及时调整回应。
OmniFlow 将视觉、音频和语言信息按时间对齐，再以很短的时间片交替处理，让模型知道不同信息发生的先后关系，并持续判断何时开口、说多少、是否需要等待。
这类交互需要专门的数据。用户随声附和、要求停止说话，以及背景人声，含义并不相同。模型需要结合上下文判断，哪些信息与当前任务有关、是否需要改变回应。
系统将主干模型与轻量的模态处理模块端到端连接，兼顾交互能力和运行成本。不同模态的训练会相互影响，训练不充分可能损伤已有能力；持续运行也对延迟和资源消耗提出要求。

我们的判断

需要持续观察现场、接收声音的主动助手和智能硬件，更能体现这条路线的作用。系统如果能跟上现场变化，用户就有机会减少反复描述和重新发出指令。
评测应放到连续任务中：有噪声、多人说话，或用户在系统回应时插话，模型还能否正确理解并完成任务。同时需要检查长时间运行的功耗、成本和稳定性。

四、物理世界理解与具身智能

王韫博｜把真实场景转成可训练的仿真环境

背景与研究路线： 上海交通大学副教授，清华大学博士，研究世界模型、物理推理与基于模型的强化学习，牵头 NeoWorld 项目。研究如何将真实环境转成可交互仿真，再利用真实反馈修正模型和策略。

分享要点

机器人学习新任务，往往需要采集真机操作数据，成本较高。仿真提供了反复训练和试错的空间，但前提是虚拟物体能够运动、接受操作，并在关键物理属性上接近真实环境。
NeoWorld-Pro 尝试从单张图像生成可交互的仿真物体，包括形状、关节和装配关系，再通过渲染、运动和物理检查修正问题，例如物体穿模、摆放不稳或尺寸不匹配。
OrbiSim 则根据场景状态和动作预测接下来的变化。模型先用仿真数据训练，再用真实物体的运动修正偏差，也可用于估计未知的物理参数。
真实部署需要反复校准。机器人完成一个子任务后，物体的位置和状态可能已经变化，仿真需要相应更新。通用模型主要负责理解、拆解和安排任务，复杂接触操作仍依赖专用控制策略。
当场景和物体状态完整提供给系统时，部分仿真抓取放置任务的成功率可以接近 90%，但复杂迭代可能耗时数小时。真实环境的信息不完整，单张图像也难以准确恢复摩擦、阻尼等属性，仍需要估计和校准。

我们的判断

仿真是否能降低部署成本，要看它减少了多少新任务的数据采集和真机调试，同时还要计入搭建仿真、估计物理参数和反复校准的人力。
抓错物体、碰撞和操作失败的数据，记录了动作在真实世界中的后果，值得长期积累。我们更关注这些经验能否让具体操作在不同场景中稳定完成，而不是只看仿真画面是否逼真。

冯若轩｜让机器人主动获取视觉之外的信息

背景与研究路线： 中国人民大学高瓴人工智能学院博士生，师从胡迪教授，参与 ROMA 与 AnyTouch 系列研究。研究结合视觉、听觉、触觉和力反馈，让机器人主动选择能够补充信息的动作。

分享要点

物体有多重、软硬如何、容器里装了什么，往往无法只靠看图判断。机器人需要先识别缺少的信息，再决定提起、按压还是摇晃，并根据反馈继续判断。
ROMI-2K 数据覆盖近 2,000 个物体及内容物组合、六类基础交互，记录视觉、听觉、触觉和力反馈。测试中使用训练时未见过的物体，检查模型能否适应新对象。
ROMA 将这个过程组织成连续决策：每轮选择检查哪个物体、做什么动作、关注哪种感官，并判断信息是否已经充分。例如，要判断“最重的物体是否为空”，可以先找出最重的物体，再检查它的内容物，减少无关操作。
动作与传感信息需要匹配。例如，剧烈摇晃时的力反馈可能不适合直接判断重量；摇晃和按压本身，也对抓取稳定性提出了更高要求。
部分任务中，专门训练的小模型能够通过更有效的交互，弥补单靠视觉时的不足。但面对更强的通用模型，语言理解和开放问答仍有差距。

我们的判断

对需要判断重量、软硬或内容物的操作，视觉之外的信息可能直接影响任务能否完成。数据采集能力和交互效率需要放在一起看：面对新物体，系统能否选择正确动作，用更少操作获得足够信息。
主动感知得到的重量、阻力等信息，如果还能用于校准仿真，同一次交互就可能既帮助当前决策，也为后续训练提供更准确的条件。这是我们结合主动感知与世界模型研究提出的设想，尚需完整系统验证。

五、推理验证与知识结构化

罗涛｜保证 AI 证明的是原题，并让已有数学知识可以复用

背景与研究路线： 上海交通大学数学科学学院副教授，香港科技大学数学博士，研究机器学习的数学理论与 AI4Math。研究如何把自然语言数学转成计算机可检查的形式，并整理定义、定理和证明之间的关系。

分享要点

数学形式化是将题目和证明写成遵循严格规则的表达，让计算机能够逐步检查。但在检查证明之前，还需要先确认：模型写下来的命题，是否忠实表达了原题。
翻译中的细小变化可能改变整个任务。例如，把“任意实数”改成“任意正数”，就缩小了需要证明的范围。即使后续证明成立，也不能说明原题已经得到解决。
研究尝试将命题拆成结构化的部分，辅助核对对象、条件和结论之间的关系。发现错误后，可以定位并修复局部表达；这种结构也有助于安排由易到难的训练任务。
研究还在扩展到跨文档知识库：把定义、定理、证明及其依赖关系整理清楚，区分同名但条件不同的命题，并合并重复概念，让已有成果更容易查找和复用。

我们的判断

数学 AI 的可靠性需要分两步检查：先确认模型准确表达了原题，再检查证明过程是否正确。证明系统能检查后一步，但无法自动保证前一步没有出错。
结构化知识库能否成为独立产品，要看它能否减少专家的重复核对和重复形式化工作，并让已有定义、定理和证明被可靠复用。向其他专业领域扩展时，也需要先明确正确性的标准和检查方法。

‍