Research Focus

Current position: Home > Research Focus

机器学习:基础模型、具身智能、可解释性与可信AI

  1. 基础模型(Foundation Models)的演进与应用:

    • 模型架构创新: 超越Transformer,探索更高效、更易扩展的架构(如Mamba等状态空间模型、混合专家模型)。

    • 高效训练与推理: 降低训练和部署巨型模型的算力、能耗和成本(如模型压缩、蒸馏、稀疏化、量化、硬件协同设计)。

    • 长上下文处理: 如何有效处理和利用超长文本或视频序列中的信息。

    • 推理与规划能力: 提升模型在复杂任务中的逻辑推理、分步规划和工具使用能力。

    • 持续学习与适应性: 让模型能在部署后持续学习新知识而不遗忘旧知识。

    • 多模态理解与生成: 深度融合文本、图像、音频、视频、3D、传感器数据等多种模态信息,实现更全面的世界理解和创造。

    • 方向描述: 以大型语言模型(LLM)和多模态模型为代表的基础模型是当前AI的核心驱动力。前沿研究集中在如何让它们更强大、更高效、更可控、更安全。

    • 关键研究点:

  2. 世界模型与具身智能:

    • 学习物理和因果动力学: 从交互数据中学习物理规律、物体属性和因果关系,预测未来状态。

    • 基于模型的强化学习: 利用学习到的世界模型进行高效、安全的规划和策略优化。

    • 具身学习: 在机器人或虚拟代理上,通过感知-行动循环学习技能(如操作、导航、人机协作)。

    • 仿真环境与合成数据: 利用高质量仿真环境加速具身智能的学习过程。

    • 方向描述: 目标是让AI系统能够像人类或动物一样,通过与物理或虚拟环境的交互来学习、理解和预测世界动态,并基于此进行规划和决策。

    • 关键研究点:

  3. 可解释性与可信AI:

    • 模型可解释性: 开发新方法解释复杂模型(尤其是深度学习)的内部机制和预测依据。

    • 公平性与偏见缓解: 检测、量化和消除训练数据和模型决策中的偏见,确保对不同群体的公平性。

    • 鲁棒性与对抗防御: 提高模型对输入扰动、对抗样本的抵抗能力,确保在非理想环境下的稳定性。

    • 不确定性量化: 让模型能够评估自身预测的不确定性。

    • 对齐: 确保AI系统的目标与人类意图和价值观一致。

    • 因果推理: 超越相关性,理解变量间的因果关系,这对于决策和干预至关重要。

    • 方向描述: 随着AI系统在关键领域(医疗、金融、司法等)的深入应用,理解模型如何做出决策、确保其公平、可靠、鲁棒且符合人类价值观变得至关重要。

    • 关键研究点: