2026泰达论坛【新赛道生态专场】丨杨雅珏：无人驾驶具身交互智能

由中国汽车技术研究中心有限公司、中国汽车工程学会、中国汽车工业协会、中国汽车报社联合主办的第二十二届中国汽车产业发展（泰达）国际论坛（以下简称“泰达汽车论坛”）于2026年9月17日至9月20日在天津市滨海新区举办。本届泰达汽车论坛将围绕“智绿筑基·生态蓄势·共创共赢”的年度主题，邀请重磅嘉宾展开深入研讨。

在9月18日“新赛道生态专场：具身智能新赛道”中，北京工业大学助理教授杨雅珏，发表题为“无人驾驶具身交互智能”的演讲。

以下是演讲实录：

各位领导、各位专家：

非常荣幸能够被邀请参加大会。

我是来自北京工业大学人工智能学院马楠院长团队的助理教授杨雅珏，今天由我代表团队向大家分享我们的工作，主题是《无人驾驶具身交互智能》。

我将从以下四个方面报告：

一是无人驾驶具身交互智能研究意义；二是端到端无人驾驶具身交互智能；三是智能座舱的多模态具身交互；四是无人驾驶具身交互智能。

一、无人驾驶具身交互智能研究意义

之前大家一直说的是“具身智能”，我们认为在无人驾驶领域，交互是一个非常重要的概念。什么叫“交互”？我们的车辆不仅要和驾驶环境中的各个交通参与者进行交互，也要和驾舱内的乘客和驾驶人员进行交互。所以，交互在无人驾驶方面是具身智能非常重要的切入点。交互是人类社会形成共同认知的基础，智能交互是人机行为协同的重要保障。

什么叫具身交互智能？通过各种先进的技术，需要去构建和实体世界统一的表达和学习方法，最终我们希望它能够促进人机融合。当然交互是我们人类和社会认知的基础。

车的交互分为车内交互和与车外环境交互，我们的团队同样在这两个方面进行研究。一个是在智能座舱里与乘客交互；另一个是与车外环境的智能驾驶的交互。

我们重点研究前沿技术热点，比如多模态大语言模型，以及端到端无人驾驶技术，推动我们的车与环境进行交互。我们认为，多模态大语言模型是具身交互智能的核心驱动力；端到端移动机器人是未来多行业智能化发展的关键。

二、端到端无人驾驶具身交互智能

我们提出端到端统一约束的车与环境交互模型。“统一约束”的意思是我们对无人驾驶决策的算法，我们认为它是一个要和环境各个不同的参与者，包括人、车、车道线、交规，都把它作为统一约束的表达。在感知-认知--反馈的强化学习范式中去建立统一的算法。

我们提出车与人的交互、车与车的交互，对不同的交互模型做了更细粒度小模型的研究，再把它们集成到一个框架当中，这个工作发表在中国的顶级期刊《Engineering》中，这是仿真环境下做的一些测试。

我们主要研究和人交互，意味着无人车对人的整个行为、肢体语言、动作进行理解，要对它的意图进行预测，我们团队用最先进的方法，比如大语言模型引导，做了大量对于人类肢体行为理解的研究，比如说人在路上走着，他到底要不要过马路？他招手，到底和我们进行一个怎样的交互？我们要对他的意图进行理解。我们团队在学术界发表了大量论文，表达我们对人类意图的研究。

我们在雄安新区Mini bus上的截图，大家可以看到人和车的交互，比如人在车站上招手，我们要知道是要停车的。

第二个我们感兴趣的方向是，我们的无人车在马路上行驶，我们要做到和整个社会车辆驾驶价值对齐。什么叫“价值”呢？我们分析驾驶行为，是否足够安全、是否足够好？我们都会为这些行为附上价值分。我希望我们的车开在路上时，是否符合社会的驾驶价值，我们要做这件事情。如何做到这件事情，我们要做基于数据驱动的，我们拿着整个社会驾驶的数据，去发掘它背后每一个驾驶行为是好与坏，我们要打分，最后再通过逆强化学习等增量学习的方式，使我们训练出来的无人驾驶的策略，能够符合人类驾驶的行为规范。

我们也会对不同的场景有不同的分类，根据场景难度进行学习。

人类的驾驶行为并不是完全完美的，我们也不能完完全全学人类不完美的接管的驾驶。因此，我们考虑不完美人类驾驶行为的“人车在环”强化学习方法，使我们不学坏的只学好的人类的接管。

这是我们具体的框架，如果大家感兴趣，我们可以在会下进行讨论。

车与车之间的交互上做了很多模型上面的基于超图的迭代，这个论文发表在顶级的交通的无人驾驶的期刊上。

我们团队还会研究多车的交互，它也是移动机器人多车交互。无人驾驶领域，我们的编队也可以用到我们的技术，这篇文章投在《Underview》上。

我们团队还研究如何将大语言模型用在无人驾驶上面，现在非常非常火热，大语言模型可以帮助无人驾驶做推理、规划，这是现在非常前沿的研究。

三、智能座舱的多模态具身交互

智能座舱要去识别人类的声音、多模态声音手势、眼光追踪，当识别到多模态信息之后，要了解人的意图、喜好，在座舱上面做一些提升用户体验的工作。

我们识别了一些关键要研究的内容，并且提出了很多关键技术，包括多模态序列化的识别、分割，还有基于大模型的开放式用户生理行为的增量算法，最终我们要做到和座舱里面的人进行交互，要识别他们的行为，预测他们的行为，主动推送结果。

四、无人驾驶具身交互智能

我们对座舱内各种肢体语言行为进行研究，去构建用户典型的字典，去为他们进行服务。

我们和理想公司合作，真实地看到背后用户怎么和座舱交互，每一事件我们都在做研究，每个事件之间的关联怎么样，我们怎么预测，我们构建一个模型，去做这么一件事情，已经发表了论文。

最终我们想要做的事情，也是一个闭环，就是我们的智能座舱首先要感知到用户在舱内的信号，包括生理信号、心理信号等各种各样的信号。我们要基于他们的状态去做决策，主动地去问你是不是需要什么样的服务，或者说直接预判它在当下的场景下喜欢什么样，温度怎么样、导航的偏向，我们要预测然后再做决策。我们主动交互之后，还要获取它对我们交互服务的反馈，再去进行智能座舱里交互模型的迭代。

除了无人驾驶和智能座舱之外，我们的技术同样赋能其它的具身智能机器人的产业，比如说农业，已经部署到了首农的翠湖农场里进行采摘。

我们很早是在李德毅院士引领下发表出来智能交互团队，这么多年我们一直和各个企业积极地进行合作，希望我们的技术能够落地。

以上就是我的演讲，谢谢大家！

本文根据泰达汽车论坛现场速记整理，未经演讲嘉宾审阅，仅供参考。