西工大在机器交互方面取得创新进展 建立无人机自主“聊天群”
更新时间:2023-11-01

在线群聊极大地方便了人们的沟通方式,能否把机器也拉进群,让它们组团商量着干活,并和人类无障碍地沟通和交流,更好地服务于生产生活?


西工大建立无人机自主聊天群11.jpeg

西工大建立无人机自主“聊天群”。西北工业大学提供


西北工业大学28日透露,近日,该校光电与智能研究院李学龙教授和同事们在机器交互方面取得创新进展:基于国产大模型,研发了“群聊式”无人机控制框架,给每架无人机装上了大脑,让无人机集群在语言沟通中动态协同,实现了开放环境下“人机”和“多机”的对话交互,打破人类和机器的交互壁垒,进一步拓展了临地安防的应用场景。


据介绍,受人类的认知模式启发,团队将认知形成的高度自主性凝练为“思维计算—实体控制—环境感知”的三元交互,建立了“书生·浦语”开源大模型驱动的自主无人机“群聊式”控制框架,实现了开放环境和复杂任务中的智能交互、主动感知和自主控制,提高了无人机任务执行的自主性。

总体而言,类人对话交互、主动环境感知、自主实体控制,是自主无人机集群的主要能力。


探索人类用户与无人机的交互方式,让无人机理解复杂任务中的用户需求,是实现自主无人机的前提条件。


针对此,团队提出“群聊式”对话交互方法,将声音、图像和无人机自身状态等多种信息,通过大模型转换为自然语言的对话形式,实现了用户与无人机,以及无人机与无人机之间自主和直观的交互方式。同时,团队设计了一套高效的实时反馈机制,使得无人机能够在任务执行的关键节点通过对话报告自身状态、寻求用户确认,大大提高了复杂任务执行的稳定性和安全性。


在飞行过程中,无人机主动感知外部环境,实时调整任务规划,是完成复杂任务的关键环节。


针对此,团队设计了任务引导的主动感知机制,提出了多传感器融合的低空搜索、动态避障和视觉定位算法。在实际任务执行中,根据感知信息和任务目标,动态调整无人机飞行路径和观测位姿,尝试从不同角度和位置感知周围世界,逐渐降低环境中的不确定性,实现高效的信息采集和任务执行。

探索复合智能体形态,增强复杂任务处理能力,是大模型时代新型智能体的研究重点。


针对此,团队依托无人机平台设计了夹爪等末端执行器,将传统无人机拓展为“飞行机器人”,长出“手”来,具备抓取能力。同时,构建了异构无人机集群协同控制机制,结合环境感知反馈,实时调整无人机编队的飞行状态,使集群分工执行区域搜索、目标定位和抓取等任务。


据悉,大模型自主无人机集群是团队将生物智能“思维计算—实体控制—环境感知”的三元交互模式应用于自主智能体的一次成功尝试,依托大语言模型、无人机平台和多种传感器,实现对话交互、主动感知和自主控制,对安防巡检、灾害救援、空中物流等临地安防场景下的应用具有重要意义。(完)


来源:中国新闻网

相关阅读
第二期!国防科技大学计算机学院硕博导师名单!
2020-09-17
17个机器学习的常用算法!
2021-01-14
再夺AI专业全球冠军!清华力压CMU夺得CSRankings高校AI领域第一
2021-01-29
粉丝独享 | B站、CSDN锦鲤就是你!
2021-01-22
13位华人入选,2020 ACM Fellows名单重磅公布!
2021-01-20
南方科技大学-计算智能与先进制造方向-博士-博士后-研究助理招聘
2021-01-21
附下载 |《计算机视觉中的数学方法》分享
2021-01-14
2020深度主动学习综述
2021-01-07
重磅!知名AI学者UCLA教授全职回国,拟加入清华大学
2020-09-16
问题来了:人脑植芯片!谁敢来试试?
2021-07-27
AI人工智能必读论文&经典书籍&百份行业报告一键全领取!
2020-09-17
【投稿必备】数篇计算机领域国内核心期刊汇总整理!
2020-09-21
量子计算机或能创造全新物质,有助揭示超导等物质特性
2022-06-15
清华大学王东老师【现代机器学习技术导论】586页pdf免费下载
2021-01-07
中科院文献情报中心期刊分区表最新发布!附查询方式&疑难解答!
2020-12-21
MSRA第五任院长周礼栋上任!出身复旦,加盟微软19年,是大规模分布式系统专家
2021-07-28
科研速递 | 花费15年众望所归!NumPy论文终登上Nature!
2020-09-21
试图消除人与机器的差距,AI能让计算机直观学习思考
2022-07-12
2020年度国家“杰出青年”名单公布,21人在计算机领域贡献突出
2020-08-17
科技期刊国际化数字出版平台SciOpen正式发布上线
2022-06-30