合作系统分布式控制中的通信问题研究进展

刘海涛 乔立民 洪炳熔
哈尔滨工业大学计算机科学与技术学院,哈尔滨150001

文章摘要:利用通信提高合作系统分布式控制的性能是近年来多机器人和多智能体领域中的研究热点之一。本文对合作系统分布式控制中的通信问题领域当前关注的主要研究内容和方法进行了系统地总结和综述,介绍了分布式控制系统中3种不同的通信方式,重点阐述了近年来几种典型的基于通信的分布式控制系统建模方法,并且对比和分析了它们的优缺点,最后对今后的研究方向做了进一步的探讨。
文章主题:通信 合作 分布式控制系统 多智能体系统 多机器人系统

文章内容：高技术通讯2007年11月第17卷第11期合作系统分布式控制中的通信问题研究进展①刘海涛②乔立民洪炳熔(哈尔滨工业大学计算机科学与技术学院哈尔滨150001)摘要利用通信提高合作系统分布式控制的性能是近年来多机器人和多智能体领域中的研究热点之一.本文对合作系统分布式控制中的通信问题领域当前关注的主要研究内容和方法进行了系统地总结和综述,介绍了分布式控制系统中3种不同的通信方式,重点阐述了近年来几种典型的基于通信的分布式控制系统建模方法,并且对比和分析了它们的优缺点,最后对今后的研究方向做了进一步的探讨.关键词通信,合作,分布式控制系统,多智能体系统,多机器人系统0引言近年来,合作系统的分布式控制得到很大的关注[1-3.多智能体系统和多机器人系统能够完成单一的机器人智能体难以胜任的多种复杂任务.在这种系统中,各个智能体分散于环境中,或者通过显式地合作,竞争,或者通过局部若干个智能体的相互组合,并行地完成任务.合作与协调是分布式控制系统问题求解的关键[.在合作与协调过程中,通常单个智能体只能观察到系统的部分环境信息.而在一些需要多智能体合作进行的复杂工作中,各智能体仅处理自身的感知信息是远远不够的,还需要将其他智能体感知的信息与自身感知的信息进行融合,以获取对外部环境的正确的和较全面的理解,即智能体不仅需要利用其自身的感知信息,还需要利用其自身无法获得的其他智能体所感知的信息进行决策.所以通过通信实现信息共享对于合作与协调是至关重要的.随着通信网络技术的快速发展,移动机器人团队13益依赖通信网络.由于在多数移动机器人应用中缺乏物理连接网络结构,因此网络节点的移动性对维持通信连接提出了挑战.创建群机器人间网络的一个标准方式是网络.这种高度动态的网络存在若干问题,比如不可预测的信号衰减,节点间不确定的消息路由以及通信硬件故障等等_5,因此不可能实现完美的通信,即无法在所有时刻获得全局状态.那么,每个机器人智能体在制定决策时就必须考虑通信数量与动作策略之间的平衡,既要拥有足够的共享信息实际机器人之间的协调,同时又要保证因通信而付出的代价不超过预期的回报.团队决策所需的通信就成为限制多机器人系统实际应用的基本因素.因此,有效的,适当的通信是多机器人系统应用到不同工程任务的一个重要的研究课题.本文对近几年合作系统分布式控制中通信问题的研究现状进行了综述,指出了当前关注的主要研究问题,在此基础上探讨了未来的研究方向.1主要研究问题及其研究现状1.1通信决策通信决策就是决定是否通信,何时通信,这是多智能体系统中的一个基本问题.虽然无偿通信()可以提高系统性能,降低系统的复杂性,但实际上通信是有代价的,强迫智能体在每一时刻通信是对有限资源的浪费,而且也是不必要的,所以常常要降低通信的频率.在分布式问题中,当通信具有代价时,通常难以搜索到最优通信策略,计算复杂度介于-和.[]之间.这个决策可以简单地表述为信息问题的价值.无论通信是采取状态信息,意图或者承诺的形式,这个被收集和传播的信息的价值都能够通过智能体性能的提升与通信代价之间的差异来测量.最优的通信策略使得智能体在每一个时间步上选择使期望效用最大化的通信动作,就①863计划(200604259)资助项目.②聂.,釜生,博士生;研究方向:智能控制,多机器人系统;联系人,-..1@.0(收稿日期:2006-12.30)?—-——1204?—-——刘海涛等:合作系统分布式控制中的通信问题研究进展如同在马尔可夫决策问题()中选择最优动作.即便是在信息价值理论已得到广泛应用的单智能体背景下,找到精确的价值也是非常困难的.处理这种复杂性的典型方法是利用两个近视()假设来估计价值:孤立地估计每个信息源以及在一步范围内估计.[7等为了生成通信策略把这些假设扩展到多个智能体,并对分布式(.)特定的一类问题提出了一种用于通信的.方法,决定何时发送消息才能使问题最优化.[.等分析了假设的含义,基于此,提出了用于有效地生成通信策略的标准假设是:仅可能在当前时刻通信.在给定的通信假设下提出了如何计算最优联合通信策略.此外,确定了由此假设所引入的误差,并且提出了在决定通信策略时补偿这种偏差的改良方法.8等定义了一种多智能体的分布式框架,此框架包含了通信和通信代价.其思想是在动作决策阶段之前加入一个通信决策阶段,也就是说在决定正常动作之前先决定是否通信.和—_9]提出了可通信多智能体团队决策问题(.))模型,考虑了不确定性和通信代价,比较了无偿通信,无通信以及一般通信时的计算复杂性.但是该模型在说明通信代价时,没有考虑不同的代价模型.0等提出了.算法,以分布式的方式基于团队可能的联合信度状态选择动作,当智能体自身观察到的信息显示共享信息将导致期望回报增高时选择通信.最近许多研究关注强化学习算法,其优点是不需要问题的一个完整模型,但是必须要在线学习,并且在其学到更好的策略之前可能会制定错误的决策.__等在3个重要假设前提下提出了一种协作分级强化学习()方法.这3个假设是:无偿,可靠并且瞬时通信,即通信代价是无偿的,环境中没有消息丢失以及每个智能体在采取下一个动作之前有足够的时间接收来自队友的信息.考虑到通信在实际问题中通常都是有代价的,123等在该算法基础上提出了包含通信决策的新算法..其思想是在问题的任务图中加入一个通信层,在选择动作之前先决定是否通信.算法的最终目标是学习一个分级策略(对于包括通信子任务在内的所有子任务的策略集合),使得在给定的通信代价下团队效用最大.13等在框架下研究了用于多智能体协调问题中学习通信策略的分级强化学习方法.利用交互帧作为策略抽象的表示方式来泛化通信策略.1.2通信的代价通常,通信的代价都是很高的.在解的质量和通信代价之间进行权衡是当前多智能体系统学习和规划研究中的一个热点._8_8等把通信理解为一种降低不确定性的手段.利用信息的价值来定量地衡量不确定性的降低所带来的好处,研究了通信代价与为降低不确定性所需的通信信息两者之间的定量关系.7_考虑了不同代价模型对于通信的影