综述-机器人操作技能学习

本文一切内容仅用于学术交换与分享，

若存在侵权或谈吐不妥之处，

请奉告，我将实时裁撤。

----------------

针对2019年卡内基梅隆大学的Oliver Kroemer颁发的一篇机械人进修的综述文章展开报告：

对于这篇综述的第一、二位作者，我是比力熟悉的，出格他们在2015年-2018年时代的工作。由于我在2019年预备结业论文及辩论，阅读论文就少了。所以，在分析论文内容之前，我将简单报告一下自己与作者Oliver Kroemer， 以及Scott Niekum的历史渊源（首要从我博士时代的研讨线路及所阅读论文有关），也许能从中看到我对机械人操纵技术进修的了解~。

• 历史回首

最初，我在2015年的时辰首要做多模态感知的机械人状态监测，实在就是把机械人履行的全部进程分别红几个子进程，然后对各子进程中发生的多模态信号停止建模，终极在测试使命时可以识别出机械人当前处于阿谁子进程（阶段），而且能检测到异常的活动（即观察到的传感数据有异常，比如原本要在装配阶段的时辰结尾力传感器数据才会变化的，但是在靠近阶段就出现了，此时就表白机械人与情况发生碰撞了，要停下来）。

针对这个机械人状态监测的题目，那时指导教员利用的是自创算法，命为RCBHT （Relative Change Based Hierarchical Taxonomy），而且在机械人停止卡扣装配的使命中停止了考证，该机械人使命是报酬界说了4个阶段 ：靠近（APProach）-扭转(Rotation)-对齐(Alignment)-装配(Mating)，经过RCBHT对各个阶段的力/力矩信号停止特征工程的暗示，识此外结果还行，只是当需要更多的类外传感器或更多个阶段时就不灵验了，比如增加一个触觉传感器，判定抓取物体能否有滑落就困难了。

随着对多模态感知的机械人状态监测的研讨，前面做着做着就增加了多模态感知的异常监测（跟状态监测一样的实现思绪）。为了应对多模态感知的题目，那时我就找到了隐性马尔科夫模子（Hidden Markov Model, HMM）来对传感信号停止建模，主如果由于那时HMM在语音识别和信号处置方面的结果不错，而且有个开源的HMMlearn库，实现起来简单。后来，发现HMM也被利用于机械人活动轨迹的朋分，以及基于HMM实现了robot introspection这一概念“Robot introspection through learned hidden Markov models”，那时对于这个概念的了解以为只是异常监测的另一种表述，实在否则。

后来，经过进修，晓得这个introspection主如果指机械人能经过传感信号间接实现对本身行为的了解，包括但不范围于机械人可以晓得自己在“做什么”，“做得怎样样”以及前面“怎样做”等题目。今后，我也就主如果在操纵HMMs实现robot introspection停止研讨了，首要分歧的是，针对HMM模子中存在关于隐性状态需要报酬给定、进修算法轻易部分最劣等题目，操纵了非参数化的HMMs对机械人传感信息停止建模，模子首要包括：HDP-HMM，HDP-AR-HMM，BP-AR-HMM。

假如想更直观及更清楚地了解什么是robot introspection可以参照以下 IROS 2017 workshop

其中，关于界说的关键描写是

研讨内容：机械人状态监测->机械人异常监测->机械人自省(introspection)

研讨方式：自界说的RCBHT->HMM->nonparametric HMMs.

但是，在2017年与指导教员会商后感觉理想中的“机械人自省(introspection)”是要使得机械人可以从屡次/单次履利用命收集到的原始多模态数据中进修到：

①"做什么"：使命（task）的朋分，自动分别红几个子使命（skills，一个使命将由几个skills拼接而成的），而且可以由多个skills自立天生新的操纵使命（"怎样做"）；

②"做什么"：子使命(skills)的识别，机械人晓得自己在阿谁阶段；

③"做得怎样样"：异常的监测；

④"做得怎样样"：异常分类；

⑤"怎样做"：特定异常范例的修复行为天生；

为此，提出了一个Sense-Plan-Act-Introspect-Recover (SPAIR)的软件框架，为了实现这么一个完整的robot introspection系统而尽力，其中对于①和⑤的进修就有缘看到了Oliver Kroemer和Scott Niekum的论文。

我对机械人技术进修的熟悉是从2013年的Stefan Schaal那篇关于静态活动基元DMP的论文：“Dynamical Movement Primitives: Learning Attractor Models for Motor Behaviors”起头的，由于那时首要的研讨题目就是要实现①中具有泛化才能的机械人多步使命的描写，就打仗到了DMP，以及后来的ProMPs, SEDS, GMM+GMR，KMP等，这些都是经过轨迹编码的方式实现机械人技术进修的。对DMP的进修首要关注的工作是Peter Pastor的论文，讲到他，大师就能想起阿谁操纵PR2机械人一次树模后就能抓起水杯倒水的画面，以及操纵DMP加上力/力矩信号用于抓取手电筒时异常检测和批改的ASM方式。可是DMP更多是应于在单步的操纵使命，而对于多步、多方针的复杂使命是不可的。大概经过有限状态机（FSM）+DMP对多步的机械人操纵使命停止描写（~~后续的Scott Niekum就是采用这类方式~~~），可是这样描写的使命是牢固死了基元之间转移的（而Oliver Kroemer则提出了可以自动进修转移几率的模子），对于操纵使命异常发生后自立进修修复行为是不成行的。那时，设想的思绪是，能否事前操纵DMP进修好一系列的操纵技术，构成技术库，然后在库中搜索的方式来处理这个状态转换的题目，ASM也是操纵类似的方式实现的。

那时，在2018年的时辰Jan peters有个博士生叫Manschitz, Simon就主如果做机械人序列化技术进修的，经过对原始传感数据停止朋分，状态转移几率进修来构建机械人操纵图（manipulation graph），以到达机械人多步使命的描写，并在机械人拧灯泡的使命停止了考证，他的博士论文以下（2018年的时辰，他正幸亏预备博士辩论，我那时还问他要到了尝试的数据及视频， 挺nice的~。可是由于操纵图的建立还是使命依靠性挺强的，感受一样的实现进程利用到新的使命能够需要重新设想一套法则，晓得有这么个方式，但没有深入，反而从他的论文中，找到了Scott Niekum），

而对于从原始的多模态传感数据中实现机械人多步使命的描写的另一种思绪就是，Scott Niekum在2014年12月在IJRR颁发的一篇论文中所述的那样

该论文操纵BP-AR-HMM模子（一种非参数化HMMs）对机械人屡次传感数据停止朋分处置，并操纵有限状态机（FSM）+DMP对多步的机械人操纵使命停止描写，而且论文中还包括了毛病行为的识别与修复，所提出的全部框架在机械人IKEA装配中得以表现。缘分就是这样起头了，对于非参数化HMMs, 我熟啊，FSM简单啊，DMP也晓得啊，想做的异常修复行为也有了......这不就是我想要做的那一堆关于introspection工具么....立马新建了文件夹，把相关的论文、视频和文档都下载了。其中，IJRR何处论文是仔细读了的，其他几篇会群情文的内容都能在IJRR论文中表现了的。

利害的是Niekum还供给了一份操纵非参数化HMMs对时候序列停止建模的tutorial，真的是全套办事啊。不外，对于非参数化HMMs的进修还是要保举看麻省理工大学 Emily B. Fox教授的sHDP-HMM模子，以及布朗大学 Michael C. Hughes的变分揣度方式（他在哈佛大学读的博后，现在塔夫斯大学任职了；他很是友爱，邮件发曩昔问题目，城市解答的，而且叫他帮手增加一个示例，都给弄了，别的就是关于学术研讨的一切工具都开源的，包括CV，slides等）。

有了Scott Niekum的IJRR文章指引，对于SPAIR系统的搭建就轻易了，可是假如仅仅斟酌FSM+DMP的使命描写是缺少泛化性的，而且对于下一个基元的挑选是基于统计获得的，对于⑤中所提到的异常修复行为的题目是不智能的。

在对此了解的根本上，进修了Jan Peters的门生Oliver Kroemer在2015年ICRA上颁发的论文，其中提出了基于状态转换的自回归马尔科夫模子(State-based Transitions Autoregressive Hidden Markov Model)

小结：人们对于机械人的期待常常是可以像人类一样完成平常的操纵使命。从最起头人们经过示教盒的方式停止示教再现，完成了反复性高，稳定性高的使命；对于复杂的，持续的使命，成长到了离线编程的技术；后来，经过结尾停止力的牵引示教，手势示教...（言传身教），此机会械人都是在复现大概跟从人类的期望活动，逐步就取代了示教盒，甚至离线编程，由于人们可以手把手教机械人操纵了；///在产业上，根基能满足需求了//。

（尝试室研讨系列） 而对于learning from demonstration, programming by demonstration都是希望机械人可以从人类那边进修到操纵的经历，并借此经历停止自立操纵，但是在现实利用中还是少的（最少在操纵臂上），对于办事机械人也许会多些，由于利用处景的变化。那末，究竟什么样的场景下必须得利用到类似于DMP、HMM、GMM、KMP这些方式进修到的操纵技术呢？感受在给定方针点后经过机械人本身的活动计划算法便可以到达方针了呀，假如要有人的先验，我间接牵引示教-再现，不就完了么，为什么要整这个呢？是以，对于采用深度进修+强化进修实现机械人技术进修将会怎样样呢？（满脸期待~~）

• 摘要

人们都想要获得一个具有自立操纵才能的机械人，而让机械人可以自立进修是实现这一志愿的关键，由于人类就是经过不竭的进修来顺应一成不变的天下（活到老，学到老；学而知不敷，不敷而知学）。有人喜好从书籍中进修人世百态，有人喜好从理论中进修保存法例，方针都是一样的，那就是希望可以游刃游余地应对人发展大的挫折、生活情况的变化以及未来不成预见的task。 而本文主如果关注在操纵深度进修停止机械人操纵技术进修的方式。本文方针包括两点：1）将现有机械人操纵技术进修的方式融分解一个同一的框架中；2）对操纵深度进修停止技术进修这一小分支停止探讨，大白当前机械人进修面临的机遇与应战。

• 论文结构

2，论述现有机械人进修的概念及需要的框架；

2.1 作为物理系统停止操纵，这就意味着本文中机械人所斟酌的“操纵”都是与实在情况交互的，而且机械人本体是有先验的物理约束（枢纽限位、速度极限、工作空间等）。这些约束就缩小了机械人进修的范围，也使其变得轻易。究竟，人类进修可是包括mental的。

2.2 机械人操纵的系统是欠驱动、非完整约束的（情况中总有物体是可被操纵的）；操纵的形式凡是是打仗与非打仗两种状态。

第三章，提出了一个包括机械人进修大部分题目标一般性范式；

第四章，论述机械人操纵工具的描写及情况的表征方式；

待续