机器人视觉与自动化实验室
机器人视觉与自动化实验室
研究内容

机器人柔软体操作

更多实验视频，请关注实验室B站主页：https://space.bilibili.com/1237032874
本研究方向研究利用机器人操作柔软变形物体的方法。在生产、生活中有很多机器人应用涉及自动处理柔软、易变形物体。比如在装配线上存在电缆安装、布线的作业，很多橡胶、塑料制零件也广泛应用于产品的装配中。生活中，一台合格的服务机器人不仅要能够处理衣物、被褥等纺织品，还要能够做饭、切菜。手术机器人应用中，需要机器人对软组织进行剥离、缝合等手术处理。本研究方向以这些应用为背景，研究其中的物体形变控制、操作规划、状态感知技术。
 基于可变摩擦的织物展开控制研究
本课题受人手操作织物过程的启发，进行了基于变摩擦的织物在手操作模型的研究，提出了基于变摩擦的织物在手操作算法。并基于所提出的织物在手操作方法进行了单布的在手调整实验。
基于学习的织物折叠和包装
可变形物体的操纵是外科手术、纺织业和家庭任务中的一项基本任务。然而，目前对织物操纵的研究很少考虑刚性物体必须被织物包裹的场景。这种类型的操作广泛应用于物流包装和手术器械篮的包装。在本研究中，我们提出了一种执行此操作的方法，可用于织物折叠或用织物包裹盒子。实验结果表明，该方法能够有效地完成复杂的操作任务。结果还表明，它可以推广到不同颜色的织物和不同尺寸、纹理或几何形状的盒子。
基于视觉的线状柔性体约束条件下的变形跟踪与控制
柔性工件在受外力作用时容易发生形变，通常机器人无法预测工件的变形以及完成装配任务，因此在研究时主要对柔性体的避障方法进行研究。但在一些环境中无法避免柔性体与环境的接触，这就需要利用柔性体与环境接触的变形来完成装配任务。本课题针对线缆与环境的接触状态进行分析，完成了基于视觉伺服的电缆形状规划的研究。
无标记面状柔性体的变形跟踪与形状控制
对于表面缺乏视觉特征的面状柔性体，如单色的纸张。使用实时NURBS曲面拟合跟踪描述物体变形状态的点云。由NURBS曲面坐标可以获得物体上点的实时3D位置，进而实现对物体上点的位置伺服。如视频所示，对于单色纸表面任意指定点，通过这个方法可以将其定点于指定3D位置（盒子的边缘线）。
基于视/触觉的柔性体变形控制
传统柔软体的变形控制多基于位置约束假定，也即是说被操作对象被机械手紧紧夹住，物体与夹持器之间接触状态不变。但在一些场合，这一假定无法满足。因此需要考虑基于视/触觉反馈的柔性体变形控制方法。如视频所示，一方面控制机械手与物体间的接触状态保持稳定，另一方面控制物体形变收敛于指定状态。
受限环境中基于视觉的电缆装配
电缆接头的插拔除了需要将插头定位于插座中以外，还要考虑在这一过程中电缆与周围环境之间可能产生的干涉。当干涉发生时，需要机器人通过主动改变电缆形状实现避障。本研究使用基于视觉的变形伺服技术实现这个目的。并且通过在人工势场法的框架下将末端位置控制与基于视觉的电缆变形伺服这两个相互干涉的任务集成在一起，保证了插头插接和电缆避障两个任务能同时实现。
基于视觉的柔软体形状伺服控制
增加电缆了的避障规划，可以根据环境约束状况规划实现避障的电缆形状。为了使后续的变形伺服收敛，规划出的电缆形状必须物理上合理。
基于深度学习的线状柔性体拓扑状态识别及线缆拆解
自动操作绳缆一类线状柔软体的难点在于如何识别及控制线缆缠绕的拓扑状态。本研究利用深度学习方法，利用2D图象自动识别线缆的拓扑状态，并由此构建的模型生成拓扑操作步骤。深度学习的使用可以容易地实现算法对复杂未知背景的鲁棒性。左图所示为对随机缠绕状态下线缆的自动拆解实验。
基于深度学习的双臂协调线状柔性体拓扑状态识别及线缆拆解
对单臂操作进行策略优化，改善了单臂操作局限性

建筑机器人

更多实验视频，请关注实验室B站主页：https://space.bilibili.com/1237032874
目前在建筑装修行业正面临着人力成本高昂，人员日益匮乏的局面。在我国，建筑行业员工流动性强，农民工居多的特点导致施工质量控制困难。针对这些问题，本研究方向研究实现机器人自主建筑施工所需相关技术。主要研究内容包括
 未知建筑场景下机器人扫描规划与进度监测方法的研究
针对建筑施工过程中未知当前场景但是已知完工设计图的实际情况，本文通过设计图的建筑信息模型来获取完工地图并输入给机器人作为先验信息，用信息冗余的自适应蒙特卡洛定位方法来对机器人进行辅助定位。设计了通过快速随机扩展树和下一最优视点算法相结合的方式进行扫描和路径规划，并控制机器人搭载FARO激光全站仪沿既定路径实现已知完工地图但未知当前地图的全覆盖扫描。
基于建筑图纸与多传感器融合的建筑机器人定位系统
针对建筑场景的特点，设计了一套基于建筑图纸和多传感器融合的定位系统，搭建了传感器平台，并在现实建筑环境中对平台和算法进行了测试。
基于宏微机械臂的抹灰机器人连续多站自主作业实现方法
本课题基于宏微机械臂抹灰机器人本体，主要研究多站连续作业的施工策略与自主性问题。
基于激光水平仪的高精度自动内表面精加工末端定位系统
基于UR机械臂的自动墙壁打磨
墙面的自动打磨需要实现对打磨效果的自动评估及打磨动作的自动规划。本研究使用视觉传感器，结合深度学习的方法实现了对打磨效果的自动评估（合格与否）。机器人根据评估效果决定施工区域的各个部分是否进行打磨。
基于视觉的自动抹腻子应用
自动抹腻子施工同样需要机器人自动评估涂抹效果。不同于打磨作业，腻子的状态更加复杂。本研究中，以腻子的划痕为主要特征，利用深度学习识别划痕的主要类别，并根据识别出的类别令机器人实施不同的动作。实现了初步的自动腻子抹平。
抹腻子用宏-微机械臂
墙面施工的许多操作中，需要执行器能自动适应墙面的未知起伏。为实现这一目的，本研究在机械臂末端安装三自由度并联平台，构成宏微机械臂。通过机械臂末端安装的激光测距仪，并联平台可以实施感知墙面的起伏变化，并通过并联平台的伺服，保持执行器末端始终与墙面保持固定的相对位姿。目前宏微机械臂被用于新一代抹腻子施工中。
建筑环境点云数据的自动获取
研究以安装有激光全站仪的移动机器人为平台，自动获取建筑施工环境三维数据的方法。激光全站仪虽可获得大范围、高精度的点云数据，但不具有实时性。因此需要解决动、静环境下的扫描规划、点云拼接等问题。
hpp
 建筑施工点云数据处理
在建筑工程施工验收以及施工过程进度监控等应用中，需要对大量点云数据进行处理。本项目研究其中所涉及的点云处理技术，并用于房屋自动尺寸测绘、自动质量检测报告生成等应用中。
建筑场景中移动机器人的导航定位
在建筑现场工作的自主移动机器人需要确定相对于设计图纸的精确位置。建筑现场往往视觉特征稀疏且容易发生变化。本项目目前研究基于视觉

机器人抓取

更多实验视频，请关注实验室B站主页：https://space.bilibili.com/1237032874
本研究方向主要面向物流及工业装配领域的应用需求，研究堆叠状态下物品的抓取方法及基于简单机构的零件在手操作方法（In-Hand Manipulation）。
 基于点云的毛巾分拣
使用平行指夹具进行毛巾一类织物的分拣，主要的问题在于抓取的规划。也即是回答抓什么地方，平行指以何种姿态进行夹取。本研究使用RGB
软硬物体混合情况下的物体抓取
在生活中存在软、硬物体堆叠在一起的场景（例如物体被毛巾、衣物等覆盖）。机器人在规划抓取位置的时候如果不能识别出这种状态，有可能使夹爪碰撞到坚硬的物体上。本研究提出了在这类场合下的抓取规划方法。