(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 CN 110340883 A(43)申请公布日 2019.10.18
(21)申请号 201910180988.7(22)申请日 2019.03.11
(30)优先权数据
2018-073255 2018.04.05 JP(71)申请人 欧姆龙株式会社
地址 日本国京都府京都市(72)发明人 服部宏祐 小西嘉典
(74)专利代理机构 北京三友知识产权代理有限
公司 11127
代理人 龚晓娟 邓毅(51)Int.Cl.
B25J 9/16(2006.01)
权利要求书1页 说明书10页 附图7页
(54)发明名称
信息处理装置、信息处理方法以及计算机可读存储介质
(57)摘要
提供信息处理装置、信息处理方法以及计算机可读存储介质。课题在于，提供能够适当地进行三维计测的信息处理装置等。信息处理装置具备：确定部，其确定3D计测传感器进行三维计测的多个计测位置和/或方向；控制部，其使所述3D计测传感器分别在所述多个计测位置和/或方向上依次移动；计测部，其使用所述3D计测传感器分别在所述多个计测位置和/或方向上进行三维计测，由此生成多个3D计测数据；以及数据整合部，其对所述多个3D计测数据进行整合。
CN 110340883 ACN 110340883 A
权 利 要 求 书
1/1页
1.一种信息处理装置，其中，该信息处理装置具备：确定部，其确定3D计测传感器进行三维计测的多个计测位置和/或方向；控制部，其使所述3D计测传感器分别在所述多个计测位置和/或方向上依次移动；计测部，其使用所述3D计测传感器分别在所述多个计测位置和/或方向上进行三维计测，由此生成多个3D计测数据；以及
数据整合部，其对所述多个3D计测数据进行整合。2.根据权利要求1所述的信息处理装置，其中，
当对于在所述多个计测位置和/或方向中的第一计测位置和/或方向上无法进行三维计测的缺损区域，在计测位置和/或方向不同于该第一计测位置和/或方向的第二计测位置和/或方向上能够进行三维计测时，所述数据整合部对所述缺损区域应用在所述第二计测位置和/或方向上计测出的3D计测数据。
3.根据权利要求2所述的信息处理装置，其中，
所述数据整合部对于在所述第一计测位置和/或方向以及所述第二计测位置和/或方向中的任何一方都能够进行三维计测的区域应用距计测对象物的距离近的计测位置和/或方向上的计测结果。
4.根据权利要求1至3中的任一项所述的信息处理装置，其中，
并行执行所述数据整合部进行的所述多个3D计测数据的整合和所述控制部进行的所述3D计测传感器的移动。
5.根据权利要求1至3中的任一项所述的信息处理装置，其中，
所述控制部利用机器人所具有的机械手使所述3D计测传感器移动。6.根据权利要求5所述的信息处理装置，其中，
所述控制部对安装于所述机械手的所述3D计测传感器进行手眼校准。7.根据权利要求1至3中的任一项所述的信息处理装置，其中，
所述数据整合部计算所述多个计测位置和/或方向之间的相对位置和相对旋转角度，由此将所述多个3D计测数据的坐标系转换为同一坐标系，在此基础上对所述多个3D计测数据进行整合。
8.一种信息处理方法，其中，信息处理装置执行如下处理：确定3D计测传感器进行三维计测的多个计测位置和/或方向；
使所述3D计测传感器分别在所述多个计测位置和/或方向上依次移动；
使用所述3D计测传感器分别在所述多个计测位置和/或方向上进行三维计测，由此生成多个3D计测数据；以及
对所述多个3D计测数据进行整合。9.一种计算机可读存储介质，其存储有用于使信息处理装置执行如下处理的程序：确定3D计测传感器进行三维计测的多个计测位置和/或方向；
使所述3D计测传感器分别在所述多个计测位置和/或方向上依次移动；
使用所述3D计测传感器分别在所述多个计测位置和/或方向上进行三维计测，由此生成多个3D计测数据；以及
对所述多个3D计测数据进行整合。
2
CN 110340883 A
说 明 书
1/10页
信息处理装置、信息处理方法以及计算机可读存储介质
技术领域
[0001]本发明涉及信息处理装置、信息处理方法以及计算机可读存储介质。
背景技术
[0002]近年来，利用3D传感器等拍摄对象物，在根据该拍摄结果判别部件位置的基础上，利用机械臂进行抓握或组装该对象物等操作的产业机器人正在普及。3D传感器通常根据被对象物表面反射的反射光来计测从3D传感器到对象物表面的距离。然而，当对象物是由金属构成的部件时等，在表面会发生镜面反射，因此难以获得适合的反射光。此外，根据对象物形状的不同，有时会产生难以得到反射光的死角。其结果是，难以对产生镜面反射等的部件或复杂形状的对象物进行3D计测，容易在3D传感器的检测范围的一部分中产生无法进行3D计测的区域。[0003]在此，例如，专利文献1中公开了一种使用投影仪和三台以上的摄像单元在多个位置进行3D计测的三维计测装置。在该三维计测装置中，通过在规定的坐标系中对在多个位置拍摄的3D计测结果进行整合来进行三维计测。[0004]在先技术文献[0005]专利文献[0006]专利文献1：日本特许第5633058号发明内容
[0007]然而，在专利文献1记载的方法中，由于摄像单元的位置被固定，因此，有时根据对象物的形状或部件等的不同，仍然留有由于死角或镜面反射等而无法进行3D计测的区域。此外，由于使用多台摄像装置，因此需要进行各个装置的校正(校准)或摄像时机的控制，因此装置结构复杂。
[0008]本发明的几个方式是鉴于上述课题而完成的，提供能够适当地进行死角或镜面反射等导致的未计测区域较少的三维计测的信息处理装置、信息处理方法以及计算机可读存储介质是本发明的目的之一。
[0009]本发明的一个方式的信息处理装置具备：确定部，其确定3D计测传感器进行三维计测的多个计测位置和/或方向(orientation)；控制部，其使所述3D计测传感器分别在所述多个计测位置和/或方向上依次移动；计测部，其使用所述3D计测传感器分别在所述多个计测位置和/或方向上进行三维计测，由此生成多个3D计测数据；以及数据整合部，其对所述多个3D计测数据进行整合。[0010]在该结构中，即使在由于死角、镜面反射等的影响而无法从特定的计测位置对计测对象物进行三维计测的情况下，只要能够从不同的计测位置进行三维计测，通过对二者进行整合，就能够缩小3D计测数据中的缺损区域。[0011]在上述结构中，也可以构成为，当对于在所述多个计测位置和/或方向中的第一计测位置和/或方向上无法进行三维计测的缺损区域，在计测位置和/或方向不同于该第一计
3
CN 110340883 A
说 明 书
2/10页
测位置和/或方向的第二计测位置和/或方向上能够进行三维计测时，所述数据整合部对所述缺损区域应用在所述第二计测位置和/或方向上计测出的3D计测数据。[0012]在该结构中，通过用在第二计测位置和/或方向上计测出的3D计测数据补足在第一计测位置和/或方向上无法进行计测的缺损区域，能够缩小缺损区域。[0013]在上述结构中，也可以构成为，所述数据整合部对于在所述第一计测位置和/或方向以及所述第二计测位置和/或方向中的任何一方都能够进行三维计测的区域应用距计测对象物的距离近的计测位置和/或方向上的计测结果。[0014]在三维计测中，从较近的位置进行计测通常精度较高，因此，在该结构中，通过应用从距离较近的位置得到的三维计测结果，能够提高作为整合结果的3D计测数据的精度。[0015]在上述结构中，也可以构成为，并行执行所述数据整合部进行的所述多个3D计测数据的整合和所述控制部进行的所述3D计测传感器的移动。[0016]在该结构中，通过并行执行3D计测数据的整合和3D计测传感器的移动，能够减少整体的处理时间。
[0017]在上述结构中，也可以构成为，所述控制部利用机器人所具有的机械手使所述3D计测传感器移动。
[0018]在该结构中，可以使用进行抓持等操作的机械手来移动3D计测传感器。其结果是，无需在进行操作的机械手之外另设使3D计测传感器移动的机构，此外，可以从进行操作的机械手的位置进行3D计测。[0019]在上述结构中，也可以构成为，所述控制部对安装于所述机械手的所述3D计测传感器进行手眼校准。[0020]在该结构中，在多个3D计测数据的整合中，能够精密地进行位置对准。[0021]在上述结构中，也可以构成为，所述数据整合部计算所述多个计测位置和/或方向之间的相对位置和相对旋转角度，由此将所述多个3D计测数据的坐标系转换为同一坐标系，在此基础上对所述多个3D计测数据进行整合。[0022]特别在使用机械手使3D计测传感器移动时，可以从具有机械手的机器人的编码器取得计测位置和/或方向的情况较多，因此在该结构中，可以使用它们容易且适当地进行3D计测数据的整合。
[0023]在本发明的一个方式的信息处理方法中，信息处理装置进行如下处理：确定3D计测传感器进行三维计测的多个计测位置和/或方向；使所述3D计测传感器分别在所述多个计测位置和/或方向上依次移动；使用所述3D计测传感器分别在所述多个计测位置和/或方向上进行三维计测，由此生成多个3D计测数据；以及对所述多个3D计测数据进行整合。[0024]在该结构中，即使在由于死角、镜面反射等的影响而无法从特定的计测位置对计测对象物进行三维计测的情况下，只要能够从不同的计测位置进行三维计测，通过对二者进行整合，就能够缩小3D计测数据中的缺损区域。[0025]本发明的一个方式的计算机可读存储介质，其存储有用于使信息处理装置执行如下处理的程序：确定3D计测传感器进行三维计测的多个计测位置和/或方向；使所述3D计测传感器分别在所述多个计测位置和/或方向上依次移动；使用所述3D计测传感器分别在所述多个计测位置和/或方向上进行三维计测，由此生成多个3D计测数据；以及对所述多个3D计测数据进行整合。
4
CN 110340883 A[0026]
说 明 书
3/10页
在该结构中，即使在由于死角、镜面反射等的影响而无法从特定的计测位置对计
测对象物进行三维计测的情况下，只要能够从不同的计测位置进行三维计测，通过对二者进行整合，就能够缩小3D计测数据中的缺损区域。[0027]另外，在本发明中，“部”、“单元”、“装置”、“系统”并不仅仅意味着物理部件，还包括通过软件来实现该“部”、“单元”、“装置”、“系统”所具有的功能的情况。此外，可以通过两个以上的物理意义上的部件或装置来实现一个“部”、“单元”、“装置”、“系统”所具有的功能，也可以通过一个物理意义上的部件或装置来实现两个以上的“部”、“单元”、“装置”、“系统”的功能。附图说明
[0028]图1A是用于说明实施方式的3D位置检测系统的处理的一例的图。[0029]图1B是用于说明实施方式的3D位置检测系统的处理的一例的图。
[0030]图2是用于示意性地例示实施方式的3D位置检测系统的结构的一例的图。[0031]图3是例示实施方式的信息处理装置的处理步骤的一例的流程图。[0032]图4是例示实施方式的信息处理装置的处理步骤的一例的流程图。[0033]图5是例示实施方式的信息处理装置的处理步骤的一例的流程图。
[0034]图6是用于示意性地例示实施方式的信息处理装置的硬件结构的一例的图。[0035]标号说明[0036]1：3D位置检测系统；10：产业机器人；11：机械手；13：3D计测传感器；100：信息处理装置；101：机器人控制部；103：3D计测部；105：传感器位置确定部；107：3D计测数据整合部；109：输出部；111：数据库(DB)；113：3D计测数据；115：机器人姿势数据；601：控制部；603：RAM；605：存储部；607：控制程序；611：通信接口(I/F)部；613：输入部；615：输出部；617：总线。
具体实施方式[0037]以下，参照附图对本发明的实施方式进行说明。但是，以下说明的实施方式仅仅是例示，并不试图排除以下未明确示出的各种变形和技术的应用。即，本发明可以在不脱离本发明宗旨的范围内进行各种变形而实施。此外，在以下的附图记载中，同一或累似的部分标注同一或类似的标号表示。附图是示意性的，未必与实际的尺寸和比率等一致。附图相互之间也包含相互的尺寸关系、比率不同的部分。[0038][1应用例]
[0039]参照图1A和图1B，对实施方式的整体概要进行说明。实施方式的信息处理装置例如用于使用3D计测传感器13来计测对象物O的三维位置，其中，该3D计测传感器13安装在具有机械手(robot?hand)11的产业机器人10的前端。
[0040]3D计测传感器13通过检测来自对象物O的表面的反射光L来计测距对象物O的表面的距离。通过在一定范围内进行该操作，可以计测对象物O的表面的三维坐标。另外，在图1A和图1B的示例中，3D计测传感器13对对象物O照射光，但是不限于此，通过利用3D计测传感器13检测来自3D计测传感器13以外的光源的光的反射光L，也可以计测出距对象物O的表面的距离。另外，对于3D计测传感器13，可以应用立体相机、TOF(Time?of?Flight；飞行时间)
5
【CN110340883A】信息处理装置、信息处理方法以及计算机可读存储介质【专利】
