[go: up one dir, main page]

KR20110109413A - Constraint Space Calculation Method Using Position Sensor of Articulated Manipulator - Google Patents

Constraint Space Calculation Method Using Position Sensor of Articulated Manipulator Download PDF

Info

Publication number
KR20110109413A
KR20110109413A KR1020100029131A KR20100029131A KR20110109413A KR 20110109413 A KR20110109413 A KR 20110109413A KR 1020100029131 A KR1020100029131 A KR 1020100029131A KR 20100029131 A KR20100029131 A KR 20100029131A KR 20110109413 A KR20110109413 A KR 20110109413A
Authority
KR
South Korea
Prior art keywords
manipulator
space
repulsive force
calculating
joint angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100029131A
Other languages
Korean (ko)
Other versions
KR101145243B1 (en
Inventor
김기훈
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020100029131A priority Critical patent/KR101145243B1/en
Publication of KR20110109413A publication Critical patent/KR20110109413A/en
Application granted granted Critical
Publication of KR101145243B1 publication Critical patent/KR101145243B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J18/00Arms
    • B25J18/06Arms flexible
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/021Optical sensing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/06Safety devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/02Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type
    • B25J9/04Programme-controlled manipulators characterised by movement of the arms, e.g. cartesian coordinate type by rotating at least one arm, excluding the head movement itself, e.g. cylindrical coordinate type or polar coordinate type
    • B25J9/041Cylindrical coordinate type
    • B25J9/042Cylindrical coordinate type comprising an articulated arm
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/10Programme-controlled manipulators characterised by positioning means for manipulator elements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1638Programme controls characterised by the control loop compensation for arm bending/inertia, pay load weight/inertia
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1674Programme controls characterised by safety, monitoring, diagnostic
    • B25J9/1676Avoiding collision or forbidden zones
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Human Computer Interaction (AREA)

Abstract

본 발명은 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법에 관한 것으로, 더 상세하게는, 매니퓰레이터에 위치 센서를 부착하여 조인트 각도 정보를 산출하고, 외부 장애물 또는 매니퓰레이터 자체의 링크 충돌 등으로 인해 매니퓰레이터의 움직임이 제한되는 공간 정보를 산출하는 제한 공간 산출 방법에 관한 것이다. 본 발명의 일 실시예에 따른 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법은 다관절 매니퓰레이터의 위치센서를 통해 움직임이 제한되는 공간을 산출하여, 상기 매니퓰레이터의 움직임을 제어하기 위한 방법으로서, 마스터 장치에서 상기 매니퓰레이터의 목표 위치를 생성하여, 상기 매니퓰레이터를 구동시키는 단계; 상기 위치 센서를 통해 상기 매니퓰레이터의 조인트 각도를 산출한 후에, 상기 조인트 각도를 상기 매니퓰레이터 말단의 자세 벡터로 변환하고, 상기 매니퓰레이터의 목표 자세 벡터와 비교하여 자세 오차를 산출함으로써, 상기 구동된 매니퓰레이터가 갖는 부족한 자유도로 인해 움직임이 제한되는 공간을 산출하는 단계; 상기 위치 센서를 통해 상기 매니퓰레이터의 조인트 각도를 산출한 후에, 상기 조인트 각도를 상기 매니퓰레이터의 목표 조인트 각도와 비교하여, 조인트 오차를 산출하고, 상기 산출된 자세 오차와 합산함으로써, 상기 구동된 매니퓰레이터가 외부 장애물 또는 매니퓰레이터의 링크 충돌로 인해 움직임이 제한되는 공간을 산출하는 단계; 및 상기 산출된 제한공간의 정보를 이용하여 매니퓰레이터의 관절 배치를 최적화하는 단계를 포함한다. The present invention relates to a method for calculating a confined space using a position sensor of an articulated manipulator. More particularly, the present invention relates to a method of calculating a joint angle by attaching a position sensor to a manipulator, and manipulator due to an external obstacle or a link collision of the manipulator itself. The present invention relates to a limited space calculation method for calculating spatial information in which movement of a motion is limited. In the method of calculating the limited space using the position sensor of the articulated manipulator, a method for controlling the motion of the manipulator is calculated by calculating a space in which the motion is restricted through the position sensor of the articulated manipulator. Generating a target position of the manipulator in the device to drive the manipulator; After calculating the joint angle of the manipulator through the position sensor, by converting the joint angle into the attitude vector of the manipulator end, and calculating the attitude error compared to the target attitude vector of the manipulator, the driven manipulator has Calculating a space in which movement is limited due to insufficient degrees of freedom; After calculating the joint angle of the manipulator through the position sensor, the joint angle is calculated by comparing the joint angle with the target joint angle of the manipulator, and summed with the calculated attitude error so that the driven manipulator is external. Calculating a space in which movement is limited due to an obstacle or a link collision of the manipulator; And optimizing the joint arrangement of the manipulator using the calculated constraint space information.

Description

다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법 {RESTRICTION SPACE CALCULATION METHOD USING POSITION SENSORS OF MULTI DEGREES-OF-FREEDOM MANIPULATOR}Constrained space calculation method using position sensor of articulated manipulator {RESTRICTION SPACE CALCULATION METHOD USING POSITION SENSORS OF MULTI DEGREES-OF-FREEDOM MANIPULATOR}

본 발명은 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법에 관한 것으로, 더 상세하게는, 매니퓰레이터에 위치 센서를 부착하여 조인트 각도 정보를 산출하고, 외부 장애물 또는 매니퓰레이터 자체의 링크 충돌 등으로 인해 매니퓰레이터의 움직임이 제한되는 공간 정보를 산출하는 제한 공간 산출 방법에 관한 것이다. The present invention relates to a method for calculating a confined space using a position sensor of an articulated manipulator. More particularly, the present invention relates to a method of calculating a joint angle by attaching a position sensor to a manipulator, and manipulator due to an external obstacle or a link collision of the manipulator itself. The present invention relates to a limited space calculation method for calculating spatial information in which movement of a motion is limited.

원격제어 로봇의 기술의 발전에 따라 종래에 인간이 접근하기 어려웠던 환경에서의 원격 작업이 가능해지고, 최소 침습 수술 로봇과 같은 정밀한 작업과 손상된 신체의 보완 등의 목적으로 의수 등이 현실에 적용되고 있다. 로봇 등과 같은 매니퓰레이터를 인간의 의도대로 움직이기 위해서는 햅틱 디바이스 등과 같은 인간-로봇 상호 작용에 의해 움직이는 마스터 장치를 통해서 조작 신호를 입력하거나, 최근에는 근전도(EMG, Electromyogram)나 뇌전도(EEG, Electroencephalogram)와 같은 장비를 이용한 인간의 의도 파악을 통해 매니퓰레이터를 구동할 수 있다.With advances in the technology of remote control robots, it is possible to work remotely in environments that have been difficult for humans to access in the past. . In order to move a manipulator such as a robot according to a human intention, a manipulation signal is input through a master device which is moved by a human-robot interaction such as a haptic device, or recently, an electromyogram (EMG) or an electroencephalogram (EEG) and Manipulators can be driven by identifying human intentions using the same equipment.

매니퓰레이터가 인위적으로 가공한 환경이 아닌 일상적인 주변 환경 내에서 움직이는 경우, 주변 환경 내의 장애물 또는 매니퓰레이터의 링크 충돌(link collision) 등으로 인해, 마스터 장치를 통한 조작자의 의도에 따라 움직일 수 없는 공간에 진입하는 경우가 발생한다. 이러한 제한 공간(restriction space)에 매니퓰레이터가 진입할 수 없음에도 불구하고, 조작자가 마스터 장치를 통해 매니퓰레이터를 무리하게 이동시키는 신호를 전달하면, 마스터 장치와 매니퓰레이터 사이에 위치 오차로 인해 전체 시스템의 안정성을 보장할 수 없게 된다.When the manipulator moves in a normal environment instead of an artificially processed environment, it enters an inoperable space due to obstacles in the environment or link collision of the manipulator, according to the operator's intention through the master device. This happens. Despite the inability of the manipulator to enter this restriction space, if the operator transmits a signal that forces the manipulator through the master device, the stability of the entire system due to the position error between the master device and the manipulator It cannot be guaranteed.

따라서, 종래에는 힘 센서 또는 위치 센서를 통해 반발력의 형태로 매니퓰레이터가 제한 공간에 진입하는 것을 막고, 제한 공간에 진입하였는지 여부에 대한 정보를 조작자에게 전달하였다. Therefore, conventionally, the manipulator is prevented from entering the confined space in the form of repulsive force through a force sensor or a position sensor, and information about whether the manipulator has entered the confined space is transmitted to the operator.

힘 센서에 의한 제한 공간의 산출은 정확도의 측면에서 우수하나, 힘 센서의 가격이 비싸므로, 주변 환경 내의 가능한 모든 충돌을 감지하기 위해 충분한 개수의 힘 센서를 매니퓰레이터에 부착하는 것은 비용 면에서 비효율적이다. 그러나, 만약 적은 수의 힘 센서만을 부착하여 감지할 필요성이 있는 충돌을 감지하지 못한다면, 매니퓰레이터가 적용되는 환경에서 안정성을 해치게 된다. 예를 들어, 원격제어 시스템에서 로봇과 같은 매니퓰레이터가 주변 장애물과 충돌하였으나, 조작자에게 마스터 장치를 통해 반발력이 제공되지 않는다면, 조작자는 마스터 장치를 통해 조작 신호를 계속 전달하게 되고, 매니퓰레이터는 장애물로 인해 움직이지 않으므로, 위치 오차가 커지게 되어, 전체 시스템의 안정성이 보장되지 않는다. The calculation of the confined space by the force sensor is good in terms of accuracy, but since the price of the force sensor is expensive, it is inefficient to attach a sufficient number of force sensors to the manipulator to detect all possible collisions in the surrounding environment. . However, if only a small number of force sensors are attached and fail to detect collisions that need to be detected, stability is compromised in the environment where the manipulator is applied. For example, in a remote control system, if a manipulator such as a robot collides with an obstacle around it, but the operator is not provided with a repulsive force through the master device, the operator continues to transmit a manipulation signal through the master device, and the manipulator is Since it does not move, the position error becomes large, and the stability of the whole system is not guaranteed.

종래의 위치 센서를 사용한 제한 공간 산출의 경우, 매니퓰레이터에 위치 센서, 각도 센서, 엔코더, 홀(hall) 센서 등을 부착하여, 매니퓰레이터의 조인트의 각도나 위치 정보를 지속적으로 파악하고, 조작자가 마스터 장치로 입력하는 목표 위치에 대한 정보와 비교하여, 마스터 장치에 반발력의 형태로 제한 공간의 존재 여부를 전달한다. 그러나, 이러한 방법은 마스터 장치에 발생하는 반발력으로 인해 조작자가 제한 공간의 존재 여부를 파악할 수 있도록 하지만, 다관절 매니퓰레이터의 경우 제한 공간의 방향을 산출할 수 없다는 문제점을 갖는다.In the case of calculating a limited space using a conventional position sensor, a position sensor, an angle sensor, an encoder, a hall sensor, and the like are attached to the manipulator to continuously grasp the angle and position information of the joint of the manipulator, and the operator Compared with the information about the target position to enter into, the master device transmits the presence of the limited space in the form of repulsive force. However, this method allows the operator to determine the existence of the constraint space due to the repulsive force generated in the master device, but has a problem in that the articulated manipulator cannot calculate the direction of the constraint space.

본 발명의 목적은 매니퓰레이터에 부착된 위치 센서를 이용하여, 매니퓰레이터의 움직임이 제한되는 공간에 대한 제한 공간의 존재 여부 및 제한 공간의 방향 정보를 산출하고, 이를 벡터인 반발력의 형태로 조작자에게 전달할 뿐만 아니라, 제한공간을 고려하여 매니퓰레이터의 관절 배치를 최적화하는 것이다.An object of the present invention, using the position sensor attached to the manipulator, calculates the presence of the limited space and the direction information of the limited space with respect to the space in which the movement of the manipulator is limited, and transmits it to the operator in the form of a repulsive force that is a vector. Rather, it is to optimize the joint placement of the manipulator in consideration of the confined space.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법은 다관절 매니퓰레이터의 위치센서를 통해 움직임이 제한되는 공간을 산출하여, 상기 매니퓰레이터의 움직임을 제어하기 위한 방법으로서, 마스터 장치에서 상기 매니퓰레이터의 목표 위치를 생성하여, 상기 매니퓰레이터를 구동시키는 단계; 상기 위치 센서를 통해 상기 매니퓰레이터의 조인트 각도를 산출한 후에, 상기 조인트 각도를 상기 매니퓰레이터 말단의 자세 벡터로 변환하고, 상기 매니퓰레이터의 목표 자세 벡터와 비교하여 자세 오차를 산출함으로써, 상기 구동된 매니퓰레이터가 갖는 부족한 자유도로 인해 움직임이 제한되는 공간을 산출하는 단계; 상기 위치 센서를 통해 상기 매니퓰레이터의 조인트 각도를 산출한 후에, 상기 조인트 각도를 상기 매니퓰레이터의 목표 조인트 각도와 비교하여, 조인트 오차를 산출하고, 상기 산출된 자세 오차와 합산함으로써, 상기 구동된 매니퓰레이터가 외부 장애물 또는 매니퓰레이터의 링크 충돌로 인해 움직임이 제한되는 공간을 산출하는 단계; 및 상기 산출된 제한공간의 정보를 이용하여 매니퓰레이터의 관절 배치를 최적화하는 단계를 포함한다. Constrained space calculation method using a position sensor of the articulated manipulator according to an embodiment of the present invention for achieving the above object calculates a space in which the movement is limited by the position sensor of the articulated manipulator, the movement of the manipulator CLAIMS 1. A method for controlling, comprising: generating a target position of the manipulator in a master device to drive the manipulator; After calculating the joint angle of the manipulator through the position sensor, by converting the joint angle into the attitude vector of the manipulator end, and calculating the attitude error compared to the target attitude vector of the manipulator, the driven manipulator has Calculating a space in which movement is limited due to insufficient degrees of freedom; After calculating the joint angle of the manipulator through the position sensor, the joint angle is calculated by comparing the joint angle with the target joint angle of the manipulator, and summed with the calculated attitude error so that the driven manipulator is external. Calculating a space in which movement is limited due to an obstacle or a link collision of the manipulator; And optimizing the joint arrangement of the manipulator using the calculated constraint space information.

상기 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법은, 상기 구동된 매니퓰레이터가 갖는 부족한 자유도로 인해 움직임이 제한되는 공간을 제1 반발력(FRG)으로 변환하는 단계; 상기 구동된 매니퓰레이터가 외부 장애물 또는 매니퓰레이터의 링크 충돌로 인해 움직임이 제한되는 공간을 제2 반발력(FRE)으로 변환하는 단계; 및 상기 제1 반발력(FRG)과 제2 반발력(FRE)을 합산하여, 상기 마스터 장치로 전달하는 단계를 더 포함할 수 있다. The method for calculating a limited space using a position sensor of the articulated manipulator includes: converting a space in which movement is limited due to insufficient degrees of freedom of the driven manipulator to a first repulsive force (F RG ); Converting, by the driven manipulator, a space in which movement is limited due to an external obstacle or a link collision of the manipulator to a second repulsive force F RE ; And adding the first repulsive force F RG and the second repulsive force F RE to the master device.

상기 제1 반발력(FRG)의 산출은 하기 수학식 1에 따라 이루어질 수 있다. The first repulsive force F RG may be calculated according to Equation 1 below.

[수학식 1][Equation 1]

FRG = RG esx = -KG(I-JsJs #)esx F RG = R G e sx = -K G (IJ s J s # ) e sx

여기서, RG는 매니퓰레이터의 부족한 자유도로 인한 일시적 제한 공간(IRS)을 반발력으로 매핑시키는 제1 매핑 행렬이며, esx는 매니퓰레이터 말단의 자세 오차이며, KG는 반발력 FRG의 크기를 조정하기 위한 스칼라 힘 이득이며, I는 단위 행렬이며, 자코비안 Js = ∂xs / ∂qs 이며, xs 는 매니퓰레이터 말단의 자세 벡터이며, qs 는 매니퓰레이터의 조인트 각도 벡터이며, Js #는 Js의 의사 역행렬(pseudo-inverse)이다. Where R G is a first mapping matrix that maps the temporary limited space (IRS) due to the lack of freedom of the manipulator to the repulsive force, e sx is the attitude error at the end of the manipulator, and K G is used to adjust the magnitude of the repulsive force F RG Scalar force gain, I is the identity matrix, Jacobian J s = ∂x s / ∂q s Is, x s Is the attitude vector at the end of the manipulator, q s is the joint angle vector of the manipulator, and J s # is the pseudo-inverse of J s .

상기 제2 반발력(FRE)의 산출은 하기 수학식 2에 따라 이루어질 수 있다. The second repulsive force F RE may be calculated according to Equation 2 below.

[수학식 2][Equation 2]

FRE = RE esx = -KE {(I-Js θJ# )JsJ# s} esx F RE = R E e sx = -K E {(IJ s θ J # ) J s J # s } e sx

여기서, RE는 매니퓰레이터의 외부적 제한에 의한 일시적 제한 공간(IRS)을 반발력으로 매핑시키는 제2 매핑 행렬이며, esx는 매니퓰레이터 말단의 자세 오차이며, KE 는 반발력 FRE 의 크기를 조정하기 위한 스칼라 힘 이득이며, I는 단위 행렬이며, 자코비안 Js = ∂xs / ∂qs 이며, xs 는 매니퓰레이터 말단의 자세 벡터이며, qs 는 매니퓰레이터의 조인트 각도 벡터이며, J# s 는 Js의 의사 역행렬이며, Js θ Js의 유전 자코비안(inherited Jacobian)이며, J# 는 Js θ 의사 역행렬이다. Here, R E is a second mapping matrix that maps the temporary limited space (IRS) due to the external constraint of the manipulator to the repulsive force, e sx is the attitude error at the end of the manipulator, and K E is to adjust the size of the repulsive force F RE . Is the scalar force gain, I is the identity matrix, and Jacobian J s = ∂x s / ∂q s Is, x s Is the vector orientation of the manipulator terminal, and the joint angle vector q s is a manipulator, J # s is a pseudo inverse matrix of the J s, θ s is J J s is the inherited Jacobian, and J # is the J s θ It is a pseudo inverse.

상기 매니퓰레이터에는 복수의 힘 센서가 부착되며, 상기 힘 센서에서 외부 장애물을 감지하여, 상기 매니퓰레이터의 움직임이 제한되는 공간을 제3 반발력(FEF) 으로 변환하는 단계와, 상기 제3 반발력(FEF)을 상기 제1 반발력(FRG) 및 제2 반발력(FRE)과 합산하여, 상기 마스터 장치로 전달하는 단계를 더 포함할 수 있다. A plurality of force sensors are attached to the manipulator, and by detecting an external obstacle in the force sensor, converting the space where the movement of the manipulator is limited to a third repulsive force (F EF ), and the third repulsive force (F EF) ) May be added to the first repulsive force F RG and the second repulsive force F RE , and may be transmitted to the master device.

상기 매니퓰레이터의 목표 조인트 각도는 상기 매니퓰레이터의 목표 조인트 속도(

Figure pat00001
)를 적분기를 통해 적분하여 획득하며, 상기 목표 조인트 속도(
Figure pat00002
)의 산출은 제한공간의 정보를 이용하여 매니퓰레이터의 관절 배치를 최적화하기 위하여 하기 수학식 5에 따라 이루어질 수 있다. The target joint angle of the manipulator is the target joint speed of the manipulator (
Figure pat00001
) Is obtained by integrating through an integrator, and the target joint velocity (
Figure pat00002
) Can be calculated according to Equation 5 below to optimize the joint placement of the manipulator using the information of the constraint space.

[수학식 5][Equation 5]

Figure pat00003
Figure pat00003

여기서,

Figure pat00004
은 단위 행렬이며,
Figure pat00005
이며,
Figure pat00006
,
Figure pat00007
이며, esq는 조인트 오차이며, qsd는 목표 조인트 각도이며, qs는 조인트 각도이며, k1 및 k2는 외력에 대한 매니퓰레이터의 감도(sensitivity) 및 안정성(stability)을 결정하는 상수들이다.here,
Figure pat00004
Is an identity matrix,
Figure pat00005
Is,
Figure pat00006
,
Figure pat00007
Where e sq is the joint error, q sd is the target joint angle, q s is the joint angle, and k 1 and k 2 are constants that determine the sensitivity and stability of the manipulator to external forces.

본 발명의 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법은 햅틱 장치(haptic device), 원격제어(teleoperation), 휴먼-로봇 상호작용(human-robot interaction), 의수 등에 적용하여, 꾸며지지 않은 미지의 실제 환경(unstructured environment)에서 장애물이나 매니퓰레이터 자체의 링크 충돌(link collision)이 있을 때, 위치 센서만으로 제한 공간(restriction space 또는 constraint space), 또는 움직일 수 없는 공간, 예를 들면, 매니퓰레이터가 장애물을 접하여 더 이상 움직일 수 없는 공간을 산출하여, 반발력의 형태로 조작자에게 전달하고 제한공간의 정보를 이용하여 매니퓰레이터의 관절 배치를 최적화함으로써, 매니퓰레이터의 무리한 조작으로 인한 오작동 내지 고장을 예방할 수 있는 효과가 있다.The method of calculating the confined space using the position sensor of the articulated manipulator is applied to a haptic device, teleoperation, human-robot interaction, prosthetic, etc. When there is an obstacle or link collision of the manipulator itself in the unstructured environment of the system, the restriction space or constraint space with the position sensor alone, or an immovable space, for example, the manipulator By calculating the space that can no longer be moved and transmitting it to the operator in the form of repulsive force and optimizing the joint arrangement of the manipulator using the information of the limited space, there is an effect that can prevent malfunction or failure due to excessive manipulation of the manipulator. .

또한, 본 발명의 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법은 원격지에 있는 마스터 장치와 매니퓰레이터의 형태 및 자유도가 다르더라도 추가적인 조작없이 적용할 수 있는 효과가 있다. In addition, the method of calculating the confined space using the position sensor of the articulated manipulator of the present invention has an effect that can be applied without additional manipulation even if the shape and the degrees of freedom of the master device and the manipulator in the remote place are different.

또한, 본 발명의 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법은 매니퓰레이터의 안정된 휴먼-로봇(human-robot) 상호 작용을 보장할 수 있는 효과가 있다. 예를 들어, 본 발명을 의수에 적용하여 의수의 움직임이 제한되는 공간을 산출하는 경우, 조작자의 의도와 무관하게 의수가 장애물이나 다른 사람과 충돌하는 것을 방지할 수 있어서, 힘 센서 없이도 안전한 동작이 가능하게 된다.In addition, the method of calculating the confined space using the position sensor of the articulated manipulator has an effect of ensuring stable human-robot interaction of the manipulator. For example, when the present invention is applied to a prosthesis to calculate a space in which the prosthetic movement is limited, the prosthetic can be prevented from colliding with an obstacle or another person regardless of the intention of the operator, so that safe operation without a force sensor can be prevented. It becomes possible.

또한, 본 발명의 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법은 제한 공간을 산출하여 반발력으로 변환 시, 반발력이 벡터로 구성되므로, 제한 공간의 존재 여부 뿐만 아니라, 제한 공간의 방향에 대한 정보도 제공할 수 있는 효과가 있다.In addition, in the method of calculating the limited space using the position sensor of the articulated manipulator of the present invention, when the limited space is calculated and converted into the repulsive force, the repulsive force is composed of vectors, so that not only the existence of the limited space but also information on the direction of the limited space There is also an effect that can be provided.

도 1a 내지 1c는 다관절 매니퓰레이터의 일시적 제한 공간(IRS)과 일시적 이동 공간(IMS)의 개념을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법을 설명하기 위한 블록도이다.
도 3은 도 2의 방법에 의해 산출되는 제한 공간에 관한 정보를 반발력으로 변환시키는 과정을 설명하기 위한 도면이다.
1A to 1C are views for explaining the concept of the temporary confined space IRS and the temporary moving space IMS of the articulated manipulator.
2 is a block diagram illustrating a method of calculating a confined space using a position sensor of an articulated manipulator according to an exemplary embodiment of the present invention.
FIG. 3 is a view for explaining a process of converting information about a limited space calculated by the method of FIG. 2 into repulsive force.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예들에 따른 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법에 대하여 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail a method of calculating the limited space using the position sensor of the articulated manipulator according to the preferred embodiments of the present invention.

도 1a 내지 1c는 다관절 매니퓰레이터의 일시적 제한 공간(IRS)과 일시적 이동 공간(IMS)의 개념을 설명하기 위한 도면이다. 1A to 1C are views for explaining the concept of the temporary confined space IRS and the temporary moving space IMS of the articulated manipulator.

자유 공간에서 이동하는 동안, 매니퓰레이터의 이동에는 제한이 없으며, 따라서, 조작자는 반발력을 전혀 느끼지 않는다. 그러나, 매니퓰레이터의 이동이 제한되면, 조작자가 원격 조작 장치를 제한된 공간으로 이동시키지 않도록 조작자가 반발력을 감지할 필요가 있다. While moving in free space, there is no limit to the movement of the manipulator, and therefore the operator feels no repulsive force at all. However, if the movement of the manipulator is limited, the operator needs to sense the repulsive force so that the operator does not move the remote control device to the limited space.

따라서, 양방향 원격 조작 시스템의 목적은, 위치 오차 피드백 방법에 사용되는 방법과 같은 매니퓰레이터의 말단 위치와 마스터 장치의 말단 위치를 일치시키기 보다는, 조작자에게 매니퓰레이터 측의 제한된 공간과 동일한 제한 공간을 생성하는데 있다.Therefore, the purpose of the two-way remote control system is to create a confined space equal to the confined space on the manipulator side, rather than matching the distal position of the manipulator with the distal position of the manipulator, such as the method used in the position error feedback method. .

도 1a 내지 1c를 참조하면, 2차원 x-y 카테시안 공간에서 매니퓰레이터의 일시적 제한 공간의 예시를 도시한다. 1A-1C, an illustration of a temporary confined space of a manipulator in a two-dimensional x-y Cartesian space is shown.

도 1a에서, 장애물(20)은 x축 방향으로 매니퓰레이터(10)의 말단 움직임을 제한한다. 따라서, 매니퓰레이터(10)는 순간적으로 y축 방향으로만 움직일 수 있고, 이를 일시적 이동 공간(Instantaneous Motion Space, IMS)이라 칭한다. IMS의 대수적 보완은 일시적 제한 공간(IRS)과 같이 정의한다. 따라서, 도 1a에서 x축 방향은 IRS 내에 있다. In FIG. 1A, the obstruction 20 limits the distal movement of the manipulator 10 in the x-axis direction. Therefore, the manipulator 10 can move only in the y-axis direction instantaneously, which is called an instantaneous motion space (IMS). Algebraic complement of IMS is defined as Temporary Constrained Space (IRS). Thus, in FIG. 1A the x-axis direction is in the IRS.

도 1b에서, 제1 조인트(30)의 y축 양의 방향 이동이 장애물(50)에 의해 제한되어, 이동 공간은 제2 조인트(40)에 의해 x축 방향과 제1 조인트(30)의 y축 음의 방향으로 연장된다. 따라서, 일시적으로 생성된 IRS는 양의 y축 방향이다. In FIG. 1B, the positive y-axis movement of the first joint 30 is limited by the obstacle 50 so that the movement space is controlled by the second joint 40 in the x-axis direction and y of the first joint 30. Extends in the axial negative direction. Thus, the temporarily generated IRS is in the positive y-axis direction.

도 1c는 주어진 태스크(task) 공간의 차원에 비해 매니퓰레이터(60)의 자유도가 부족한 것으로 인해 생성된 IRS를 나타낸다. 이 경우에, 비록 태스크 공간이 2차원 x-y 공간이라도, 매니퓰레이터(60)는 1 자유도만을 가지며, 따라서, 매니퓰레이터(60)의 이동 공간은 전체 태스크 공간에 걸쳐 연장될 수 없다. 도 1c에서의 IRS는 링크(62)와 접하는 방향, 즉, y축 방향이다. 1C shows the IRS generated due to the lack of freedom of manipulator 60 relative to the dimensions of a given task space. In this case, even if the task space is a two-dimensional x-y space, the manipulator 60 has only one degree of freedom, and thus the movement space of the manipulator 60 cannot extend over the entire task space. The IRS in FIG. 1C is in the direction of contact with the link 62, that is, in the y-axis direction.

도 1a와 1b에서, IRS는 장애물(20, 50) 및 링크(32) 충돌과 같은 외부적 제한에 의해 생성된다. 도 1c에서, IRS는 주어진 태스크 공간에 비해 부족한 자유도에 의해 생성된다. 따라서, IRS는 다음과 같이 정의될 수 있다. 1A and 1B, the IRS is generated by external constraints such as obstacles 20 and 50 and link 32 collisions. In FIG. 1C, the IRS is generated with insufficient degrees of freedom compared to a given task space. Therefore, the IRS may be defined as follows.

IMS: 매니퓰레이터가 운동학적으로 달성할 수 있는 모든 가능한 속도 벡터의 컨벡스 콘(convex cone)IMS: the convex cone of all possible velocity vectors that the manipulator can achieve kinematically

IRS: IMS의 대수적 보완IRS: Algebraic Complement of IMS

IRSG: 매니퓰레이터의 부족한 자유도에 의해 생성되는 IRSIRS G : IRS generated by the lack of freedom of the manipulator

IRSE: 외부적 제한에 의해 생성되는 IRSIRS E : IRS generated by external restrictions

IMS와 IRS는 조인트가 양방향으로 제한될 때, 하기와 같이 수학적으로 정의될 수 있다. IMS and IRS can be defined mathematically as follows when the joint is restricted in both directions.

IMS = R(Js θ)IMS = R (J s θ )

IRSG = R(Js) IRS G = R (J s )

IRSE = R(Js)∩ R(Js θ) IRS E = R (J s ) ∩ R (J s θ )

여기서, R(·)는 (·)의 공간 범위를 나타내며, (·)는 직교하는(orthogonal) 상보적인 공간을 나타낸다. 또한, 자코비안 Js = ∂xs / ∂qs 를 나타낸다. 여기서, xs 는 매니퓰레이터 말단의 자세(pose) 벡터를 나타내며, qs 는 매니퓰레이터의 조인트 각도 벡터를 나타낸다. Here, R (·) represents a space range of (·), and (·) represents an orthogonal complementary space. Also, Jacobian J s = ∂x s / ∂q s Where x s Represents the pose vector at the end of the manipulator, q s Denotes the joint angle vector of the manipulator.

Js θ는 Js의 유전 자코비안(inherited Jacobian)으로 정의되며, 제한된 조인트에 대응하는 Js θ의 컬럼들은 0 컬럼 벡터들로 대체된다. J θ s is defined as a genetic Jacobian (inherited Jacobian) of the J s, columns of J s θ corresponding to limited joint are replaced with zero column vector.

제한된 조인트들을 탐지하기 위해, 조인트 각도 오차가 장애물에 의한 이동 제한에 기인하는 것인지 또는 자유 이동 제어 오차에 기인하는지 결정하도록 소정의 문턱값 ε을 도입한다. 즉, 조인트 각도 오차가 문턱값 ε보다 크다면, Js θ의 컬럼은 0 벡터로 대체된다. 문턱값 ε은 예상되는 제한공간이 없는 자유 이동 공간에서의 제어 오차보다 커야 한다.To detect constrained joints, a predetermined threshold ε is introduced to determine if the joint angle error is due to movement limitation by obstacles or due to free movement control error. In other words, if the joint angle error is greater than the threshold ε, then the column of J s θ is replaced with a zero vector. The threshold ε must be larger than the control error in the free moving space without the expected confined space.

R(Js)는, 외부적 제한이 없더라도, 매니퓰레이터의 부족한 자유도, 즉, IRSG 때문에 도달할 수 없는 제한된 공간을 나타낸다. 만약 매니퓰레이터의 이동이 제한되면, IMS는 R(Js θ)이 되며, IRSE R(Js)∩ R(Js θ)이 된다. R (J s ) represents a limited space that is not reachable because of the lack of freedom of the manipulator, i.e., IRS G , even without external limitations. If the movement of the manipulator is limited, IMS becomes R (J s θ ) and IRS E Becomes R (J s ) ∩ R (J s θ ) .

이하에서는, 제한 공간의 산출 방법에 대해 설명한다.Hereinafter, the calculation method of the limited space will be described.

도 2는 본 발명의 일 실시예에 따른 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법을 설명하기 위한 블록도이며, 도 3은 도 2의 방법에 의해 산출되는 제한 공간에 관한 정보를 반발력으로 변환시키는 과정을 설명하기 위한 도면이다. FIG. 2 is a block diagram illustrating a method for calculating a limited space using a position sensor of an articulated manipulator according to an embodiment of the present invention, and FIG. 3 illustrates information about a limited space calculated by the method of FIG. It is a figure for demonstrating the process of converting.

도 2를 참조하면, 조작자(110)는 매니퓰레이터(140)를 목표 위치로 이동시키기 위한 조작력을 마스터 장치(120)로 입력한다. 마스터 장치(120)는 상기 목표 위치에 관한 정보를 원격으로 매니퓰레이터 제어기(130)로 전달하며, 매니퓰레이터 제어기(130)의 제어 신호에 따라 매니퓰레이터(140)가 구동하게 된다. Referring to FIG. 2, the operator 110 inputs a manipulation force for moving the manipulator 140 to a target position into the master device 120. The master device 120 remotely transmits the information about the target position to the manipulator controller 130, and the manipulator 140 is driven according to the control signal of the manipulator controller 130.

구동하는 매니퓰레이터(140)는 조인트와 링크의 위치에 따라 주변 환경과 작용/반작용을 일으키며, 제한 공간으로 진입한 경우, 이동이 제한된다. The driving manipulator 140 causes action / reaction with the surrounding environment according to the position of the joint and the link, and when the manipulator 140 enters the restricted space, movement is limited.

이어서, 매니퓰레이터(140)에 부착된 위치 센서는 조인트의 상대적인 위치를 감지하여, 제한 공간 산출부(160)로 전달한다. 제한 공간 산출부(160)는 매니퓰레이터(140)의 자세 및 매니퓰레이터(140)의 조인트 각도 등에 관한 정보를 통합하여, 매니퓰레이터(140)의 움직임이 제한되는 공간을 산출한다. 제한 공간 산출부(160)에서 산출된 제한 공간에 관한 정보는, 예를 들어, 반발력(force reflection) 형태로 변환될 수 있다. 이 때 매니퓰레이터 제어기(130)는 산출된 제한 공간을 고려하여 매니퓰레이터의 관절 배치를 최적화하는 방향으로 제어 신호를 만든다.Subsequently, the position sensor attached to the manipulator 140 detects the relative position of the joint and transmits it to the limited space calculator 160. The limited space calculator 160 integrates information about the attitude of the manipulator 140 and the joint angle of the manipulator 140 to calculate a space in which the movement of the manipulator 140 is restricted. The information about the constraint space calculated by the constraint space calculator 160 may be converted into, for example, a form of force reflection. At this time, the manipulator controller 130 generates a control signal in a direction to optimize the joint arrangement of the manipulator in consideration of the calculated constraint space.

이후, 제한 공간 산출부(160)는 상기 변환된 반발력을 마스터 장치(120) 내지 조작자(110)로 전달하며, 조작자(110)는 반발력을 감지하여, 매니퓰레이션(140)이 제한 공간에 진입했는지 여부와 제한 공간의 방향을 확인할 수 있다.Thereafter, the limited space calculator 160 transmits the converted repulsive force to the master device 120 or the operator 110, and the operator 110 senses the repulsive force, so that the manipulation 140 enters the restricted space. You can check whether or not and the direction of the confined space.

한편, 제한 공간 산출부(160)에서 산출된 제한 공간에 관한 정보는 상기 언급된 반발력 형태 이외에 다양한 알고리즘에 따라 변환되어 사용될 수 있다. 예를 들어, 제한 공간에 관한 정보가 의수에 적용되는 경우, 의수가 외부 장애물과 충돌하거나 또는 외부 물체가 의수에 접근하여 접촉하면, 의수의 움직임을 정지시키는 알고리즘이 사용될 수 있다. Meanwhile, the information about the limited space calculated by the limited space calculator 160 may be converted and used according to various algorithms in addition to the aforementioned repulsive force. For example, when information about a confined space is applied to the prosthesis, an algorithm for stopping the prosthetic movement may be used if the prosthesis collides with an external obstacle or an external object approaches and contacts the prosthesis.

상기 제한 공간 산출부(160)가 제한 공간에 관한 정보를 반발력 형태로 변환하는 과정은 도 3을 참조하여, 상세히 후술하기로 한다. The process of converting the information about the limited space into the form of repulsive force by the limited space calculating unit 160 will be described in detail later with reference to FIG. 3.

본 발명은 정확한 IRS를 나타내는 새로운 위치-센서-기반 반발력 방법에 관한 것으로, 반발력의 형태로 IRS를 산출하도록 RSP(restriction space projection) 행렬들을 도입한다. The present invention relates to a novel position-sensor-based repulsive method that represents an accurate IRS, and introduces RSP (restriction space projection) matrices to produce an IRS in the form of repulsive force.

전술한 바와 같이, IRSG는 매니퓰레이터(140)의 자코비안, 즉, JS로부터 산출될 수 있다. IRSE는 측정된 조인트 오차 형태와 JS를 사용하여 Js θ로부터 산출될 수 있다. As described above, the IRS G may be calculated from Jacobian, ie, J S of the manipulator 140. IRS E can be calculated from J s θ using the measured joint error shape and J S.

목표 위치가 IRS 내에 있을 때, 매니퓰레이터(140)의 이동 제한은 제어 오차를 일으킨다. 본 발명의 RSP 방법에서, 태스크 오차는 반발력을 생성하도록 IRS에 투사된다(projected). IRSG와 IRSE를 산출하도록, RG와 RE 같은 2개의 RSP 행렬이 형성된다. When the target position is in the IRS, the movement limitation of the manipulator 140 causes a control error. In the RSP method of the present invention, the task error is projected to the IRS to produce a repulsive force. Two RSP matrices, such as R G and R E, are formed to yield IRS G and IRS E.

IRSG의 정의로부터, 매니퓰레이터(140)의 부족한 자유도로 인한 IRS를 반발력으로 매핑시키는 제1 매핑 행렬 RG는 하기와 같이 정의된다. From the definition of IRS G , the first mapping matrix R G that maps the IRS due to the lack of freedom of the manipulator 140 to the repulsive force is defined as follows.

RG: esx → FRG R G : e sx → F RG

RG = -KG(I-JSJS #) R G = -K G (IJ S J S # )

따라서, 매니퓰레이터(140)의 부족한 자유도로 인한 반발력 FRG 는 하기 수학식과 같다. Thus, the repulsive force F RG due to the lack of freedom of the manipulator 140 Is equal to the following equation.

[수학식 1][Equation 1]

FRG = RG esx = -KG(I-JsJs #)esx F RG = R G e sx = -K G (IJ s J s # ) e sx

여기서, (·)#은 (·)의 의사 역행렬(pseudo-inverse)이며, esx(= xd - xs)는 매니퓰레이터 말단의 자세 오차이다. 여기서, xd 는 목표 자세 벡터이며, xs 는 매니퓰레이터 말단의 자세 벡터이다. 또한, KG는 반발력 FRG의 크기를 조정하기 위한 스칼라 힘 이득이며, I는 단위 행렬이다.
Where (·) # is a pseudo-inverse of (·), and e sx (= x d -x s ) is the attitude error at the end of the manipulator. Where x d Is the target pose vector, x s Is the attitude vector at the end of the manipulator. K G is a scalar force gain for adjusting the magnitude of the repulsive force F RG , and I is an identity matrix.

상기와 유사하게, IRSE의 정의로부터, 매니퓰레이터(140)의 외부적 제한에 의한 IRS를 반발력으로 매핑시키는 제2 매핑 행렬 RE는 하기와 같이 정의될 수 있다. Similarly to the above, from the definition of IRS E , the second mapping matrix R E which maps the IRS with repulsive force due to external constraints of the manipulator 140 can be defined as follows.

RE: esx → FRE R E : e sx → F RE

RE = -KE(I-Js θJ# )JsJ# s R E = -K E (IJ s θ J # ) J s J # s

따라서, 매니퓰레이터(140)의 외부적 제한에 의한 반발력 FRE 는 하기 수학식과 같다. Therefore, the repulsive force F RE due to the external limitation of the manipulator 140 is expressed by the following equation.

[수학식 2][Equation 2]

FRE = RE esx = -KE {(I-Js θJ# )JsJ# s} esx F RE = R E e sx = -K E {(IJ s θ J # ) J s J # s } e sx

여기서, KE는 스칼라 힘 이득이다.
Where K E is a scalar force gain.

또한, 상기 수학식 1과 2에서의 JS 는 하기 수학식에 의해 구할 수 있다. In addition, J S in the said Formulas 1 and 2 can be calculated | required by the following formula.

[수학식 3]&Quot; (3) "

Js θ= Js DJ s θ = J s D

여기서,

Figure pat00008
이며, here,
Figure pat00008
Is,

Figure pat00009
이다.
Figure pat00009
to be.

따라서, 전체 반발력 FR은 하기와 같이 산출될 수 있다. Therefore, the total repulsive force F R can be calculated as follows.

[수학식 4]&Quot; (4) "

FR = FRG + FRE = RGesx + REesx R = RG + F RE F F R = G + R E e e sx sx

= -{KG(I-JsJs #)+KE(I-Js θJ# )JsJ# s}esx =-(K G (IJ s J s # ) + K E (IJ s θ J # ) J s J # s } e sx

비록 제안된 RSP 방법이 제한 공간의 방향을 산출하더라도, 크기를 추정할 수는 없다. 따라서, 조작자는 FRG와 FRE 사이의 가중치를 고려하여 응용분야에 적합하도록 KE와 KG를 변경해야 한다. FRG와 FRE는 직교하는 상보적인 공간에 존재하므로, 힘 이득인 KE와 KG는 독립적으로 조정될 수 있다. Although the proposed RSP method yields the direction of the confined space, the size cannot be estimated. Therefore, the operator should change K E and K G to suit the application considering the weight between F RG and F RE . Since F RG and F RE exist in orthogonal complementary spaces, the force gains K E and K G can be adjusted independently.

도 3에서, 마스터 장치(120)로부터 목표 명령

Figure pat00010
가 전달되면, 매니퓰레이터(140)의 공간 범위, 즉, R(I-RG)로 투사된다. 다음으로, 목표 조인트 속도가 투사된 목표 명령
Figure pat00011
로부터 산출되며, 매니퓰레이터(140)의 목표 조인트 각도 qsd가 역기구학(inverse kinematics, IK)을 통해 산출된다. 매니퓰레이터 제어기(130), 즉, Ks는 제한공간을 고려하여 매니퓰레이터(140)의 관절 배치를 최적화하면서 목표 위치를 추종하도록 한다. 동시에, 장애물 충돌로 인해 외부 토크 τext가 매니퓰레이터(140)의 조인트로 분배된다. In FIG. 3, a target command from the master device 120
Figure pat00010
Is transmitted, it is projected into the spatial range of manipulator 140, ie R (IR G ). Next, the target command projected to the target joint speed
Figure pat00011
The target joint angle q sd of the manipulator 140 is calculated through inverse kinematics (IK). Manipulator controller 130, that is, K s to follow the target position while optimizing the joint arrangement of the manipulator 140 in consideration of the confined space. At the same time, the external torque τ ext is distributed to the joint of the manipulator 140 due to the obstacle collision.

PS는 매니퓰레이터(140)의 역학(dynamics)을 나타낸다. 자세 오차 esx는 목표 자세 벡터 xd와 매니퓰레이터 말단의 자세 벡터 xs로부터 산출된다. 변수 qs는 매니퓰레이터(140)의 조인트 각도이다. FK는 조인트 각도 벡터 qs로부터 매니퓰레이터 말단의 자세 벡터 xs에 이르는 포워드 동적 매핑(Forward Kinematic mapping)을 나타낸다. RG는 자코비안 Js로부터 산출될 수 있다.P S represents the dynamics of the manipulator 140. The attitude error e sx is calculated from the target attitude vector x d and the attitude vector x s at the manipulator end. The variable q s is the joint angle of the manipulator 140. FK represents the forward kinematic mapping from the joint angle vector q s to the pose vector x s of the manipulator end. R G can be calculated from Jacobian J s .

다음으로, FRG = RGesx이다. Js와 조인트 오차 esq로부터, Js θ가 산출될 수 있다. FRE = REesx이다. FEF는 힘 센서에 의해 탐지되는 힘 신호이다. Next, the RG = R F G e sx. From J s and joint error e sq , J s θ can be calculated. F is RE = R E e sx. F EF is the force signal detected by the force sensor.

Figure pat00012
가 결정되면, 역기구학(IK)을 통해 출력되는 목표 조인트 속도
Figure pat00013
를 하기와 같이 산출할 수 있다.
Figure pat00012
Is determined, the target joint velocity output through inverse kinematics (IK)
Figure pat00013
It can be calculated as follows.

[수학식 5][Equation 5]

Figure pat00014
Figure pat00014

여기서,

Figure pat00015
은 단위 행렬이며,
Figure pat00016
이다. 또한,
Figure pat00017
,
Figure pat00018
이며, k1 및 k2는 외력에 대한 매니퓰레이터의 감도(sensitivity)와 안정성(stability)을 결정하는 상수들이다. 또한, In-Js #Js 는 멱등 행렬(indempotent matrix)이라는 것을 이용하여, p는 감소함수 임을 증명할 수 있고, 이는 매니퓰레이터가 상기의 역기구학(IK)을 이용하면, 제한공간을 고려하여 관절 배치를 최적화 또는 관절의 제어 오차를 최소화하는 방향으로 목표 조인트 속도를 산출한다는 것을 의미한다.here,
Figure pat00015
Is an identity matrix,
Figure pat00016
to be. Also,
Figure pat00017
,
Figure pat00018
K 1 and k 2 are constants that determine the sensitivity and stability of the manipulator to external forces. Also, I n -J s # J s Is an idempotent matrix, and p can be proved to be a decreasing function. When the manipulator uses the inverse kinematics (IK), it is possible to optimize joint placement or control error of joints by considering constraint space. This means calculating the target joint velocity in the direction of minimization.

역기구학(IK)은 조인트 이동 제한을 회피하기 위해 조인트 각도 오차를 감소시키도록 목표 조인트 각도 배치를 변경시킨다. Inverse kinematics (IK) changes the target joint angle placement to reduce joint angle error to avoid joint movement limitations.

IRS는 반발력의 형태로 마스터 장치(120)로 전달되므로, 매니퓰레이터에 부착된 힘 센서가 있어서 충돌을 감지할 수 있을 때, 힘 센서 신호를 계산된 반발력과 함께 사용할 수 있다. 만약, 힘 센서로부터 0이 아닌 힘 신호가 있다면(FEF ≠ 0), FEF 가 FRE 를 대체하여 반발력 FR = FRG + FEF이 되거나, 혹은 FR = FRG + FRE + FEF 가 된다. 만약, 힘 센서가 충돌을 피했으나(FEF = 0), 산출된 제한 공간이 있는 경우에는, FR = FRG + FRE 가 된다. Since the IRS is transmitted to the master device 120 in the form of repulsive force, when there is a force sensor attached to the manipulator to detect a collision, the force sensor signal can be used together with the calculated repulsive force. If there is a non-zero force signal from the force sensor (F EF ≠ 0), then F EF replaces F RE so that the repulsive force F R = F RG + F EF , or F R = F RG + F RE + F EF If the force sensor avoids collision (F EF = 0) but there is a calculated limit space, then F R = F RG + F RE .

상기한 본 발명의 바람직한 실시예는 단지 예시의 목적을 위해 개시된 것이고, 본 발명에 대한 통상의 지식을 가지는 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가가 가능할 것이며, 이러한 수정, 변경 및 부가는 하기의 특허청구범위에 속하는 것으로 보아야 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, And additions should be considered as falling within the scope of the following claims.

10, 60, 140: 매니퓰레이터
20, 50: 장애물
30: 제1 조인트
32, 62: 링크
40: 제2 조인트
110: 조작자
120: 마스터 장치
130: 매니퓰레이터 제어기
140: 매니퓰레이터
150: 주변 환경
160: 제한 공간 산출부
10, 60, 140: manipulator
20, 50: obstacle
30: first joint
32, 62: link
40: second joint
110: operator
120: master device
130: manipulator controller
140: manipulator
150: surroundings
160: limited space calculation unit

Claims (6)

다관절 매니퓰레이터의 위치센서를 통해 움직임이 제한되는 공간을 산출하여, 상기 매니퓰레이터의 움직임을 제어하기 위한 방법으로서,
마스터 장치에서 상기 매니퓰레이터의 목표 위치를 생성하여, 상기 매니퓰레이터를 구동시키는 단계;
상기 위치 센서를 통해 상기 매니퓰레이터의 조인트 각도를 산출한 후에, 상기 조인트 각도를 상기 매니퓰레이터 말단의 자세 벡터로 변환하고, 상기 매니퓰레이터의 목표 자세 벡터와 비교하여 자세 오차를 산출함으로써, 상기 구동된 매니퓰레이터가 갖는 부족한 자유도로 인해 움직임이 제한되는 공간을 산출하는 단계;
상기 위치 센서를 통해 상기 매니퓰레이터의 조인트 각도를 산출한 후에, 상기 조인트 각도를 상기 매니퓰레이터의 목표 조인트 각도와 비교하여, 조인트 오차를 산출하고, 상기 산출된 자세 오차와 합산함으로써, 상기 구동된 매니퓰레이터가 외부 장애물 또는 매니퓰레이터의 링크 충돌로 인해 움직임이 제한되는 공간을 산출하는 단계; 및
상기 산출된 제한 공간의 정보를 이용하여 매니퓰레이터의 관절 배치를 최적화하는 단계를 포함하는 것을 특징으로 하는 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법.
As a method for controlling the movement of the manipulator by calculating a space in which movement is limited by the position sensor of the articulated manipulator,
Generating a target position of the manipulator in a master device to drive the manipulator;
After calculating the joint angle of the manipulator through the position sensor, by converting the joint angle into the attitude vector of the manipulator end, and calculating the attitude error compared to the target attitude vector of the manipulator, the driven manipulator has Calculating a space in which movement is limited due to insufficient degrees of freedom;
After calculating the joint angle of the manipulator through the position sensor, the joint angle is calculated by comparing the joint angle with the target joint angle of the manipulator, and summed with the calculated attitude error so that the driven manipulator is external. Calculating a space in which movement is limited due to an obstacle or a link collision of the manipulator; And
And optimizing the joint arrangement of the manipulator using the calculated information on the constraint space.
제 1 항에 있어서,
상기 구동된 매니퓰레이터가 갖는 부족한 자유도로 인해 움직임이 제한되는 공간을 제1 반발력(FRG)으로 변환하는 단계;
상기 구동된 매니퓰레이터가 외부 장애물 또는 매니퓰레이터의 링크 충돌로 인해 움직임이 제한되는 공간을 제2 반발력(FRE)으로 변환하는 단계; 및
상기 제1 반발력(FRG)과 제2 반발력(FRE)을 합산하여, 상기 마스터 장치로 전달하는 단계를 더 포함하는 것을 특징으로 하는 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법.
The method of claim 1,
Converting a space in which movement is limited due to insufficient degrees of freedom of the driven manipulator to a first repulsive force F RG ;
Converting, by the driven manipulator, a space in which movement is limited due to an external obstacle or a link collision of the manipulator to a second repulsive force F RE ; And
And adding the first repulsive force (F RG ) and the second repulsive force (F RE ) to the master device and transmitting the sum of the first repulsive force (F RG ) to the master device.
제 2 항에 있어서, 상기 제1 반발력(FRG)의 산출은 하기 수학식 1에 따라 이루어지는 것을 특징으로 하는 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법:
[수학식 1]
FRG = RG esx = -KG(I-JsJs #)esx
여기서, RG는 매니퓰레이터의 부족한 자유도로 인한 일시적 제한 공간(IRS)을 반발력으로 매핑시키는 제1 매핑 행렬이며,
esx는 매니퓰레이터 말단의 자세 오차이며,
KG는 반발력 FRG의 크기를 조정하기 위한 스칼라 힘 이득이며,
I는 단위 행렬이며,
자코비안 Js = ∂xs / ∂qs 이며,
xs 는 매니퓰레이터 말단의 자세 벡터이며,
qs 는 매니퓰레이터의 조인트 각도 벡터이며,
Js #는 Js의 의사 역행렬(pseudo-inverse)이다.
The method of claim 2, wherein the first repulsive force F RG is calculated according to Equation 1 below.
[Equation 1]
F RG = R G e sx = -K G (IJ s J s # ) e sx
Where R G is the first mapping matrix that maps the temporary limited space (IRS) due to the lack of freedom of the manipulator with repulsive force,
e sx is the attitude error at the end of the manipulator,
K G is the scalar force gain for scaling the repulsive force F RG ,
I is an identity matrix,
Jacobian J s = ∂x s / ∂q s Is,
x s Is the attitude vector at the end of the manipulator,
q s Is the joint angle vector of the manipulator,
J s # is the pseudo-inverse of J s .
제 2 항에 있어서, 상기 제2 반발력(FRE)의 산출은 하기 수학식 2에 따라 이루어지는 것을 특징으로 하는 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법:
[수학식 2]
FRE = RE esx = -KE {(I-Js θJ# )JsJ# s} esx
여기서, RE는 매니퓰레이터의 외부적 제한에 의한 일시적 제한 공간(IRS)를 반발력으로 매핑시키는 제2 매핑 행렬이며,
esx는 매니퓰레이터 말단의 자세 오차이며,
KE 는 반발력 FRE 의 크기를 조정하기 위한 스칼라 힘 이득이며,
I는 단위 행렬이며,
자코비안 Js = ∂xs / ∂qs 이며,
xs 는 매니퓰레이터 말단의 자세 벡터이며,
qs 는 매니퓰레이터의 조인트 각도 벡터이며,
J# s 는 Js의 의사 역행렬이며,
Js θ Js의 유전 자코비안(inherited Jacobian)이며,
J# 는 Js θ의 의사 역행렬이다.
The method of claim 2, wherein the second repulsive force F RE is calculated according to Equation 2 below.
[Equation 2]
F RE = R E e sx = -K E {(IJ s θ J # ) J s J # s } e sx
Here, R E is a second mapping matrix for mapping the temporary limited space (IRS) by the external constraint of the manipulator with a repulsive force,
e sx is the attitude error at the end of the manipulator,
K E is the scalar force gain for scaling the repulsive force F RE ,
I is an identity matrix,
Jacobian J s = ∂x s / ∂q s Is,
x s Is the attitude vector at the end of the manipulator,
q s Is the joint angle vector of the manipulator,
J # s is the pseudo inverse of J s ,
J s θ is J 's inherited Jacobian,
J # is the pseudo inverse of J s θ .
제 2 항에 있어서, 상기 매니퓰레이터에는 복수의 힘 센서가 부착되며,
상기 힘 센서에서 외부 장애물을 감지하여, 상기 매니퓰레이터의 움직임이 제한되는 공간을 제3 반발력(FEF) 으로 변환하는 단계와,
상기 제3 반발력(FEF)을 상기 제1 반발력(FRG) 및 제2 반발력(FRE)과 합산하여, 상기 마스터 장치로 전달하는 단계를 더 포함하는 것을 특징으로 하는 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법.
The method of claim 2, wherein the manipulator is attached to a plurality of force sensors,
Sensing an external obstacle in the force sensor, converting a space where movement of the manipulator is restricted to a third repulsive force F EF ;
And adding the third repulsive force (F EF ) to the first repulsive force (F RG ) and the second repulsive force (F RE ), and transmitting the result to the master device. Constrained space calculation method using
제 1 항에 있어서, 상기 매니퓰레이터의 목표 조인트 각도는 상기 매니퓰레이터의 목표 조인트 속도(
Figure pat00019
)를 적분기를 통해 적분하여 획득하며, 상기 목표 조인트 속도(
Figure pat00020
)의 산출은 제한 공간의 정보를 이용하여 매니퓰레이터의 관절 배치를 최적화하기 위하여 하기 수학식 5에 따라 이루어지는 것을 특징으로 하는 다관절 매니퓰레이터의 위치센서를 이용한 제한 공간 산출 방법:
[수학식 5]
Figure pat00021

여기서,
Figure pat00022
은 단위 행렬이며,
Figure pat00023
이며,
Figure pat00024
,
Figure pat00025
이며,
esq는 조인트 오차이며,
qsd는 목표 조인트 각도이며,
qs는 조인트 각도이며,
k1 및 k2는 외력에 대한 매니퓰레이터의 감도(sensitivity) 및 안정성(stability)을 결정하는 상수들이다.
The method of claim 1, wherein the target joint angle of the manipulator is a target joint speed of the manipulator (
Figure pat00019
) Is obtained by integrating through an integrator, and the target joint velocity (
Figure pat00020
) Is calculated according to Equation 5 in order to optimize the joint arrangement of the manipulator using the information of the constraint space using the position sensor of the articulated manipulator:
&Quot; (5) "
Figure pat00021

here,
Figure pat00022
Is an identity matrix,
Figure pat00023
Is,
Figure pat00024
,
Figure pat00025
Is,
e sq is the joint error,
q sd is the target joint angle,
q s is the joint angle,
k 1 and k 2 are constants that determine the sensitivity and stability of the manipulator to external forces.
KR1020100029131A 2010-03-31 2010-03-31 Restriction space calculation method using position sensors of multi degrees-of-freedom manipulator Expired - Fee Related KR101145243B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100029131A KR101145243B1 (en) 2010-03-31 2010-03-31 Restriction space calculation method using position sensors of multi degrees-of-freedom manipulator

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100029131A KR101145243B1 (en) 2010-03-31 2010-03-31 Restriction space calculation method using position sensors of multi degrees-of-freedom manipulator

Publications (2)

Publication Number Publication Date
KR20110109413A true KR20110109413A (en) 2011-10-06
KR101145243B1 KR101145243B1 (en) 2012-05-24

Family

ID=45026643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100029131A Expired - Fee Related KR101145243B1 (en) 2010-03-31 2010-03-31 Restriction space calculation method using position sensors of multi degrees-of-freedom manipulator

Country Status (1)

Country Link
KR (1) KR101145243B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013192500A3 (en) * 2012-06-21 2014-04-17 Rethink Robotics, Inc. User interfaces for robot training
KR20160073137A (en) 2014-12-16 2016-06-24 에스엘 주식회사 Aiming apparatus of lamp for vehicle and operating method for the same
KR20160148283A (en) * 2015-06-16 2016-12-26 현대중공업 주식회사 The surgical robot arm singular point cognitive apparatus and method
CN120095813A (en) * 2025-03-10 2025-06-06 东莞理工学院 A real-time solution method and device for inverse kinematics of multi-degree-of-freedom manipulator
WO2025135796A1 (en) * 2023-12-18 2025-06-26 주식회사 레인보우로보틱스 Control method for self-collision avoidance of robot having multiple joints and robot for performing same

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107397591B (en) * 2012-06-01 2020-04-03 直观外科手术操作公司 System and method for avoiding collisions between manipulator arms using null space
JP6368710B2 (en) * 2012-06-01 2018-08-01 インテュイティブ サージカル オペレーションズ, インコーポレイテッド Collision avoidance between manipulator arm and patient using zero space
WO2013181507A1 (en) * 2012-06-01 2013-12-05 Intuitive Surgical Operations, Inc. Systems and methods for commanded reconfiguration of a surgical manipulator using the null-space
EP2884937B1 (en) * 2012-08-15 2022-10-05 Intuitive Surgical Operations, Inc. Systems for cancellation of joint motion using the null-space
KR101864758B1 (en) * 2016-09-06 2018-06-05 한국생산기술연구원 Egocentric Tele-operation Control With Minimum Collision Risk
KR101937269B1 (en) 2017-05-15 2019-01-14 한국생산기술연구원 Planning method for robot motion
CN115515523A (en) * 2020-03-30 2022-12-23 奥瑞斯健康公司 Workspace optimization for robotic surgery
CN111546379B (en) * 2020-04-26 2021-07-13 西安交通大学 A sensor layout method for industrial robot running state monitoring

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11138468A (en) 1997-11-07 1999-05-25 Fujitsu Ltd Machine stability control device and master / slave type robot control device
JP3367641B2 (en) 1998-07-31 2003-01-14 株式会社安川電機 Robot control device
JP4577607B2 (en) 2004-10-20 2010-11-10 株式会社安川電機 Robot control device and robot system
KR20090124560A (en) * 2008-05-30 2009-12-03 삼성전자주식회사 Control device of robot manipulator and its control method

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9092698B2 (en) 2012-06-21 2015-07-28 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US9669544B2 (en) 2012-06-21 2017-06-06 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US8965576B2 (en) 2012-06-21 2015-02-24 Rethink Robotics, Inc. User interfaces for robot training
US8965580B2 (en) 2012-06-21 2015-02-24 Rethink Robotics, Inc. Training and operating industrial robots
US8996174B2 (en) 2012-06-21 2015-03-31 Rethink Robotics, Inc. User interfaces for robot training
US8996175B2 (en) 2012-06-21 2015-03-31 Rethink Robotics, Inc. Training and operating industrial robots
US9434072B2 (en) 2012-06-21 2016-09-06 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US9701015B2 (en) 2012-06-21 2017-07-11 Rethink Robotics, Inc. Vision-guided robots and methods of training them
US8958912B2 (en) 2012-06-21 2015-02-17 Rethink Robotics, Inc. Training and operating industrial robots
WO2013192500A3 (en) * 2012-06-21 2014-04-17 Rethink Robotics, Inc. User interfaces for robot training
KR20160073137A (en) 2014-12-16 2016-06-24 에스엘 주식회사 Aiming apparatus of lamp for vehicle and operating method for the same
KR20160148283A (en) * 2015-06-16 2016-12-26 현대중공업 주식회사 The surgical robot arm singular point cognitive apparatus and method
WO2025135796A1 (en) * 2023-12-18 2025-06-26 주식회사 레인보우로보틱스 Control method for self-collision avoidance of robot having multiple joints and robot for performing same
CN120095813A (en) * 2025-03-10 2025-06-06 东莞理工学院 A real-time solution method and device for inverse kinematics of multi-degree-of-freedom manipulator

Also Published As

Publication number Publication date
KR101145243B1 (en) 2012-05-24

Similar Documents

Publication Publication Date Title
KR101145243B1 (en) Restriction space calculation method using position sensors of multi degrees-of-freedom manipulator
EP1972416B1 (en) Robots with occlusion avoidance functionality
US8311731B2 (en) Robots with collision avoidance functionality
US11370117B2 (en) Collision handling by a robot
CN108883533B (en) Robot control
Petrič et al. Smooth continuous transition between tasks on a kinematic control level: Obstacle avoidance as a control problem
US9849595B2 (en) Contact force limiting with haptic feedback for a tele-operated robot
Albini et al. Exploiting distributed tactile sensors to drive a robot arm through obstacles
Jain et al. Pulling open doors and drawers: Coordinating an omni-directional base and a compliant arm with equilibrium point control
Li et al. Human-guided robotic comanipulation: Two illustrative scenarios
Chen et al. Novel door-opening method for six-legged robots based on only force sensing
Xu et al. Hybrid visual servoing control of a soft robot with compliant obstacle avoidance
US20220009101A1 (en) Control device, control method, and non-transitory recording medium
Tunstel et al. Recent enhancements to mobile bimanual robotic teleoperation with insight toward improving operator control
Lang et al. Application of visual servo control in autonomous mobile rescue robots
Tsetserukou et al. Intelligent variable joint impedance control and development of a new whole-sensitive anthropomorphic robot arm
Deka et al. Robust and safe coordination of multiple robotic manipulators: An approach using modified avoidance functions
Cheung et al. Cooperative control of a multi-arm system using semi-autonomous telemanipulation and adaptive impedance
Zhang et al. Virtual model control for compliant reaching under uncertainties
Nori et al. Sensor fusion and state estimation of the robot
KR101864758B1 (en) Egocentric Tele-operation Control With Minimum Collision Risk
Taal et al. 3 axial force sensor for a semi-autonomous snake robot
Zube et al. Model predictive contact control for human-robot interaction
Gupta et al. A next-gen IoT-based semi-automatic mobile manipulator
Anderson et al. Coordinated control and range imaging for mobile manipulation

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20170505

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20170505

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301