WO2018173192A1 - 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 - Google Patents
多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 Download PDFInfo
- Publication number
- WO2018173192A1 WO2018173192A1 PCT/JP2017/011704 JP2017011704W WO2018173192A1 WO 2018173192 A1 WO2018173192 A1 WO 2018173192A1 JP 2017011704 W JP2017011704 W JP 2017011704W WO 2018173192 A1 WO2018173192 A1 WO 2018173192A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- parallelism
- articulated robot
- robot
- pattern
- articulated
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012937 correction Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 15
- 238000003384 imaging method Methods 0.000 description 9
- 230000000007 visual effect Effects 0.000 description 7
- 101100194362 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res1 gene Proteins 0.000 description 4
- 101100194363 Schizosaccharomyces pombe (strain 972 / ATCC 24843) res2 gene Proteins 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000004075 alteration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- NCGICGYLBXGBGN-UHFFFAOYSA-N 3-morpholin-4-yl-1-oxa-3-azonia-2-azanidacyclopent-3-en-5-imine;hydrochloride Chemical compound Cl.[N-]1OC(=N)C=[N+]1N1CCOCC1 NCGICGYLBXGBGN-UHFFFAOYSA-N 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000012636 effector Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Definitions
- This specification discloses a method for determining the degree of parallelism of an articulated robot and an inclination adjusting device for the articulated robot.
- Patent Document 1 a wafer positioned on an alignment plate (magnetic plate) is photographed with a camera mounted on a robot arm, and the parallelism of the wafer with respect to the magnetic plate is calculated based on a photographed image of the wafer.
- the parallelism is calculated by the control device as follows. In other words, the control device images two alignment marks attached to the wafer by the camera. Subsequently, the control device calculates a focus shift at each alignment mark based on the captured image of each alignment mark, and calculates the parallelism of the wafer with respect to the magnetic plate from the focus shift. Then, the control device controls the actuator of each joint portion of the robot arm to tilt the wafer so that the wafer is parallel to the magnetic plate based on the calculated parallelism of the wafer.
- Patent Document 1 detects a focus shift from a captured image of a mark.
- a dedicated detection device is required, or the processing is complicated to ensure sufficient detection accuracy. Problems arise. Such a problem can also occur when determining the parallelism with respect to the reference plane of the articulated robot.
- the main purpose of the present disclosure is to more easily determine the parallelism with respect to the reference plane of the articulated robot.
- the present disclosure is a parallelism determination method for an articulated robot that determines parallelism with respect to a reference plane of the articulated robot, wherein a plate having a pattern of a predetermined pattern is disposed on a work table of the articulated robot, and the articulated robot The plate is imaged by a camera mounted on the arm of the robot, the interval of the pattern recognized in the captured image of the plate is measured at a plurality of locations, and the parallelism is determined based on the comparison of the measured intervals.
- the gist is to do.
- the parallelism determination method of the articulated robot of the present disclosure measures the interval of the pattern in the captured image at a plurality of locations and determines the parallelism by comparing the measured intervals, the articulated robot can be more easily performed.
- the parallelism with respect to the reference plane can be determined.
- FIG. 2 is a configuration diagram showing an outline of the configuration of a robot 20.
- FIG. 3 is an explanatory diagram showing a movable range of a robot 20.
- FIG. 3 is an explanatory diagram showing a movable range of a robot 20.
- FIG. 3 is a block diagram showing an electrical connection relationship among a robot 20, a robot control device 70, and an image processing device 80.
- FIG. It is explanatory drawing which shows an example of an inclination adjustment process. It is explanatory drawing which shows the mode of the imaging of the jig plate. It is explanatory drawing which shows the upper surface pattern of the jig plate P.
- FIG. It is explanatory drawing which shows the upper surface pattern of the jig plate P.
- FIG. It is explanatory drawing which shows the upper surface pattern of the jig plate P.
- FIG. 8A It is explanatory drawing which shows the size H of an image sensor, the focal distance F, the visual field FOV, and the working distance WD.
- FIG. 1 is a configuration diagram showing an outline of the configuration of the robot 20.
- 2A and 2B are explanatory diagrams showing the movable range of the robot 20.
- FIG. 3 is a block diagram showing an electrical connection relationship among the robot 20, the robot control device 70, and the image processing device 80.
- the robot 20 receives a control from the robot control device 70 (see FIG. 3) and performs a predetermined work on the work (work object) transported by the work transport device 12 (see FIG. 3).
- the predetermined work include a pick-up work for picking up a work, a place work for placing the work at a predetermined position, and an assembling work for assembling the work at a predetermined position.
- the robot 20 includes a 5-axis vertical articulated arm (hereinafter referred to as an arm) 22 as shown in FIG.
- the arm 22 has six links (first to sixth links 31 to 36) and five joints (first to fifth joints 41 to 45) that connect the links so as to be rotatable or pivotable.
- Each joint (first to fifth joints 41 to 45) includes motors (servo motors) 51 to 55 for driving the corresponding joints, and encoders (rotary encoders) 61 to 65 for detecting the rotational positions of the corresponding motors. Is provided.
- a work tool as an end effector can be attached to and detached from the distal end link (sixth link 36) of the arm 22.
- the work tool include an electromagnetic chuck, a mechanical chuck, and a suction nozzle.
- the tool attached to the tip link is appropriately selected according to the shape and material of the work to be worked.
- a camera 24 is attached to the tip end portion (fifth link 35) of the arm 22.
- the camera 24 is for capturing an image of the workpiece in order to recognize the position and posture of the workpiece.
- the arm 22 of the present embodiment configured in this way has a front (front) and rear (back) direction as viewed from the front of the robot 20 as an X axis, and the vertical direction (first joint) of the robot 20. It is possible to move in a three-dimensional space and to move in the rotational direction (RC) around the Z axis, with the Z axis as the rotation direction of the 41 rotation axis) and the Y axis as the direction orthogonal to the X axis and the Z axis. It is. Furthermore, as shown in FIG. 2B, the arm 22 can move in the rotational direction (RB) around the Y axis.
- the robot control device 70 is configured as a microprocessor centered on the CPU 71, and includes a ROM 72, an HDD 73, a RAM 74, an input / output interface (not shown), a communication interface (not shown), and the like in addition to the CPU 71.
- the HDD 73 stores an operation program of the robot 20 and the like. Detection signals from the encoders 61 to 65 and the like are input to the robot control device 70. Further, the robot control device 70 outputs control signals to the motors 51 to 55, the workpiece transfer device 12, and the like.
- the robot control device 70 drives and controls the motors 51 to 55 of the robot 20 to move the work root attached to the tip link (sixth link 36) of the arm 22 toward the work, and uses the work tool. To perform predetermined work on the workpiece. Specifically, the robot control device 70 acquires the target position (X, Y, Z) and target posture (RB, RC) of the work tool for performing work on the workpiece from the image processing device 80. Subsequently, the robot controller 70 sets the acquired target position (X, Y, Z) and target posture (RB, RC) to the target position (target angle) of each joint of the arm 22 using known HD parameters or the like. Convert coordinates. Then, the robot controller 70 drives and controls the corresponding motors 51 to 55 so that the positions (angles) of the respective joints coincide with the coordinate-converted target positions (target angles), and the work is performed on the workpiece. Drive and control work tools.
- an image processing device 80 is communicably connected to the robot control device 70.
- the image processing apparatus 80 is configured as a microprocessor centered on a CPU 81, and includes a ROM 82, an HDD 83, a RAM 84, an input / output interface (not shown), a communication interface (not shown), and the like in addition to the CPU 81.
- the image processing apparatus 80 receives an image signal from the camera 24, an input signal from the input apparatus 85, and the like.
- the image processing device 80 outputs a drive signal to the camera 24, an output signal to the output device 86, and the like.
- the input device 85 is an input device on which an operator performs an input operation, such as a keyboard and a mouse.
- the output device 86 is a display device for displaying various information such as a liquid crystal display.
- the image processing device 80 is communicably connected to the robot control device 70 and exchanges control signals and data with each other.
- FIG. 4 is an explanatory diagram illustrating an example of the inclination adjustment process.
- the CPU 81 of the image processing apparatus 80 executes the following processes of S110 to S160.
- FIG. 6A and 6B are explanatory views showing the upper surface pattern of the jig plate P.
- FIG. 6A On the upper surface of the jig plate P, as shown in FIG. 6A, a pattern in which circular dots (marks) are arranged in a matrix is formed.
- FIG. 6B a checkered pattern in which squares of two colors (white and black) are alternately arranged may be formed on the upper surface of the jig plate P.
- the CPU 81 of the image processing apparatus 80 images the jig plate P with the camera 24 mounted on the arm 22 of the robot 20 (S110). This process is performed by transmitting a control signal including the imaging position of the camera 24 corresponding to the installation position of the jig plate P to the robot controller 70.
- the robot control device 70 drives and controls the motors 51 to 55 so that the camera 24 comes above the jig plate P as shown in FIG.
- the CPU 81 performs lens distortion correction for correcting lens aberration (distortion aberration) included in the captured image of the jig plate P using a known distortion correction algorithm (S120).
- lens distortion correction for example, the position of each pixel in the image and the amount of distortion are associated with each other, stored in the ROM 82 as distortion amount mapping data, and the position of each pixel in the captured image is corrected with the corresponding amount of distortion. This can be done.
- the CPU 81 separates the background color (white) and the mark color (black) from the captured image after the lens distortion correction, and extracts the outlines of the four corner marks of the jig plate P (S130).
- the CPU 81 determines the distance between the centers of the two dots at the A end on one side in the X direction of the robot 20 (the longitudinal direction of the robot 20) (the distance La between the dot centers) and the two at the B end on the other side.
- the dot center distance (dot center distance Lb) is measured by counting the number of pixels included between the dot centers (S140).
- the CPU 81 calculates the parallelism ⁇ (Y with respect to the reference surface (the upper surface of the work table 11) of the robot 20 based on the ratio (La / Lb) of the dot center distance La at the B end to the dot center distance Lb at the A end.
- the inclination of the rotation direction around the axis is derived (S150).
- FIG. 7A is an explanatory diagram showing a state of imaging the jig plate P when the camera 24 is parallel to the jig plate P.
- FIG. 7B is an explanatory diagram showing a captured image of the jig plate P captured from the position of FIG. 7A.
- FIG. 8A is an explanatory diagram showing a state of imaging the jig plate P when the camera 24 is not parallel to the jig plate P.
- FIG. FIG. 8B is an explanatory diagram showing a captured image of the jig plate P captured from the position of FIG. 8A. As shown in FIG.
- FIG. 7A when the camera 24 is parallel to the jig plate P, in the captured image of the jig plate P, all marks appear at the same size and at the same interval as shown in FIG. 7B.
- FIG. 8A when the camera 24 is tilted relative to the jig plate P around the Y axis, the captured image of the jig plate P has a large and wide mark as shown in FIG. 8B. There are regions that appear at intervals, and regions where the marks are small and appear at narrow intervals. The larger the relative inclination of the camera 24 with respect to the jig plate P, the larger the difference in size and the difference between the marks.
- the CPU 81 measures the interval of each mark appearing in the captured image of the jig plate P at a plurality of locations and compares them, thereby comparing the relative inclination between the camera 24 and the jig plate P, that is, the robot.
- the parallelism ⁇ (tilt) with respect to 20 reference planes can be obtained.
- the processing in S150 is performed by experimentally obtaining in advance a relationship between the ratio (La / Lb) of the dot center distance La at the B end to the distance Lb between the dot centers at the A end and the parallelism ⁇ , and as a map.
- this is done by deriving the corresponding parallelism ⁇ from the map.
- the processes of S100 to S150 described above correspond to the parallelism determination process of determining the parallelism (tilt) with respect to the reference plane of the robot 20.
- the CPU 81 sets the tilt correction value of the robot 20 based on the derived parallelism ⁇ (S160), and ends the tilt adjustment process.
- the process of S160 is performed by setting the offset angle ⁇ RB with respect to the target posture (RB) of the work tool so as to be offset in the reverse direction by the inclination in the rotational direction around the Y axis.
- the robot control apparatus 70 controls the robot 20 based on the target posture (RB) of the work tool offset by the offset angle ⁇ RB.
- the camera 24 corresponds to a camera
- the CPU 81 of the image processing device 80 corresponds to a control device.
- the CPU 81 of the image processing apparatus 80 images the jig plate P having a pattern (matrix mark) formed on the upper surface (imaging surface) with the camera 24. Subsequently, the CPU 81 measures a dot center distance La between two non-diagonal marks among the four corner marks in the captured image of the jig plate P and a dot center distance Lb between the remaining two marks. Then, the CPU 81 derives the parallelism ⁇ of the robot 20 based on the measured ratio (La / Lb) between the dot center distances. Thereby, the parallelism with respect to the reference plane of the articulated robot can be more easily determined without using a dial gauge or the like.
- the CPU 81 performs lens distortion correction on the captured image of the jig plate P, and measures the dot center distances La and Lb based on the captured image after the lens distortion correction. Thereby, the CPU 81 can more accurately measure the distances La and Lb between the dot centers, and can more appropriately determine the parallelism.
- the CPU 81 sets an inclination correction value of the robot 20 based on the derived parallelism ⁇ . Thereby, the inclination with respect to the reference plane of the robot 20 can be adjusted by a simpler method.
- the CPU 81 derives the parallelism ⁇ with respect to the reference plane of the robot 20 from the map based on the ratio (La / Lb) of the dot center distance La at the B end to the dot center distance Lb at the A end.
- the CPU 81 may calculate the parallelism ⁇ by calculation using a predetermined calculation formula.
- FIG. 9 is an explanatory diagram showing the size H, focal length F, field of view FOV, and working distance WD of the image sensor.
- the size of the image sensor 24b is H [mm]
- the focal length that is the distance from the image sensor 24b to the lens 24a is F [mm].
- the distance is WD [mm]
- the field of view that is the imaging range in the working distance range is FOV [mm].
- the visual field FOV is calculated by the following equation (2).
- the resolution RES indicates the size per pixel in the captured image, and is calculated by the following equation (3) using the field of view FOV in the X direction and the number of pixels PN in the X direction of the image sensor 24b. Is done.
- the resolution RES is calculated by the following formula (4). It can be seen from the equation (4) that the resolution RES is proportional to the working distance WD.
- ⁇ in equation (4) is a resolution per unit length of working distance (also referred to as unit resolution), and depends on the specifications (number of pixels, sensor size) of the image sensor 24b and the individual lens (focal length, magnification). It is a fixed constant.
- F * FOV H * WD... (1)
- FOV (H / F) * WD...
- RES FOV / PN... (3)
- the unit resolution ⁇ is calculated by the following equation (5).
- FIG. 11 is an explanatory diagram showing the working distance WD1 at the left end (A end) of the visual field and the working distance WD2 at the right end (B end) of the visual field when the camera 24 is inclined by a predetermined angle ⁇ with respect to the object.
- FIG. 12 is an explanatory diagram showing the dot center distances La1 and La2 at the A end and the dot center distances Lb1 and Lb2 at the B end.
- the working distance WD1 at the left end (A end) of the field of view is closer than the original working distance WD.
- the working distance WD2 at the right end (B end) of the field of view is farther than the original working distance WD.
- the captured image of the camera 24 appears large at the A end on the short distance side and small at the B end on the long distance side.
- ⁇ WD WD2 ⁇ WD1
- the distance L is known, the inclination ⁇ of the camera 24 can be calculated by detecting ⁇ WD.
- Equation (5) can be transformed into the following equation (7).
- the A-end resolution RES1 and the B-end resolution RES2 can be calculated by processing the captured image of FIG. That is, the resolution RES1 at the A end is determined by calculating the average value of the dot center distances La1 and La2 [pix] between two adjacent dots including the dot at the center of the edge at the A end in FIG. Is calculated by the following equation (8) using the center-to-center distance DP [mm] on the specifications of two adjacent dots.
- the dot center distances La1 and La2 [pix] can be measured by counting the number of pixels included between the centers of adjacent dots appearing in the captured image.
- the resolution RES2 at the B end is similarly the average value of the dot center distances Lb1 and Lb2 [pix] of two adjacent dots including the dot at the center of the edge at the B end in FIG.
- the center distance DP [mm] the following formula (9) is used.
- the resolutions RES1 and RES2 are included between the two dots in the captured image and the distance in specification between any two dots in the dot group on each side of the A and B ends, respectively. It can be calculated using the number of pixels.
- the inclination ⁇ of the camera 24, that is, the parallelism ⁇ with respect to the reference plane of the robot 20 can be calculated.
- a matrix dot pattern or a checkered pattern is formed on the upper surface (imaging surface) of the jig plate P.
- the pattern (pattern) formed on the jig plate P may be any pattern as long as it has at least four marks arranged in a square or rectangular shape.
- the pattern formed on the jig plate P is measured by measuring the interval of the pattern appearing in the captured image of the jig plate P by the camera 24 at a plurality of locations, whereby the parallelism of the camera 24 with respect to the jig plate P, that is, the reference of the robot 20. Any device that can determine the parallelism with respect to the surface may be used.
- the robot 20 includes the 5-axis vertical articulated arm 22.
- the articulated arm is not limited to 5 axes, and may have, for example, 6 axes or more.
- a 6-axis articulated arm can be moved in a three-dimensional space of X (front-back direction of the robot), Y (left-right direction), and Z (up-down direction), and moved in a rotational direction (RA) around the X-axis.
- RA rotational direction
- Movement in the rotation direction (RB) around the Y axis and movement in the rotation direction (RC) around the Z axis are possible.
- the CPU of the image processing apparatus determines the distance between the dot centers of the two marks on one side in the Y direction among the four corner marks included in the captured image of the jig plate by the camera and the two marks on the other side. Measure the distance between dot centers. Thereby, the CPU of the image processing apparatus can determine the inclination (parallelism) with respect to the reference plane of the robot in the rotation direction around the X axis based on the measured distance between the dot centers.
- the invention of the present disclosure has been described as a form of the tilt adjustment device, but may be a form of a parallelism determination method.
- This disclosure can be used in the robot manufacturing industry.
Landscapes
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
多関節ロボットの平行度判定方法は、多関節ロボットの基準面に対する平行度を判定するものである。この平行度判定方法は、多関節ロボットの作業台に所定パターンの模様を有するプレートを配置し、多関節ロボットのアームに装着されたカメラによりプレートを撮像する。そして、プレートの撮像画像中に認識される模様の間隔を複数箇所で測定し、測定した各間隔の対比に基づいて平行度を判定する。
Description
本明細書は、多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置について開示する。
従来より、ワークの基準面に対する平行度を判定するものが知られている。例えば、特許文献1には、位置合わせプレート(磁気プレート)上に位置決めされたウエハを、ロボットアームに装着されたカメラで撮影し、ウエハの撮影画像に基づいて磁気プレートに対するウエハの平行度を算出する制御装置を備えるものが開示されている。平行度の算出は、具体的には、制御装置により以下のようにして行なわれる。即ち、制御装置は、カメラによりウエハに付された2つのアライメントマークを撮像する。続いて、制御装置は、各アライメントマークの撮像画像に基づいて各アライメントマークにおける焦点のずれを算出し、焦点のずれから磁気プレートに対するウエハの平行度を算出する。そして、制御装置は、算出したウエハの平行度に基づいて磁気プレートに対してウエハが平行となるようにロボットアームの各関節部のアクチュエータを制御してウエハを傾斜させる。
特許文献1記載の手法は、マークの撮像画像から焦点のずれを検出するものであるが、専用の検出装置が必要となったり、十分な検出精度を確保するために処理が複雑となったりする問題が生じる。こうした問題は、多関節ロボットの基準面に対する平行度を判定する場合にも同様に生じうる。
本開示は、より簡単に多関節ロボットの基準面に対する平行度を判定することを主目的とする。
本開示は、上述の主目的を達成するために以下の手段を採った。
本開示は、多関節ロボットの基準面に対する平行度を判定する多関節ロボットの平行度判定方法であって、前記多関節ロボットの作業台に所定パターンの模様を有するプレートを配置し、前記多関節ロボットのアームに装着されたカメラにより前記プレートを撮像し、前記プレートの撮像画像中に認識される模様の間隔を複数箇所で測定し、該測定した各間隔の対比に基づいて前記平行度を判定することを要旨とする。
プレートが有する模様の撮像画像は、カメラ(アーム)とプレートとが相対的に傾いていると、模様が実際よりも大きく写る領域と模様が実際よりも小さく写る領域とが生じる。そして、カメラとプレートとが大きく傾いているほど、各領域で写った模様の大小の差が大きくなる。本開示の多関節ロボットの平行度判定方法は、撮像画像中の模様の間隔を複数箇所で測定し、測定した複数の間隔を対比することにより平行度を判定するため、より簡単に多関節ロボットの基準面に対する平行度を判定することができる。
次に、本開示の発明を実施するための形態について図面を参照しながら説明する。
図1は、ロボット20の構成の概略を示す構成図である。図2A,図2Bは、ロボット20の可動域を示す説明図である。図3は、ロボット20とロボット制御装置70と画像処理装置80の電気的な接続関係を示すブロック図である。
ロボット20は、ロボット制御装置70(図3参照)による制御を受けて、ワーク搬送装置12(図3参照)により搬送されるワーク(作業対象物)に対して所定の作業を行なうものである。なお、所定の作業としては、ワークをピックアップするピックアップ作業や、ワークを所定位置にプレースするプレース作業、ワークを所定位置に組み付ける組み付け作業などを挙げることができる。
ロボット20は、図1に示すように、5軸の垂直多関節アーム(以下、アームという)22を備える。アーム22は、6つのリンク(第1~第6リンク31~36)と、各リンクを回転または旋回可能に連結する5つの関節(第1~第5関節41~45)とを有する。各関節(第1~第5関節41~45)には、対応する関節を駆動するモータ(サーボモータ)51~55と、対応するモータの回転位置を検出するエンコーダ(ロータリエンコーダ)61~65とが設けられている。
アーム22の先端リンク(第6リンク36)には、エンドエフェクタとしての作業ツールが着脱可能となっている。なお、作業ツールとしては、電磁チャックやメカニカルチャック、吸着ノズルなどを挙げることができる。先端リンクに装着するツールは、作業対象のワークの形状や素材に合わせて適宜選択される。
また、アーム22の先端部(第5リンク35)には、カメラ24が取り付けられている。カメラ24は、ワークの位置および姿勢を認識するために当該ワークを撮像するためのものである。
こうして構成された本実施形態のアーム22は、図2Aに示すように、ロボット20を正面から見て前(手前)後(奥)の方向をX軸とし、ロボット20の上下方向(第1関節41の回転軸の延在方向)をZ軸とし、X軸およびZ軸に直交する方向をY軸とする三次元空間内の移動と、Z軸周りの回転方向(RC)の移動とが可能である。更に、アーム22は、図2Bに示すように、Y軸周りの回転方向(RB)の移動が可能である。
ロボット制御装置70は、図3に示すように、CPU71を中心としたマイクロプロセッサとして構成され、CPU71の他に、ROM72やHDD73、RAM74、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。なお、HDD73は、ロボット20の動作プログラムなどを記憶している。ロボット制御装置70には、エンコーダ61~65などからの検知信号が入力される。また、ロボット制御装置70からは、モータ51~55やワーク搬送装置12などへの制御信号が出力される。
ロボット制御装置70は、ロボット20の各モータ51~55を駆動制御することにより、アーム22の先端リンク(第6リンク36)に装着された作業ルーツをワークに向けて移動させ、作業ツールを用いてワークに対して所定の作業を行なう。具体的には、ロボット制御装置70は、ワークに対して作業を行なうための作業ツールの目標位置(X,Y,Z)および目標姿勢(RB,RC)を画像処理装置80から取得する。続いて、ロボット制御装置70は、取得した目標位置(X,Y,Z)および目標姿勢(RB,RC)を周知のHDパラメータ等を用いてアーム22の各関節の目標位置(目標角度)に座標変換する。そして、ロボット制御装置70は、各関節の位置(角度)が座標変換した目標位置(目標角度)に一致するように対応するモータ51~55を駆動制御すると共にワークに対して作業が行なわれるよう作業ツールを駆動制御する。
また、ロボット制御装置70には、画像処理装置80が通信可能に接続されている。画像処理装置80は、CPU81を中心としたマイクロプロセッサとして構成され、CPU81の他に、ROM82やHDD83、RAM84、図示しない入出力インタフェース、図示しない通信インタフェースなどを備える。画像処理装置80には、カメラ24からの画像信号や入力装置85からの入力信号などが入力される。また、画像処理装置80からは、カメラ24への駆動信号や出力装置86への出力信号などが出力される。ここで、入力装置85は、例えばキーボードやマウス等、オペレータが入力操作を行なう入力デバイスである。出力装置86は、例えば液晶ディスプレイ等、各種情報を表示するための表示デバイスである。画像処理装置80は、ロボット制御装置70と通信可能に接続されており、互いに制御信号やデータのやり取りを行なっている。
次に、こうして構成されたロボット20の基準面に対する傾きを調整する傾き調整工程について説明する。図4は、傾き調整工程の一例を示す説明図である。傾き調整工程は、オペレータが図5に示すようにジグプレートPをロボット20の作業台11上に設置した後(S100)、画像処理装置80のCPU81が以下のS110~S160の処理を実行することにより行なわれる。図6A,図6Bは、ジグプレートPの上面模様を示す説明図である。ジグプレートPの上面には、図6Aに示すように、円形のドット(マーク)がマトリックス状に並んだパターンが形成されている。なお、ジグプレートPの上面には、図6Bに示すように、二色(白,黒)の正方形が交互に並ぶ市松模様状のパターンが形成されてもよい。
画像処理装置80のCPU81は、ロボット20のアーム22に装着されたカメラ24でジグプレートPを撮像する(S110)。この処理は、ジグプレートPの設置位置に対応したカメラ24の撮像位置を含む制御信号をロボット制御装置70に送信することにより行なわれる。ロボット制御装置70は、画像処理装置80から制御信号を受信すると、図5に示すようにジグプレートPの上方にカメラ24が来るようにモータ51~55を駆動制御する。
続いて、CPU81は、ジグプレートPの撮像画像に含まれるレンズ収差(歪曲収差)を周知の歪み補正アルゴリズムを用いて補正するレンズ歪み補正を行なう(S120)。レンズ歪み補正は、例えば、画像の各画素の位置と歪み量とを対応付けて予め求めて歪み量マッピングデータとしてROM82に記憶しておき、撮像画像の各画素の位置を対応する歪み量で補正することにより行なうことができる。そして、CPU81は、レンズ歪み補正後の撮像画像から背景色(白)とマーク色(黒)とを分離し、ジグプレートPの4隅のマークの輪郭を抽出する(S130)。次に、CPU81は、ロボット20のX方向(ロボット20の前後方向)における一方側にあるA端の2つのドットの中心間距離(ドット中心間距離La)と他方側にあるB端の2つのドットの中心間距離(ドット中心間距離Lb)とをドット中心間に含まれる画素数をカウントして計測する(S140)。そして、CPU81は、A端のドット中心間距離Lbに対するB端のドット中心間距離Laの比(La/Lb)に基づいてロボット20の基準面(作業台11の上面)に対する平行度θ(Y軸周りの回転方向の傾き)を導出する(S150)。
図7Aは、カメラ24がジグプレートPに対して平行な場合のジグプレートPの撮像の様子を示す説明図である。図7Bは、図7Aの位置から撮像されたジグプレートPの撮像画像を示す説明図である。図8Aは、カメラ24がジグプレートPに対して平行でない場合のジグプレートPの撮像の様子を示す説明図である。図8Bは、図8Aの位置から撮像されたジグプレートPの撮像画像を示す説明図である。図7Aに示すように、カメラ24がジグプレートPに対して平行な場合、ジグプレートPの撮像画像は、図7Bに示すように、全てのマークが同じ大きさ且つ同じ間隔で写る。一方、図8Aに示すように、カメラ24がジグプレートPに対して相対的にY軸周りに傾いていると、ジグプレートPの撮像画像は、図8Bに示すように、マークが大きく且つ広い間隔で写る領域と、マークが小さく且つ狭い間隔で写る領域とが生じる。そして、カメラ24のジグプレートPに対する相対的な傾きが大きいほど、マークの大小差および広狭差は、大きくなる傾向を示す。CPU81は、こうした現象を利用し、ジグプレートPの撮像画像に写る各マークの間隔を複数箇所で計測してそれらを対比することにより、カメラ24とジグプレートPとの相対的な傾き、即ちロボット20の基準面に対する平行度θ(傾き)を求めることができる。
S150の処理は、具体的には、A端のドット中心間距離Lbに対するB端のドット中心間距離Laの比(La/Lb)と平行度θとの関係を予め実験的に求めてマップとしてROM82に記憶しておき、比(La/Lb)が与えられると、マップから対応する平行度θを導出することにより行なわれる。ここで、上述したS100~S150の工程は、ロボット20の基準面に対する平行度(傾き)を判定する平行度判定工程に該当する。
CPU81は、こうしてロボット20の基準面に対する平行度θを導出すると、導出した平行度θに基づいてロボット20の傾き補正値を設定して(S160)、傾き調整工程を終了する。S160の処理は、Y軸周りの回転方向の傾き分だけ逆方向にオフセットするように作業ツールの目標姿勢(RB)に対するオフセット角度ΔRBを設定することにより行なわれる。これにより、ロボット制御装置70は、オフセット角度ΔRBだけオフセットされた作業ツールの目標姿勢(RB)に基づいてロボット20を制御することとなる。
ここで、実施形態の主要な要素と発明の開示の欄に記載した発明の主要な要素との対応関係について説明する。即ち、カメラ24がカメラに相当し、画像処理装置80のCPU81が制御装置に相当する。
以上説明した多関節ロボットの傾き補正装置では、画像処理装置80のCPU81は、上面(撮像面)に模様(マトリックス状のマーク)が形成されたジグプレートPをカメラ24で撮像する。続いて、CPU81は、ジグプレートPの撮像画像中の4隅のマークのうち対角でない2つのマークのドット中心間距離Laと、残りの2つのマークのドット中心間距離Lbとを測定する。そして、CPU81は、測定した各ドット中心間距離の比(La/Lb)に基づいてロボット20の平行度θを導出する。これにより、ダイヤルゲージなどを用いることなく、より簡単に多関節ロボットの基準面に対する平行度を判定することができる。
また、CPU81は、ジグプレートPの撮像画像にレンズ歪み補正を施し、レンズ歪み補正後の撮像画像に基づいてドット中心間距離La,Lbを測定する。これにより、CPU81は、ドット中心間距離La,Lbをより正確に測定することができ、平行度の判定をより適切に行なうことができる。
さらに、CPU81は、導出した平行度θに基づいてロボット20の傾き補正値を設定する。これにより、ロボット20の基準面に対する傾きをより簡易な手法により調整することができる。
本実施形態では、CPU81は、A端のドット中心間距離Lbに対するB端のドット中心間距離Laの比(La/Lb)に基づいてマップによりロボット20の基準面に対する平行度θを導出した。しかし、CPU81は、所定の演算式を用いて演算により平行度θを算出してもよい。図9は、イメージセンサのサイズHと焦点距離Fと視野FOVとワーキングディスタンスWDとを示す説明図である。レンズ24aとイメージセンサ24b(CCDなど)とを有するカメラ24において、イメージセンサ24bのサイズをH[mm]とし、イメージセンサ24bからレンズ24aまでの距離である焦点距離をF[mm]とし、ワーキングディスタンスをWD[mm]とし、ワーキングディスタンスの範囲における撮像範囲である視野をFOV[mm]とする。この場合、図9から解るように、H:F=FOV:WDにより次式(1)が成り立つため、視野FOVは、次式(2)で算出される。一方、分解能RESは、撮像画像中の1画素あたりの大きさを示すものであり、X方向の視野FOVとイメージセンサ24bのX方向の画素数PNとを用いて、次式(3)で算出される。式(3)に視野FOVの式(2)を代入すると、分解能RESは、次式(4)で算出される。分解能RESは、式(4)からワーキングディスタンスWDに比例することが解る。式(4)中のαは、ワーキングディスタンス単位長あたりの分解能(単位分解能とも呼ぶ)であり、イメージセンサ24bの仕様(画素数,センササイズ)とレンズ24aの個体(焦点距離,倍率)とにより決まる定数となる。
F*FOV=H*WD …(1)
FOV=(H/F)*WD …(2)
RES=FOV/PN …(3)
RES=(H/(F*PN))*WD
=α*WD 但し、α=H/(F*PN)…(4)
FOV=(H/F)*WD …(2)
RES=FOV/PN …(3)
RES=(H/(F*PN))*WD
=α*WD 但し、α=H/(F*PN)…(4)
ここで、図9に示すように、基準のワーキングディスタンスWDよりも短いWD1と長いWD2とを設定した場合、ワーキングディスタンスと分解能との関係は、図10のように、単位分解能αを傾きとする直線で表わすことができる。単位分解能αは、次式(5)で算出される。
α=RES/WD
=ΔRES1/ΔWD1
=ΔRES1/ΔWD1
=(RES2-RES1)/(WD2-WD1) …(5)
=ΔRES1/ΔWD1
=ΔRES1/ΔWD1
=(RES2-RES1)/(WD2-WD1) …(5)
図11は、カメラ24が対象物に対して所定角θ傾いている場合の視野の左端(A端)におけるワーキングディスタンスWD1と視野の右端(B端)におけるワーキングディスタンスWD2とを示す説明図である。図12は、A端のドット中心間距離La1,La2およびB端のドット中心間距離Lb1,Lb2とを示す説明図である。ドット(マーク)がマトリックス状に配列された図6AのジグプレートPをカメラ24で撮像する場合、CPU81は、カメラ24の視野の中心が中央のドットDC(図12参照)と一致するようにアーム22を移動させて撮像を行なう。この場合、図11に示すように、カメラ24がジグプレートPの上面に対して所定角θ傾いていると、視野の左端(A端)におけるワーキングディスタンスWD1は、本来のワーキングディスタンスWDよりも近くなり、視野の右端(B端)におけるワーキングディスタンスWD2は、本来のワーキングディスタンスWDよりも遠くなる。このため、カメラ24の撮像画像は、図12に示すように、近距離側のA端で大きく写り、遠距離側のB端で小さく写る。このとき、カメラ24の傾きθは、WD1とWD2との差(ΔWD=WD2-WD1)とジグプレートPのA端とB端との間の距離Lとから、次式(6)で算出される。距離Lは既知であるから、ΔWDを検出することにより、カメラ24の傾きθを算出することができる。
sinθ=ΔWD/L
θ=sin-1(ΔWD/L) …(6)
θ=sin-1(ΔWD/L) …(6)
式(5)は、次式(7)のように変形することができる。一方、A端の分解能RES1とB端の分解能RES2は、図12の撮像画像を処理することで算出することができる。即ち、A端の分解能RES1は、撮像画像において写る図12のA端における端辺中央のドットを含む隣接する2つのドットのドット中心間距離La1,La2[pix]の平均値と、ジグプレートPの隣接する2つのドットの仕様上の中心間距離DP[mm]とを用いて、次式(8)で算出される。ドット中心間距離La1,La2[pix]は、それぞれ撮像画像に写る隣接するドットの中心間に含まれる画素数をカウントすることにより計測することができる。一方、B端の分解能RES2は、同様に、図12のB端における端辺中央のドットを含む隣接する2つのドットのドット中心間距離Lb1,Lb2[pix]の平均値と、上記仕様上の中心間距離DP[mm]とを用いて、次式(9)で算出される。このように、分解能RES1,RES2は、それぞれA端,B端の各端辺にあるドット群のうち何れか2つのドット間の仕様上の距離と、撮像画像において当該2つのドット間に含まれる画素数とを用いて算出することができる。
WD2-WD1=ΔWD
=(RES2-RES1)/α …(7)
RES1=DP/Average(La1,La2)
=2*DP/(La1+La2) …(8)
RES2=DP/Average(Lb1,Lb2)
=2*DP/(Lb1+Lb2) …(9)
=(RES2-RES1)/α …(7)
RES1=DP/Average(La1,La2)
=2*DP/(La1+La2) …(8)
RES2=DP/Average(Lb1,Lb2)
=2*DP/(Lb1+Lb2) …(9)
式(6)に、式(7)~(9)を代入することによりカメラ24の傾きθ、即ちロボット20の基準面に対する平行度θを算出することができる。
本実施形態では、ジグプレートPの上面(撮像面)に、マトリックス状のドットパターンや市松模様状の模様(パターン)が形成されるものとした。しかし、ジグプレートPに形成される模様(パターン)は、少なくとも正方形状または長方形状に並んだ4つのマークを有するパターンであれば、如何なるパターンであってもよい。また、ジグプレートPに形成される模様は、カメラ24によるジグプレートPの撮像画像に写る模様の間隔を複数箇所で計測することにより、ジグプレートPに対するカメラ24の平行度、すなわちロボット20の基準面に対する平行度を判定できるものであればよい。
本実施形態では、ロボット20は、5軸の垂直多関節アーム22を備えるものとした。しかし、多関節アームは、5軸に限られず、例えば、6軸以上有するものとしてもよい。例えば、6軸の多関節アームは、X(ロボットの前後方向),Y(左右方向),Z(上下方向)の三次元空間内の移動と、X軸周りの回転方向(RA)の移動と、Y軸周りの回転方向(RB)の移動と、Z軸周りの回転方向(RC)の移動とが可能である。この場合、画像処理装置のCPUは、カメラによるジグプレートの撮像画像中に含まれる4隅のマークのうちY方向における一方側の2つのマークのドット中心間距離と、他方側の2つのマークのドット中心間距離とを計測する。これにより、画像処理装置のCPUは、計測した各ドット中心間距離の対比に基づいてX軸周りの回転方向におけるロボットの基準面に対する傾き(平行度)を判定することができる。
本実施形態では、本開示の発明を傾き調整装置の形態として説明したが、平行度判定方法の形態としてもよい。
なお、本発明は上述した実施形態に何ら限定されることはなく、本開示の発明の技術的範囲に属する限り種々の態様で実施し得ることはいうまでもない。
本開示は、ロボットの製造産業などに利用可能である。
11 作業台、20 ロボット、22 アーム、24 カメラ、31 第1リンク、32 第2リンク、33 第3リンク、34 第4リンク、35 第5リンク、36 第6リンク、41 第1関節、42 第2関節、43 第3関節、44 第4関節、45 第5関節、51~55 モータ、61~65 エンコーダ、70 ロボット制御装置、71 CPU、72 ROM、73 HDD、74 RAM、80 画像処理装置、81 CPU、82 ROM、83 HDD、84 RAM、85 入力装置、86 出力装置、P ジグプレート。
Claims (5)
- 多関節ロボットの基準面に対する平行度を判定する多関節ロボットの平行度判定方法であって、
前記多関節ロボットの作業台に所定パターンの模様を有するプレートを配置し、
前記多関節ロボットのアームに装着されたカメラにより前記プレートを撮像し、
前記プレートの撮像画像中に認識される模様の間隔を複数箇所で測定し、該測定した各間隔の対比に基づいて前記平行度を判定する、
多関節ロボットの平行度判定方法。 - 請求項1記載の多関節ロボットの平行度判定方法であって、
前記撮像画像に対してレンズ歪み補正を行ない、レンズ歪み補正後の撮像画像中に認識される模様の間隔を複数箇所で測定する、
多関節ロボットの平行度判定方法。 - 請求項1または2記載の多関節ロボットの平行度判定方法であって、
前記所定パターンの模様は、少なくとも、正方形状または長方形状に並んだ4つの識別情報を有する模様であり、
前記4つの識別情報のうち対角にない2つの識別情報の間隔と、他の2つの識別情報の間隔との対比に基づいて前記平行度を判定する、
多関節ロボットの平行度判定方法。 - 請求項3記載の多関節ロボットの平行度判定方法であって、
前記所定パターンの模様は、前記識別情報がマトリックス状に並んだ模様である、
多関節ロボットの平行度判定方法。 - 多関節ロボットの基準面に対する傾きを調整する多関節ロボットの傾き調整装置であって、
前記多関節ロボットのアームに装着されたカメラと、
前記多関節ロボットの作業台に設置された所定パターンの模様を有するプレートを前記カメラで撮像し、前記プレートの撮像画像中に認識される模様の間隔を複数箇所で測定し、該測定した各間隔の対比に基づいて前記多関節ロボットの前記基準面に対する平行度を判定し、該判定した平行度に基づいて前記多関節ロボットの傾き補正値を設定する制御装置と、
を備える多関節ロボットの傾き調整装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019506828A JP6807450B2 (ja) | 2017-03-23 | 2017-03-23 | 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 |
PCT/JP2017/011704 WO2018173192A1 (ja) | 2017-03-23 | 2017-03-23 | 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/011704 WO2018173192A1 (ja) | 2017-03-23 | 2017-03-23 | 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018173192A1 true WO2018173192A1 (ja) | 2018-09-27 |
Family
ID=63585110
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/011704 WO2018173192A1 (ja) | 2017-03-23 | 2017-03-23 | 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6807450B2 (ja) |
WO (1) | WO2018173192A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110187259A (zh) * | 2019-06-10 | 2019-08-30 | 德淮半导体有限公司 | 一种防止晶圆测试中针痕偏移的调整系统以及调整方法 |
WO2021152744A1 (ja) * | 2020-01-29 | 2021-08-05 | 株式会社Fuji | 制御装置、制御方法、情報処理装置及び情報処理方法 |
WO2024089852A1 (ja) * | 2022-10-27 | 2024-05-02 | 株式会社Fuji | 制御装置、ロボットシステム及び制御方法 |
JP7585051B2 (ja) | 2021-01-08 | 2024-11-18 | ヤマハ発動機株式会社 | 撮像装置及び基板作業装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1011146A (ja) * | 1996-06-25 | 1998-01-16 | Shinko Electric Co Ltd | 移動体の停止姿勢補正装置 |
JP2002340529A (ja) * | 2001-05-16 | 2002-11-27 | Nippon Koei Power Systems Co Ltd | デジタルカメラを用いた構造物の亀裂変位計測方法 |
JP2003030628A (ja) * | 2001-07-18 | 2003-01-31 | Fujitsu Ltd | 相対位置計測装置 |
-
2017
- 2017-03-23 JP JP2019506828A patent/JP6807450B2/ja active Active
- 2017-03-23 WO PCT/JP2017/011704 patent/WO2018173192A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1011146A (ja) * | 1996-06-25 | 1998-01-16 | Shinko Electric Co Ltd | 移動体の停止姿勢補正装置 |
JP2002340529A (ja) * | 2001-05-16 | 2002-11-27 | Nippon Koei Power Systems Co Ltd | デジタルカメラを用いた構造物の亀裂変位計測方法 |
JP2003030628A (ja) * | 2001-07-18 | 2003-01-31 | Fujitsu Ltd | 相対位置計測装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110187259A (zh) * | 2019-06-10 | 2019-08-30 | 德淮半导体有限公司 | 一种防止晶圆测试中针痕偏移的调整系统以及调整方法 |
WO2021152744A1 (ja) * | 2020-01-29 | 2021-08-05 | 株式会社Fuji | 制御装置、制御方法、情報処理装置及び情報処理方法 |
JP7585051B2 (ja) | 2021-01-08 | 2024-11-18 | ヤマハ発動機株式会社 | 撮像装置及び基板作業装置 |
WO2024089852A1 (ja) * | 2022-10-27 | 2024-05-02 | 株式会社Fuji | 制御装置、ロボットシステム及び制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP6807450B2 (ja) | 2021-01-06 |
JPWO2018173192A1 (ja) | 2019-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11267142B2 (en) | Imaging device including vision sensor capturing image of workpiece | |
JP7153085B2 (ja) | ロボットキャリブレーションシステム及びロボットキャリブレーション方法 | |
CN107053167B (zh) | 控制装置、机器人以及机器人系统 | |
JP5815761B2 (ja) | 視覚センサのデータ作成システム及び検出シミュレーションシステム | |
KR102230321B1 (ko) | 레이저 가공 장치 | |
WO2018173192A1 (ja) | 多関節ロボットの平行度判定方法および多関節ロボットの傾き調整装置 | |
CN110276799B (zh) | 一种坐标标定方法、标定系统及机械臂 | |
CN109952178B (zh) | 作业机器人及作业位置修正方法 | |
JP2013231702A (ja) | 画像計測装置、画像計測方法及び画像計測プログラム | |
JP2010112859A (ja) | ロボットシステム、ロボット制御装置およびロボット制御方法 | |
JP5618770B2 (ja) | ロボットの校正装置および校正方法 | |
CN105313127A (zh) | 机器人、机器人的控制方法以及机器人的控制装置 | |
EP3895855A1 (en) | Robot control system and robot control method | |
KR102422990B1 (ko) | 스캔을 이용한 로봇의 캘리브레이션 시스템 및 방법 | |
CN116930187A (zh) | 车身漆面缺陷视像检测方法与视像检测系统 | |
CN116803628A (zh) | 对象物的检测方法和检测装置 | |
JP6965422B2 (ja) | カメラの平行度判定方法 | |
JP7509918B2 (ja) | 画像処理システム及び画像処理方法 | |
CN111062989B (zh) | 一种高精度二维摄像头与机器人手眼标定的方法及系统 | |
JP2019048350A (ja) | ロボットの制御点設定がなされるロボット制御装置およびロボット制御方法 | |
JP7105223B2 (ja) | ロボットシステム | |
JP5481123B2 (ja) | 部品の搭載装置、部品の搭載方法 | |
CN115697652B (zh) | 相机的位置偏差测定方法 | |
JPH05204423A (ja) | 視覚装置付きロボット装置における座標較正方法 | |
JP7510514B2 (ja) | オフセット値設定方法およびロボット制御装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17901398 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019506828 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 17901398 Country of ref document: EP Kind code of ref document: A1 |