[go: up one dir, main page]

JP7682112B2 - Imaging equipment and monitoring system - Google Patents

Imaging equipment and monitoring system Download PDF

Info

Publication number
JP7682112B2
JP7682112B2 JP2022000041A JP2022000041A JP7682112B2 JP 7682112 B2 JP7682112 B2 JP 7682112B2 JP 2022000041 A JP2022000041 A JP 2022000041A JP 2022000041 A JP2022000041 A JP 2022000041A JP 7682112 B2 JP7682112 B2 JP 7682112B2
Authority
JP
Japan
Prior art keywords
arm
construction machine
drone
aircraft
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022000041A
Other languages
Japanese (ja)
Other versions
JP2023099877A (en
Inventor
雅之 山下
毅 田口
悟 山本
亮一 引間
亮 清水
純一 塚田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nishimatsu Construction Co Ltd
Original Assignee
Nishimatsu Construction Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nishimatsu Construction Co Ltd filed Critical Nishimatsu Construction Co Ltd
Priority to JP2022000041A priority Critical patent/JP7682112B2/en
Publication of JP2023099877A publication Critical patent/JP2023099877A/en
Application granted granted Critical
Publication of JP7682112B2 publication Critical patent/JP7682112B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は、建設機械周辺を撮影する撮影装置及び建設機械周辺を監視する監視システムに関する。 The present invention relates to a camera that captures images of the area around a construction machine and a monitoring system that monitors the area around a construction machine.

建設機械の無人化・自動化運転のための映像取得には、建設機械に取り付けた複数の車載カメラや、建設機械の周辺に設置した固定カメラが必要となる。特にトンネル坑内において複雑動作かつ高速走行するような建設機械(例えば、ホイールローダ等)を監視する際には、多くの車載カメラや俯瞰映像取得用の固定カメラ等が用いられるが、車載カメラの台数を多くしても撮影できる範囲には限界があるので、監視したい箇所を的確に捉えた視認性の高い映像を取得できない場合があった。また、車載カメラの場合には、建設機械の振動が直接伝わるので、ブレのない視認性の高い映像を取得するために、建設機械の振動の影響を抑制する措置をカメラ架台に講じる必要があった。
これに対して、ドローンを用いた監視方法が提案されている。具体的には、例えば、遠隔操作される複数の作業機械を、ドローンを用いて監視する移動式飛行体装置が提案されている(特許文献1参照)。また、ドローン飛行時の安全性を高めるための安全飛行システムも提案されている(特許文献2参照)。
To obtain images for unmanned and automated operation of construction machinery, multiple on-board cameras attached to the machinery and fixed cameras installed around the machinery are required. In particular, when monitoring construction machinery (e.g., wheel loaders) that perform complex movements and travel at high speeds inside tunnels, many on-board cameras and fixed cameras for obtaining bird's-eye images are used. However, even if the number of on-board cameras is increased, there is a limit to the range that can be captured, so there are cases where it is not possible to obtain highly visible images that accurately capture the areas to be monitored. In addition, in the case of on-board cameras, since the vibrations of the construction machinery are directly transmitted to the cameras, measures to suppress the effects of the vibrations of the construction machinery must be taken on the camera mount in order to obtain images with high visibility without blurring.
In response to this, a monitoring method using a drone has been proposed. Specifically, for example, a mobile aircraft device that uses a drone to monitor a plurality of remotely operated work machines has been proposed (see Patent Document 1). Also, a safety flight system for improving safety during drone flights has been proposed (see Patent Document 2).

特開2020-011592号公報JP 2020-011592 A 特開2017-214037号公報JP 2017-214037 A

しかしながら、引用文献1に記載の移動式飛行体装置は、作業機械の監視時に作業機械の作業領域の近傍の地上に載置されるものであり、筐体と、飛行体(ドローン)と、筐体と飛行体とを接続する接続ケーブルとを含んで構成されている。したがって、監視対象の作業機械とは別に、移動式飛行体装置を作業領域の近傍へ運ぶための運搬用の作業機械(フォークリフト等)を用意しなければならない。また、例えば、GPS電波が届かず、狭隘で送風機からの風の影響等が大きいトンネル坑内においては、高速かつ複雑な作業を行う重機周辺で安定した飛行を行うことが難しいので、飛行体が墜落してしまうおそれがある。
また、特許文献2に記載の安全飛行システムは、飛行体の墜落を防止できるものの、予めガイドラインを貼設する必要があり、そのガイドラインに沿った範囲のみしか飛行できない。
However, the mobile aircraft device described in the cited document 1 is placed on the ground near the working area of the work machine when monitoring the work machine, and is configured to include a housing, an aircraft (drone), and a connection cable connecting the housing and the aircraft. Therefore, a transport work machine (forklift, etc.) must be prepared in addition to the work machine to be monitored to transport the mobile aircraft device to the vicinity of the working area. In addition, for example, in a tunnel where GPS radio waves cannot reach, it is narrow and the influence of wind from a blower is large, so it is difficult to fly stably around heavy machinery performing high-speed and complex work, and there is a risk that the aircraft will crash.
Furthermore, although the safe flight system described in Patent Document 2 can prevent the aircraft from crashing, it requires the installation of guidelines in advance, and the aircraft can only fly within the range that follows those guidelines.

本発明は、上記課題に鑑みてなされたもので、建設機械周辺を撮影する撮影装置及び建設機械周辺を監視する監視システムであって、視認性の高い監視用の映像を安定的に取得することを目的とする。 The present invention was made in consideration of the above problems, and aims to provide a camera that captures images of the area around a construction machine and a surveillance system that monitors the area around a construction machine, and to stably obtain surveillance images with high visibility.

上記課題を解決するため、請求項1に係る発明は、建設機械周辺を撮影する撮影装置であって、
前記建設機械に取り付けられたアームと、
第1撮影手段が設けられた飛行体と、
前記アームを調整して、前記アームと前記飛行体との間隔を予め定められた特定間隔に維持するアーム調整手段と、
前記アームの先端と前記飛行体との双方が含まれる範囲を撮影することが可能な第2撮影手段と、を備え、
前記飛行体は、飛行自在に前記アームから吊り下げられており、
前記アーム調整手段は、前記第2撮影手段により取得された撮影画像データに基づいて前記アームを調整することを特徴とする。
In order to solve the above problem, the present invention relates to a photographing device for photographing an area around a construction machine,
An arm attached to the construction machine;
an aircraft provided with a first imaging means;
an arm adjustment means for adjusting the arm to maintain a distance between the arm and the aircraft at a predetermined specific distance;
and a second imaging means capable of imaging an area including both the tip of the arm and the aircraft ,
The flying object is suspended from the arm so as to be capable of flying freely,
The arm adjustment means adjusts the arm based on photographed image data acquired by the second photographing means .

請求項2に係る発明は、請求項1に記載の撮影装置であって、
前記アームは、伸縮自在であり、
前記飛行体に追従して、前記アームの長さを調整可能であることを特徴とする。
The invention according to claim 2 is the photographing apparatus according to claim 1,
The arm is extendable and retractable.
The length of the arm can be adjusted to follow the flying object.

請求項3に係る発明は、請求項1又は2に記載の撮影装置であって、
前記アームは、自在継手機構を介して前記建設機械に取り付けられており、
前記飛行体に追従して、前記アームの向きを調整可能であることを特徴とする。
The invention according to claim 3 is the photographing apparatus according to claim 1 or 2,
The arm is attached to the construction machine via a universal joint mechanism,
The orientation of the arm can be adjusted to follow the flying object.

請求項4に係る発明は、請求項1に記載の撮影装置であって、
前記アームは、旋回機構を介して前記建設機械に取り付けられており、
前記飛行体に追従して、前記アームの旋回角度を調整可能であることを特徴とする。
The invention according to claim 4 is the photographing apparatus according to claim 1,
The arm is attached to the construction machine via a rotating mechanism,
The arm's rotation angle can be adjusted to follow the flying object.

請求項5に係る発明は、請求項1又は4に記載の撮影装置であって、
前記アームは、当該アームに沿って移動可能な移動手段を備えており、
前記飛行体は、飛行自在に前記アームの前記移動手段から吊り下げられており、
前記飛行体に追従して、前記移動手段の位置を調整可能であることを特徴とする。
The invention according to claim 5 is the imaging device according to claim 1 or 4,
The arm includes a moving means movable along the arm,
the flying object is suspended from the moving means of the arm so as to be able to fly freely;
The position of the moving means can be adjusted to follow the flying object.

請求項に係る発明は、請求項1からのいずれか一項に記載の撮影装置であって、
前記飛行体と前記アームとを接続する吊下部材と、
前記吊下部材が巻回されるドラムと、を備え、
前記ドラムは、前記吊下部材を巻き取る方向に付勢されていることを特徴とする。
The invention according to claim 6 is the photographing apparatus according to any one of claims 1 to 5 ,
A suspension member that connects the aircraft and the arm;
a drum around which the suspension member is wound,
The drum is biased in a direction in which the hanging member is wound up.

請求項に係る発明は、建設機械周辺を監視する監視システムであって、
前記建設機械に取り付けられたアームと、
飛行自在に前記アームから吊り下げられた飛行体と、
前記飛行体に設けられた第1撮影手段によって撮影された映像を表示する表示手段と、
前記アームを調整して、前記アームと前記飛行体との間隔を予め定められた特定間隔に維持するアーム調整手段と、
前記アームの先端と前記飛行体との双方が含まれる範囲を撮影することが可能な第2撮影手段と、を備え
前記アーム調整手段は、前記第2撮影手段により取得された撮影画像データに基づいて前記アームを調整することを特徴とする。
The invention according to claim 7 is a monitoring system for monitoring the periphery of a construction machine,
An arm attached to the construction machine;
a flying object suspended from the arm so as to be capable of flying;
A display means for displaying an image captured by a first image capturing means provided on the aircraft;
an arm adjustment means for adjusting the arm to maintain a distance between the arm and the aircraft at a predetermined specific distance;
and a second imaging means capable of imaging an area including both the tip of the arm and the aircraft ,
The arm adjustment means adjusts the arm based on photographed image data acquired by the second photographing means .

本発明によれば、視認性の高い監視用の映像を安定的に取得することができる。 The present invention makes it possible to stably obtain surveillance video with high visibility.

本発明の実施形態に係る監視システムの構成を説明する図である。1 is a diagram illustrating a configuration of a monitoring system according to an embodiment of the present invention. 本発明の実施形態に係る撮影装置の構成を説明する図である。FIG. 1 is a diagram illustrating a configuration of an imaging device according to an embodiment of the present invention. 建設機械がホイールローダである場合における撮影装置を説明する図である。FIG. 13 is a diagram illustrating a photographing device when the construction machine is a wheel loader. 建設機械が自由断面掘削機である場合における撮影装置を説明する図である。FIG. 13 is a diagram illustrating a photographing device when the construction machine is a free section excavator. 撮影装置の変形例を説明する図である。13A and 13B are diagrams illustrating a modified example of the imaging device.

以下、図面を参照して、本発明の実施の形態について詳細に説明する。
ただし、本発明の技術的範囲は、下記実施形態や図面に例示したものに限定されるものではない。
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
However, the technical scope of the present invention is not limited to the following embodiments and examples shown in the drawings.

〔監視システム〕
図1は、本発明の実施形態に係る監視システム1の構成を説明する図である。
監視システム1は、建設機械10の無人化運転を監視するためのシステムである。具体的には、飛行体としてのドローン30を用いて、建設機械10の映像、具体的には建設機械10やその周辺の俯瞰映像等を取得し、取得した映像を表示することで、作業員に建設機械10の稼働状況等を把握させるシステムである。
[Surveillance System]
FIG. 1 is a diagram illustrating a configuration of a monitoring system 1 according to an embodiment of the present invention.
The monitoring system 1 is a system for monitoring the unmanned operation of the construction machine 10. Specifically, the monitoring system 1 uses a drone 30 as an air vehicle to acquire video of the construction machine 10, specifically, an overhead video of the construction machine 10 and its surroundings, and displays the acquired video, thereby allowing a worker to grasp the operating status of the construction machine 10, etc.

監視システム1は、監視対象である建設機械10と、建設機械10に取り付けられたアーム20やアーム20に吊り下げられたドローン30等を含む撮影装置2と、ドローン30を遠隔操作するための飛行体遠隔操作装置40と、建設機械10を遠隔操作するための建設機械遠隔操作装置50と、を備えて構成される。
なお、建設機械10及びドローン30については、公知のものを利用できることから、詳細な説明は省略する。
The monitoring system 1 is composed of a construction machine 10 to be monitored, an imaging device 2 including an arm 20 attached to the construction machine 10 and a drone 30 suspended from the arm 20, an air vehicle remote control device 40 for remotely controlling the drone 30, and a construction machine remote control device 50 for remotely controlling the construction machine 10.
In addition, since publicly known construction machines 10 and drones 30 can be used, detailed explanations are omitted.

飛行体遠隔操作装置40は、制御部41と、第一通信部42と、第二通信部43と、表示部44と、操作部45と、を備えている。
制御部41は、図示しないCPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)等を備えている。そして、CPUが、ROMに記憶されている各種処理プログラムを読み出してRAMに展開し、当該処理プログラムに従って各種処理を実行することで、飛行体遠隔操作装置40各部の動作を統括的に制御するようになっている。
The aircraft remote control device 40 comprises a control unit 41, a first communication unit 42, a second communication unit 43, a display unit 44, and an operation unit 45.
The control unit 41 includes a central processing unit (CPU), a random access memory (RAM), a read only memory (ROM), etc. (not shown). The CPU reads out various processing programs stored in the ROM, loads them into the RAM, and executes various processes according to the processing programs, thereby providing overall control over the operation of each unit of the aircraft remote control device 40.

第一通信部42は、例えば無線通信モジュール等で構成されている。そして、第一通信部42は、通信ネットワークN1を介して接続されたドローン30の通信部(図示省略)との間で各種信号や各種データを送受信するようになっている。
第二通信部43は、例えば無線通信モジュール等で構成されている。そして、第二通信部43は、通信ネットワークN2を介して接続された建設機械遠隔操作装置50の第二通信部53との間で各種信号や各種データを送受信するようになっている。
The first communication unit 42 is configured, for example, by a wireless communication module, etc. The first communication unit 42 is configured to transmit and receive various signals and various data to and from a communication unit (not shown) of the drone 30 connected via the communication network N1.
The second communication unit 43 is configured, for example, by a wireless communication module, etc. The second communication unit 43 transmits and receives various signals and various data to and from the second communication unit 53 of the construction machine remote control device 50 connected via the communication network N2.

表示部44は、例えば液晶ディスプレイ等で構成されている。そして、表示部44は、制御部41から入力される表示信号に従って所与の表示処理を行う。
操作部45は、例えば操作レバーや操作ボタン等で構成されている。そして、操作部45は、オペレータの操作に応じた操作信号を制御部41へ出力する。
The display unit 44 is configured with, for example, a liquid crystal display, etc. The display unit 44 performs a given display process in accordance with a display signal input from the control unit 41.
The operation unit 45 is configured with, for example, an operation lever, an operation button, etc. The operation unit 45 outputs an operation signal to the control unit 41 in response to an operation by an operator.

ドローン30はカメラ31を備えており、ドローン30の制御部(図示省略)は、カメラ31が取得した撮影画像データ(映像情報)をドローン30の通信部を介して飛行体遠隔操作装置40へ送信する。そして、制御部41は、ドローン30からの撮影画像データに基づく撮影画像を表示部44に表示させる。これにより、表示部44に、ドローン30によって取得された映像が表示されることとなる。
飛行体遠隔操作装置40のオペレータは、表示部44に表示される映像を見ながら(あるいはドローン30を直接目視しながら)、操作部45を操作する。そして、制御部41は、操作部45からの操作信号に応じた指令データを、第一通信部42を介してドローン30へ送信する。これにより、ドローン30が、オペレータ所望の動作を行うこととなる。
また、制御部41は、ドローン30から送信されて第一通信部42によって受信された撮影画像データを、第二通信部43を介して建設機械遠隔操作装置50へ送信する。
The drone 30 is equipped with a camera 31, and a control unit (not shown) of the drone 30 transmits the captured image data (video information) acquired by the camera 31 to the air vehicle remote control device 40 via a communication unit of the drone 30. The control unit 41 then causes the display unit 44 to display the captured image based on the captured image data from the drone 30. As a result, the video acquired by the drone 30 is displayed on the display unit 44.
The operator of the air vehicle remote control device 40 operates the operation unit 45 while watching the image displayed on the display unit 44 (or while directly viewing the drone 30). Then, the control unit 41 transmits command data corresponding to the operation signal from the operation unit 45 to the drone 30 via the first communication unit 42. This causes the drone 30 to perform the operation desired by the operator.
In addition, the control unit 41 transmits the captured image data transmitted from the drone 30 and received by the first communication unit 42 to the construction machinery remote control device 50 via the second communication unit 43.

建設機械遠隔操作装置50は、制御部51と、第一通信部52と、第二通信部53と、表示部54と、操作部55と、を備えている。
制御部51は、図示しないCPU、RAM、ROM等を備えている。そして、CPUが、ROMに記憶されている各種処理プログラムを読み出してRAMに展開し、当該処理プログラムに従って各種処理を実行することで、建設機械遠隔操作装置50各部の動作を統括的に制御するようになっている。
The construction machinery remote control device 50 includes a control unit 51 , a first communication unit 52 , a second communication unit 53 , a display unit 54 , and an operation unit 55 .
The control unit 51 includes a CPU, a RAM, a ROM, etc. (not shown). The CPU reads out various processing programs stored in the ROM, loads them into the RAM, and executes various processes according to the processing programs, thereby providing overall control over the operation of each unit of the construction machine remote control device 50.

第一通信部52は、例えば無線通信モジュール等で構成されている。そして、第一通信部52は、通信ネットワークN3を介して接続された建設機械10の通信部(図示省略)との間で各種信号や各種データを送受信するようになっている。
第二通信部53は、例えば無線通信モジュール等で構成されている。そして、第二通信部53は、通信ネットワークN2を介して接続された飛行体遠隔操作装置40の第二通信部43との間で各種信号や各種データを送受信するようになっている。
The first communication unit 52 is configured, for example, by a wireless communication module, etc. The first communication unit 52 transmits and receives various signals and various data to and from a communication unit (not shown) of the construction machine 10 connected via the communication network N3.
The second communication unit 53 is configured, for example, by a wireless communication module, etc. The second communication unit 53 transmits and receives various signals and various data to and from the second communication unit 43 of the aircraft remote control device 40 connected via the communication network N2.

表示部54は、例えば液晶ディスプレイ等で構成されている。そして、表示部54は、制御部51から入力される表示信号に従って所与の表示処理を行う。
操作部55は、例えば操作レバーや操作ボタン等で構成されている。そして、操作部55は、オペレータの操作に応じた操作信号を制御部51へ出力する。
The display unit 54 is configured with, for example, a liquid crystal display, etc. The display unit 54 performs a given display process in accordance with a display signal input from the control unit 51.
The operation unit 55 is composed of, for example, an operation lever, an operation button, etc. The operation unit 55 outputs an operation signal to the control unit 51 in response to an operation by an operator.

制御部51は、飛行体遠隔操作装置40からの撮影画像データに基づく撮影画像を表示部54に表示させる。これにより、表示部54に、ドローン30によって取得された映像が表示されることとなる。
建設機械遠隔操作装置50のオペレータは、表示部54に表示される映像を見ながら(あるいは建設機械10を直接目視しながら)、操作部55を操作する。そして、制御部51は、操作部55からの操作信号に応じた指令データを、第一通信部52を介して建設機械10へ送信する。これにより、建設機械10が、オペレータ所望の動作を行うこととなる。
The control unit 51 causes the display unit 54 to display a captured image based on the captured image data from the aircraft remote control device 40. As a result, the video captured by the drone 30 is displayed on the display unit 54.
The operator of the construction machine remote control device 50 operates the operation unit 55 while watching the image displayed on the display unit 54 (or while directly viewing the construction machine 10). Then, the control unit 51 transmits command data corresponding to the operation signal from the operation unit 55 to the construction machine 10 via the first communication unit 52. This causes the construction machine 10 to perform the operation desired by the operator.

建設機械遠隔操作装置50のオペレータは、建設機械10から降りた状態で建設機械遠隔操作装置50を操作することも可能であるし、建設機械10に乗った状態で建設機械遠隔操作装置50を操作することも可能である。また、飛行体遠隔操作装置40のオペレータは、建設機械10から降りた状態で飛行体遠隔操作装置40を操作することも可能であるし、建設機械10に乗った状態で飛行体遠隔操作装置40を操作することも可能である。また、例えば建設機械10がトンネル坑内で作業する機械である場合には、建設機械10から降りた状態のオペレータは、トンネル坑外にいてもよいし、トンネル坑内にいてもよい。
また、飛行体遠隔操作装置40のオペレータと、建設機械遠隔操作装置50のオペレータは、同一のオペレータであってもよいし、異なるオペレータであってもよい。
また、飛行体遠隔操作装置40と、建設機械遠隔操作装置50は、一体的に構成されていてもよい。
The operator of the construction machine remote control device 50 can operate the construction machine remote control device 50 while getting off the construction machine 10, or while riding on the construction machine 10. The operator of the air vehicle remote control device 40 can operate the air vehicle remote control device 40 while getting off the construction machine 10, or while riding on the construction machine 10. For example, if the construction machine 10 is a machine that works inside a tunnel, the operator who gets off the construction machine 10 may be outside the tunnel or inside the tunnel.
Furthermore, the operator of the aircraft remote control device 40 and the operator of the construction machine remote control device 50 may be the same operator or different operators.
In addition, the aircraft remote control device 40 and the construction machine remote control device 50 may be configured as an integrated unit.

建設機械10は、自動運転可能であってもよい。すなわち、建設機械10は、人間が運転操作を行わないと走行や作業ができないもの(運転操作を自動化する技術を全く搭載していないもの)でもよいし、一部の運転操作を自動化する技術を搭載したものでもよいし、全ての運転操作を自動化する技術を搭載したものでもよい。
また、ドローン30は、自動運転可能であってもよい。すなわち、ドローン30は、人間が運転操作を行わないと飛行や撮影ができないもの(運転操作を自動化する技術を全く搭載していないもの)でもよいし、一部の運転操作を自動化する技術を搭載したものでもよいし、全ての運転操作を自動化する技術を搭載したものでもよい。
また、本実施形態では、ドローン30のカメラ31が取得した撮影画像データ(映像情報)を、飛行体遠隔操作装置40を介して建設機械遠隔操作装置50へ送信するようにしたが、これに限定されない。例えば、ドローン30は、カメラ31が取得した撮影画像データを、飛行体遠隔操作装置40と、建設機械遠隔操作装置50と、の双方へ送信するようにしてもよい。
The construction machine 10 may be capable of automatic operation. In other words, the construction machine 10 may be one that cannot travel or work unless a human operates it (one that is not equipped with any technology that automates driving operations), one that is equipped with technology that automates some of the driving operations, or one that is equipped with technology that automates all of the driving operations.
The drone 30 may be capable of automatic operation. In other words, the drone 30 may be one that cannot fly or take pictures without a human being performing driving operations (one that is not equipped with any technology that automates driving operations), one that is equipped with technology that automates some driving operations, or one that is equipped with technology that automates all driving operations.
In the present embodiment, the photographed image data (video information) acquired by the camera 31 of the drone 30 is transmitted to the construction machine remote control device 50 via the air vehicle remote control device 40, but the present invention is not limited to this. For example, the drone 30 may transmit the photographed image data acquired by the camera 31 to both the air vehicle remote control device 40 and the construction machine remote control device 50.

〔撮影装置〕
図2は、本発明の実施形態に係る撮影装置2の構成を説明する図である。
撮影装置2は、建設機械10の監視に使用する映像を取得するための装置である。撮影装置2は、建設機械10に取り付けられたアーム20と、アーム20に吊り下げられたドローン30と、ドローン30をアーム20から吊り下げるための吊下げワイヤ60と、ドローン30に電力を供給するための給電ケーブル70と、アーム20の長さや向きを調整するアーム調整装置80と、を備えて構成される。
[Photographing device]
FIG. 2 is a diagram illustrating the configuration of an image capturing device 2 according to an embodiment of the present invention.
The imaging device 2 is a device for acquiring images used for monitoring the construction machine 10. The imaging device 2 is configured to include an arm 20 attached to the construction machine 10, a drone 30 suspended from the arm 20, a suspension wire 60 for suspending the drone 30 from the arm 20, a power supply cable 70 for supplying power to the drone 30, and an arm adjustment device 80 for adjusting the length and orientation of the arm 20.

アーム20は、伸縮自在なサポートアーム(又はロッド)であり、建設機械10に設置された架台21に装着されている。
本実施形態における架台21は、ユニバーサル架台である。すなわち、アーム20は、ユニバーサルジョイント(自在継手)を介して建設機械10に連結されている。
また、本実施形態における架台21は、所定面(例えば架台21の設置面)を基準としたアーム20の傾斜角度(仰角)を0度から180度の範囲で切り替えることが可能であるとともに、所定方向(例えば建設機械10の前進方向)を基準としたアーム20の旋回角度(方位角)を-360度から+360度の範囲で切り替えることが可能となっている。ここで、傾斜角度0度及び180度はアーム20が所定面(例えば架台21の設置面)に対して平行な状態であり、旋回角度-360度、0度、及び+360度はアーム20の先端が所定方向(例えば建設機械10の前進方向)を向いた状態である。
なお、アーム20の傾斜角度は0度から180度の範囲に限定されず適宜変更可能である。また、アーム20の旋回角度は-360度から+360度の範囲に限定されず適宜変更可能である。
The arm 20 is a telescopic support arm (or rod) and is attached to a stand 21 installed on the construction machine 10 .
The platform 21 in this embodiment is a universal platform, i.e., the arm 20 is connected to the construction machine 10 via a universal joint.
Furthermore, the base 21 in this embodiment is capable of switching the inclination angle (elevation angle) of the arm 20 with respect to a predetermined plane (e.g., the installation surface of the base 21) in a range from 0 degrees to 180 degrees, and also capable of switching the rotation angle (azimuth angle) of the arm 20 with respect to a predetermined direction (e.g., the forward movement direction of the construction machine 10) in a range from -360 degrees to +360 degrees. Here, the inclination angles of 0 degrees and 180 degrees indicate a state in which the arm 20 is parallel to the predetermined plane (e.g., the installation surface of the base 21), and the rotation angles of -360 degrees, 0 degrees, and +360 degrees indicate a state in which the tip of the arm 20 faces a predetermined direction (e.g., the forward movement direction of the construction machine 10).
The inclination angle of the arm 20 is not limited to the range from 0 degrees to 180 degrees and can be changed as appropriate. Also, the rotation angle of the arm 20 is not limited to the range from -360 degrees to +360 degrees and can be changed as appropriate.

アーム20には、当該アーム20に沿って、吊下げワイヤ60が設けられている。
吊下げワイヤ60の一端部にはドローン30が接続されており、ドローン30は、アーム20の先端から吊下げワイヤ60によって吊り下げられている。吊下げワイヤ60の他端部は、架台21(あるいはその近傍)に設置されたワイヤドラム61に接続されている。
A suspension wire 60 is provided along the arm 20 .
The drone 30 is connected to one end of the hanging wire 60, and the drone 30 is hung from the tip of the arm 20 by the hanging wire 60. The other end of the hanging wire 60 is connected to a wire drum 61 installed on the frame 21 (or in the vicinity thereof).

ワイヤドラム61は、図示しない付勢部材を備えており、この付勢部材によって吊下げワイヤ60を巻き取る方向に常時付勢されている。そして、付勢部材の付勢力の大きさは、ドローン30の飛行やホバリングに影響を与えない大きさに設定されており、ドローン30が付勢部材の付勢力に抗して飛行すると、ワイヤドラム61は吊下げワイヤ60を送り出す方向に回転する。すなわち、吊下げワイヤ60の延出部分(吊下げワイヤ60のうちアーム20から延出している(垂れ下がっている)部分)の長さは可変であり、ドローン30は、吊下げワイヤ60の延出部分が伸びる範囲内で自由に飛行できるようになっている。 The wire drum 61 is equipped with a biasing member (not shown), which constantly biases the suspension wire 60 in the direction of winding it up. The magnitude of the biasing force of the biasing member is set so as not to affect the flight or hovering of the drone 30, and when the drone 30 flies against the biasing force of the biasing member, the wire drum 61 rotates in the direction of letting out the suspension wire 60. In other words, the length of the extension portion of the suspension wire 60 (the portion of the suspension wire 60 that extends (hangs down) from the arm 20) is variable, and the drone 30 can fly freely within the range that the extension portion of the suspension wire 60 extends.

また、ワイヤドラム61は、吊下げワイヤ60の延出部分の長さが『特定長さ』に達すると、巻き取り方向の回転を停止するように構成されている。これにより、吊下げワイヤ60の延出部分の長さが『特定長さ』未満にならないので、吊下げワイヤ60がワイヤドラム61に巻き取られる勢い等によって、ドローン30がアーム20に衝突してしまうことを防止できるようになっている。 The wire drum 61 is also configured to stop rotating in the winding direction when the length of the extended portion of the hanging wire 60 reaches a "specific length." This ensures that the length of the extended portion of the hanging wire 60 does not fall below the "specific length," preventing the drone 30 from colliding with the arm 20 due to the force of the hanging wire 60 being wound around the wire drum 61, etc.

また、本実施形態において、上述の『特定長さ(延出部分の最短長さ)』は、例えば、アーム20の傾斜角度が0度であり、かつ、アーム20に吊り下げられたドローン30が飛行動作を行っていない状態(ロータが停止している状態)である場合に、ドローン30が地面(建設機械10の走行面)に接しない長さに設定されており、吊下げワイヤ60の延出部分の最長長さは、『特定長さ(延出部分の最短長さ)』よりも長く設定されている。延出部分の最長長さは、アーム20の傾斜角度が0度であり、かつ、アーム20に吊り下げられたドローン30が飛行動作を行っていない状態(ロータが停止している状態)である場合に、ドローン30が地面(建設機械10の走行面)に接する長さに設定されていてもよいし、接しない長さに設定されていてもよい。接する長さに設定することによって、ドローン30による撮影可能範囲がより広くなる。一方、接しない長さに設定することによって、ドローン30は、飛行動作を行わなくても墜落(地面へ落下)しないので、カメラ31による撮影時等の必要なときにのみ飛行動作を行えばよく、無駄な電力消費を防止できるようになっている。また、接しない長さに設定することによって、風で煽られたり物にぶつかったりしてドローン30の姿勢が乱れたとしても、ドローン30の墜落を回避できる。
なお、吊下げワイヤ60の延出部分の最短長さや最長長さは、アーム20の長さや傾斜角度、旋回角度によってドローン30の墜落を回避できるように可変制御としてもよい。
また、ワイヤドラム61は、ストッパを備えていてもよい。すなわち、ワイヤドラム61は、付勢部材の付勢力に抗する力が『特定の力』以上になると、吊下げワイヤ60を送り出す方向への回転が停止するように構成されていてもよい。ここで、『特定の力』は、例えばドローン30の飛行時に付与される力よりも大きな力である。これにより、ドローン30の飛行時やホバリング時には当該ストッパは機能しないが、ドローン30が風で煽られたり物にぶつかったりしてワイヤドラム61に『特定の力』以上の力が付与されると当該ストッパが機能するので、ドローン30の墜落を回避することができる。
In this embodiment, the above-mentioned "specific length (shortest length of the extension part)" is set to a length at which the drone 30 does not come into contact with the ground (the running surface of the construction machine 10) when the inclination angle of the arm 20 is 0 degrees and the drone 30 suspended from the arm 20 is not flying (the rotor is stopped), and the maximum length of the extension part of the hanging wire 60 is set to be longer than the "specific length (shortest length of the extension part)". The maximum length of the extension part may be set to a length at which the drone 30 comes into contact with the ground (the running surface of the construction machine 10) when the inclination angle of the arm 20 is 0 degrees and the drone 30 suspended from the arm 20 is not flying (the rotor is stopped), or may be set to a length at which the drone 30 does not come into contact. By setting the extension part to a length at which the drone 30 can be photographed, the range of the drone 30 that can be photographed is wider. On the other hand, by setting the non-contact length, the drone 30 will not crash (fall to the ground) even if it does not fly, so it is possible to prevent unnecessary power consumption by performing flight operations only when necessary, such as when taking pictures with the camera 31. Also, by setting the non-contact length, it is possible to prevent the drone 30 from crashing even if the drone 30 loses its attitude due to being blown by the wind or hitting an object.
In addition, the minimum and maximum lengths of the extension portion of the suspension wire 60 may be variably controlled depending on the length, inclination angle, and rotation angle of the arm 20 so as to prevent the drone 30 from falling.
The wire drum 61 may also be provided with a stopper. That is, the wire drum 61 may be configured to stop rotating in the direction in which the suspension wire 60 is let out when the force resisting the biasing force of the biasing member becomes equal to or greater than a "specific force." Here, the "specific force" is, for example, a force greater than the force applied when the drone 30 is flying. As a result, the stopper does not function when the drone 30 is flying or hovering, but when the drone 30 is blown by the wind or hits an object and a force equal to or greater than the "specific force" is applied to the wire drum 61, the stopper functions, thereby preventing the drone 30 from falling.

アーム20の先端部にはプーリー62が設けられており、プーリー62には吊下げワイヤ60が巻き掛けられている。これにより、吊下げワイヤ60の延出部分をスムーズに伸縮できる、すなわちワイヤドラム61による吊下げワイヤ60の巻き取りや、ワイヤドラム61からの吊下げワイヤ60の引き出しをスムーズに行うことができるようになっている。 A pulley 62 is provided at the tip of the arm 20, and the suspension wire 60 is wound around the pulley 62. This allows the extension of the suspension wire 60 to be smoothly extended and retracted, meaning that the suspension wire 60 can be smoothly wound around the wire drum 61 and pulled out from the wire drum 61.

また、アーム20には、当該アーム20に沿って、給電ケーブル70が設けられている。
給電ケーブル70の一端部は、ドローン30のバッテリ(図示省略)に接続されており、給電ケーブル70の他端部は、給電装置71に接続されている。すなわち、給電ケーブル70を介して、給電装置71からドローン30へ給電できるようになっている。
給電装置71は、例えば発電装置又は蓄電装置等で構成されており、建設機械10に設置されている。
In addition, a power supply cable 70 is provided along the arm 20 .
One end of the power supply cable 70 is connected to a battery (not shown) of the drone 30, and the other end of the power supply cable 70 is connected to the power supply device 71. That is, power can be supplied from the power supply device 71 to the drone 30 via the power supply cable 70.
The power supply device 71 is composed of, for example, a power generation device or a power storage device, and is installed on the construction machine 10.

アーム調整装置80は、制御部81と、駆動部82と、カメラ83と、を備えている。アーム調整装置80は、カメラ83によってドローン30の位置を認識して、ドローン30に追従するようにアーム20の長さや向きを調整する。
制御部81は、図示しないCPU、RAM、ROM等を備えている。そして、CPUが、ROMに記憶されている各種処理プログラムを読み出してRAMに展開し、当該処理プログラムに従って各種処理を実行することで、アーム調整装置80各部の動作を統括的に制御するようになっている。
The arm adjustment device 80 includes a control unit 81, a drive unit 82, and a camera 83. The arm adjustment device 80 recognizes the position of the drone 30 by the camera 83, and adjusts the length and orientation of the arm 20 so as to follow the drone 30.
The control unit 81 includes a CPU, a RAM, a ROM, etc. (not shown). The CPU reads out various processing programs stored in the ROM, loads them into the RAM, and executes various processes according to the processing programs, thereby controlling the overall operation of each unit of the arm adjustment device 80.

駆動部82は、制御部81から入力される駆動信号に応じて、アーム20の長さを切り替えたり、アーム20の向き(傾斜角度や旋回角度)を切り替えたりする。
カメラ83は、架台21(あるいはその近傍)に設置されており、例えば、ドローン30とアーム20の先端(例えばプーリー62)との双方が含まれる範囲を撮影し、取得した撮影画像データを制御部81に出力する。制御部81は、カメラ83からの撮影画像データに基づいて、ドローン30と、アーム20の先端と、の間隔が予め定められた『特定間隔』となるように、駆動部82に駆動信号を出力する。具体的には、例えば、ドローン30とアーム20の先端との間隔が『特定間隔』である場合に、ドローン30が移動して(吊下げワイヤ60の延出部分が伸びて)、ドローン30とアーム20の先端との間隔が『特定間隔』でなくなると、『特定間隔』を維持するようにアーム20の長さや向きが調整される。
アーム20の長さや角度には限界があり、また、吊下げワイヤ60の延出部分の長さは可変(吊下げワイヤ60の延出部分は伸縮可能)であるので、ドローン30とアーム20の先端との間隔を『特定間隔』に維持できない場合がある。その場合には、ドローン30とアーム20の先端との間隔が最短となるようにアーム20を調整する。具体的には、例えば、アーム20の長さが上限である状態(アーム20が最も伸びた状態)において、アーム20を更に伸ばさないと、ドローン30とアーム20の先端との間隔を『特定間隔』に維持できない場合には、アーム20の長さ以外(アーム20の向き)の調整のみを継続して、ドローン30とアーム20の先端との間隔が『特定間隔』に近づくようにアーム20の向きを随時調整する。そして、ドローン30が移動する等してドローン30とアーム20の先端との間隔が『特定間隔』になったら、アーム20の長さの調整を再開して、ドローン30とアーム20の先端との間隔が『特定間隔』を維持するようにアーム20の長さや向きを随時調整する。
The drive unit 82 switches the length of the arm 20 and the orientation of the arm 20 (inclination angle and rotation angle) in response to a drive signal input from the control unit 81.
The camera 83 is installed on the base 21 (or in the vicinity thereof) and, for example, captures an area including both the drone 30 and the tip of the arm 20 (e.g., the pulley 62), and outputs the captured image data to the control unit 81. Based on the captured image data from the camera 83, the control unit 81 outputs a drive signal to the drive unit 82 so that the distance between the drone 30 and the tip of the arm 20 becomes a predetermined "specific distance". Specifically, for example, when the distance between the drone 30 and the tip of the arm 20 is the "specific distance", if the drone 30 moves (the extended portion of the suspension wire 60 extends) and the distance between the drone 30 and the tip of the arm 20 is no longer the "specific distance", the length and orientation of the arm 20 are adjusted to maintain the "specific distance".
Since there is a limit to the length and angle of the arm 20, and the length of the extension part of the hanging wire 60 is variable (the extension part of the hanging wire 60 is extendable), there are cases where the distance between the drone 30 and the tip of the arm 20 cannot be maintained at the "specific distance". In that case, the arm 20 is adjusted so that the distance between the drone 30 and the tip of the arm 20 is the shortest. Specifically, for example, when the length of the arm 20 is at its upper limit (the state in which the arm 20 is most extended), if the distance between the drone 30 and the tip of the arm 20 cannot be maintained at the "specific distance" without further extending the arm 20, only adjustments other than the length of the arm 20 (the orientation of the arm 20) are continued, and the orientation of the arm 20 is adjusted as needed so that the distance between the drone 30 and the tip of the arm 20 approaches the "specific distance". Then, when the distance between the drone 30 and the tip of the arm 20 becomes the "specific distance" due to the drone 30 moving or the like, adjustment of the length of the arm 20 is resumed, and the length and orientation of the arm 20 are adjusted as needed so that the distance between the drone 30 and the tip of the arm 20 remains the "specific distance."

したがって、建設機械10がホイールローダである場合、建設機械10の作業時には、例えば図3(a)に示すように、作業箇所(バケットへの土砂積み込み状況等)の詳細を撮影するためにドローン30が作業箇所の上方に向けて移動すると、それに追従してアーム20の長さや向きが調整される。また、建設機械10の後進走行時には、例えば図3(b)に示すように、建設機械10後方の俯瞰映像を撮影するためにドローン30が建設機械10の後方に向けて移動すると、それに追従してアーム20の長さや向きが調整される。
また、建設機械10が自由断面掘削機である場合、建設機械10の作業時には、例えば図4に示すように、作業箇所(カッタ先端掘削箇所等)の詳細を撮影するためにドローン30が作業箇所の上方に向けて移動すると、それに追従してアーム20の長さや向きが調整される。
Therefore, when the construction machine 10 is a wheel loader, when the drone 30 moves toward above the work site to capture detailed images of the work site (such as the state of earth being loaded into the bucket) as shown in Fig. 3(a) during operation of the construction machine 10, the length and orientation of the arm 20 are adjusted accordingly. Also, when the construction machine 10 is traveling backward, when the drone 30 moves toward the rear of the construction machine 10 to capture an overhead image of the rear of the construction machine 10 as shown in Fig. 3(b) during operation of the construction machine 10, the length and orientation of the arm 20 are adjusted accordingly.
In addition, when the construction machine 10 is a free section excavator, when the construction machine 10 is working, for example as shown in Figure 4, when the drone 30 moves toward above the work location to photograph details of the work location (such as the cutter tip excavation location), the length and orientation of the arm 20 are adjusted accordingly.

このように、吊下げワイヤ60の延出部分が伸縮自在であるだけでなく、アーム20がドローン30の動きに追従可能であるので、建設機械10が複雑動作かつ高速走行するような機械であっても、アーム20と吊下げワイヤ60が届く範囲内における任意の位置から建設機械10やその周辺における監視したい箇所を的確に捉えた映像を取得することができる。
また、ドローン30は、自身のロータ(プロペラ)によって飛行可能な状態でアーム20から吊り下げられているので、建設機械10が複雑動作かつ高速走行するような機械であっても、建設機械10の振動の影響が少ない安定した映像を取得することができる。
また、図3(a)や図4に示すように、ドローン30によって作業箇所の詳細を撮影することができるので、有人の施工においても、人が近づけない掘削状況(カッタ先端)や積み込み状況(バケット内)等も映像で確認できるようになり、安全性や作業効率が向上する。
In this way, not only is the extension portion of the hanging wire 60 flexible, but the arm 20 can follow the movements of the drone 30, so even if the construction machine 10 is a machine that performs complex movements and travels at high speed, it is possible to obtain images that accurately capture the areas to be monitored on the construction machine 10 and its surroundings from any position within the reach of the arm 20 and hanging wire 60.
In addition, since the drone 30 is suspended from the arm 20 in a state in which it can fly using its own rotor (propeller), stable images can be obtained that are less affected by the vibrations of the construction machine 10, even if the construction machine 10 is a machine that performs complex movements and travels at high speed.
In addition, as shown in Figures 3(a) and 4, the drone 30 can capture detailed images of the work site, so even during manned construction, it is possible to check on video images the excavation situation (tip of the cutter) and loading situation (inside the bucket), which are areas that humans cannot approach, thereby improving safety and work efficiency.

本実施形態において、上述の『特定間隔』は、上述の『特定長さ』よりも短く設定されている。『特定間隔』を『特定長さ』よりも短くすることで、ドローン30のホバリング時等に吊下げワイヤ60の延出部分が撓んだ状態となるので、ドローン30に対して建設機械10の振動がより伝わりにくくなり、建設機械10の振動の影響を受けないより安定した映像を取得することが可能となる。 In this embodiment, the above-mentioned "specific interval" is set shorter than the above-mentioned "specific length". By making the "specific interval" shorter than the "specific length", the extended portion of the suspension wire 60 is in a bent state when the drone 30 is hovering, etc., so that the vibrations of the construction machine 10 are less likely to be transmitted to the drone 30, making it possible to obtain more stable images that are not affected by the vibrations of the construction machine 10.

なお、ワイヤドラム61の設置箇所は架台21の近傍に限定されるものではなく適宜変更可能であり、例えば、アーム20の先端部であってもよい。その場合、アーム20の先端部にプーリー62を設けなくてもよい。
また、架台21、給電装置71、制御部81、駆動部82、カメラ83等の設置箇所も適宜変更可能である。
The location of the wire drum 61 is not limited to the vicinity of the stand 21 and can be changed as appropriate, and may be, for example, the tip of the arm 20. In this case, the pulley 62 does not need to be provided at the tip of the arm 20.
Furthermore, the locations where the stand 21, power supply device 71, control unit 81, drive unit 82, camera 83, etc. are installed can also be changed as appropriate.

また、アーム20は、サポートアーム(又はロッド)に限定されるものではなく、例えば図5に示すように、旋回式のジブクレーンであってもよい。
図5に示す例では、アーム20は、建設機械10に設置された支持塔22に旋回自在に装着され、アーム20には、当該アーム20に沿って移動可能なトロリー23が設けられている。ワイヤドラム61は、トロリー23に設けられており、吊下げワイヤ60は、トロリー23から吊り下げられている。また、駆動部82は、制御部81から入力される駆動信号に応じて、アーム20の旋回角度を切り替えたり、トロリー23を移動させたりするように構成されている。すなわち、図5に示す例におけるアーム調整装置80は、ドローン30に追従して、アーム20の旋回角度やトロリー23の位置を調整できるようになっている。
Further, the arm 20 is not limited to a support arm (or rod) and may be, for example, a swivel-type jib crane as shown in FIG.
In the example shown in Fig. 5, the arm 20 is rotatably attached to a support tower 22 installed on the construction machine 10, and the arm 20 is provided with a trolley 23 that is movable along the arm 20. The wire drum 61 is provided on the trolley 23, and the suspension wire 60 is suspended from the trolley 23. The drive unit 82 is configured to switch the rotation angle of the arm 20 and move the trolley 23 in response to a drive signal input from the control unit 81. That is, the arm adjustment device 80 in the example shown in Fig. 5 is capable of adjusting the rotation angle of the arm 20 and the position of the trolley 23 by following the drone 30.

〔効果〕
以上説明したように、本実施形態に係る撮影装置2は、建設機械10周辺を撮影する撮影装置であって、建設機械10に取り付けられたアーム20と、カメラ31(撮影手段)が設けられたドローン30(飛行体)と、を備え、ドローン30は、飛行自在にアーム20から吊り下げられている。
したがって、建設機械10の作業現場が、例えば、GPS電波が届かない、狭隘で送風機からの風の影響等が大きいトンネル坑内であっても、視認性の高い監視用の映像を安定的に取得することができるので、安全かつ高精度な無人化運転(あるいは無人化・自動化運転)が可能となる。
〔effect〕
As described above, the photographing device 2 in this embodiment is an photographing device that photographs the area around the construction machine 10, and comprises an arm 20 attached to the construction machine 10 and a drone 30 (aircraft) equipped with a camera 31 (photographing means), and the drone 30 is suspended from the arm 20 so as to be able to fly freely.
Therefore, even if the work site of the construction machine 10 is, for example, inside a tunnel that is narrow and where GPS radio waves cannot reach and is greatly affected by wind from fans, highly visible surveillance images can be reliably obtained, making safe and highly accurate unmanned operation (or unmanned/automated operation) possible.

具体的には、ドローン30は、アーム20から吊り下げられた状態で飛行することができるので、墜落の心配がなく、さらに、建設機械10の振動の影響が少ない視認性の高い映像を取得することができる。
また、ドローン30は、アーム20から吊り下げられているとともに、当該アーム20を介して建設機械10に接続されているので、建設機械10の作業現場が、狭隘かつ送風機からの風の影響用が大きいトンネル坑内や、風が強い場所や、障害物が多い場所等であっても、作業現場に到着するまでの間や、作業現場で撮影している間に、建設機械10から逸れてしまう、墜落してしまう等の不都合の発生を抑制することができ、監視用の映像を安定的に取得することができる。
また、建設機械10とは別に、ドローン30を作業現場へ運ぶための運搬用の機械を用意する必要もないし、ドローン30の飛行をガイドするためのガイドラインを張設する必要もない。
なお、建設機械10の作業現場はトンネル坑内に限られるものではない。
Specifically, the drone 30 can fly while suspended from the arm 20, so there is no need to worry about it falling, and it can obtain highly visible images that are less affected by the vibrations of the construction machine 10.
In addition, because the drone 30 is suspended from the arm 20 and connected to the construction machine 10 via the arm 20, even if the work site of the construction machine 10 is a narrow tunnel that is greatly affected by the wind from the blower, or a windy place or a place with many obstacles, it is possible to prevent the drone from getting lost or crashing while arriving at the work site or while taking pictures at the work site, and surveillance footage can be obtained stably.
In addition, there is no need to prepare a transport machine to transport the drone 30 to the work site in addition to the construction machine 10, nor is there any need to install guidelines to guide the flight of the drone 30.
The work site of the construction machine 10 is not limited to inside a tunnel.

また、本実施形態に係る撮影装置2によれば、例えば図1~図4に示すように、アーム20は伸縮自在であり、ドローン30に追従して、アーム20の長さを調整可能である。
したがって、アーム20の長さを調整できない場合に比べて、ドローン30による撮影可能範囲が広くなるので、監視したい箇所を的確に捉えた視認性の高い映像を取得することができる。
Furthermore, according to the imaging device 2 of this embodiment, as shown in, for example, Figures 1 to 4, the arm 20 is extendable and retractable, and the length of the arm 20 can be adjusted to follow the drone 30.
Therefore, the range that can be photographed by the drone 30 is wider than when the length of the arm 20 cannot be adjusted, so that highly visible images that accurately capture the area to be monitored can be obtained.

また、本実施形態に係る撮影装置2によれば、例えば図1~図4に示すように、アーム20は架台21(自在継手機構)を介して建設機械10に取り付けられており、ドローン30に追従して、アーム20の向き(傾斜角度、旋回角度)を調整可能である。
したがって、アーム20の向きを調整できない場合に比べて、ドローン30による撮影可能範囲が広くなるので、監視したい箇所を的確に捉えた視認性の高い映像を取得することができる。なお、図1~4に示すアーム20は、長さと向きの少なくとも一方を調整可能であればよい。
Furthermore, according to the imaging device 2 of this embodiment, as shown in, for example, Figures 1 to 4, the arm 20 is attached to the construction machine 10 via a frame 21 (universal joint mechanism), and the orientation of the arm 20 (tilt angle, rotation angle) can be adjusted to follow the drone 30.
Therefore, the range that can be photographed by the drone 30 is wider than when the orientation of the arm 20 cannot be adjusted, so that it is possible to obtain highly visible images that accurately capture the area to be monitored. Note that it is sufficient that at least one of the length and orientation of the arm 20 shown in Figures 1 to 4 is adjustable.

また、本実施形態に係る撮影装置2によれば、例えば図5に示すように、アーム20は旋回機構を介して建設機械10に取り付けられており、ドローン30に追従して、アーム20の旋回角度を調整可能である。
したがって、アーム20の旋回角度を調整できない場合に比べて、ドローン30による撮影可能範囲が広くなるので、監視したい箇所を的確に捉えた視認性の高い映像を取得することができる。なお、図5に示すアーム20は、旋回角度だけでなく、傾斜角度も調整可能であってもよい。また、図5に示すアーム20は、長さを調整可能であってもよい。
In addition, according to the imaging device 2 of this embodiment, as shown in FIG. 5 , for example, the arm 20 is attached to the construction machine 10 via a rotation mechanism, and the rotation angle of the arm 20 can be adjusted to follow the drone 30.
Therefore, the range that can be photographed by the drone 30 is wider than when the rotation angle of the arm 20 cannot be adjusted, so that it is possible to obtain a highly visible image that accurately captures the area to be monitored. Note that the arm 20 shown in Fig. 5 may be adjustable not only in rotation angle but also in tilt angle. Also, the arm 20 shown in Fig. 5 may be adjustable in length.

また、本実施形態に係る撮影装置2によれば、例えば図5に示すように、アーム20は当該アーム20に沿って移動可能なトロリー23(移動手段)を備えており、ドローン30は、飛行自在にアーム20のトロリー23から吊り下げられており、ドローン30に追従して、トロリー23の位置を調整可能である。
したがって、トロリー23の位置を調整できない場合に比べて、ドローン30による撮影可能範囲が広くなるので、監視したい箇所を的確に捉えた視認性の高い映像を取得することができる。なお、図5に示すアーム20は、旋回角度とトロリー23の位置の少なくとも一方を調整可能であればよい。
Furthermore, according to the imaging device 2 of this embodiment, as shown in FIG. 5, for example, the arm 20 is equipped with a trolley 23 (movement means) that can move along the arm 20, and the drone 30 is suspended from the trolley 23 of the arm 20 so as to be able to fly freely, and the position of the trolley 23 can be adjusted to follow the drone 30.
Therefore, the range that can be photographed by the drone 30 is wider than when the position of the trolley 23 cannot be adjusted, so that it is possible to obtain highly visible images that accurately capture the area to be monitored. Note that it is sufficient that at least one of the rotation angle and the position of the trolley 23 of the arm 20 shown in FIG. 5 is adjustable.

また、本実施形態に係る撮影装置2によれば、図1~図5に示すように、アーム20を調整して、アーム20とドローン30との間隔を予め定められた『特定間隔』に維持するアーム調整装置80(アーム調整手段)を備えている。
したがって、アーム20とドローン30との間隔が予め定められた『特定間隔』に維持されるように、アーム20の長さ、アーム20の向き(傾斜角度、旋回角度)、アーム20の旋回角度、トロリー23の位置等を調整することができるので、監視したい箇所を的確に捉えた視認性の高い映像を取得することができる。
なお、『特定間隔』には幅があってもよい。例えば、『特定間隔』は第1特定間隔から第2特定間隔(>第1特定間隔)までの範囲であり、アーム20とドローン30との間隔が第1特定間隔以上で第2特定間隔以下となるようにアーム20を調整するようにしてもよい。
また、アーム調整装置30による制御(ドローン30に追従してアーム20やトロリー23を調整する制御)は、アーム20とドローン30の間隔を『特定間隔』に維持する制御に限定されない。例えば、アーム20の先端(図5に示す例の場合はトロリー23)にカメラ83を固定して、当該カメラ83の撮影範囲にドローン30が収まるようにアーム20やトロリー23を調整するようにしてもよい。
また、図1~図4に示す撮影装置2が有するアーム20(及び架台21)は、吊下げワイヤ60を介して付与されるドローン30からの力によって、アーム20の長さやアーム20の向きを調整できるものであってもよい。その場合、アーム調整装置80を用いることなくドローン30の動きに追従してアーム20の長さや向きを調整することができるので、撮影装置2は、アーム調整装置80を備えていなくてもよい。
同様に、図5に示す撮影装置2が有するアーム20(及びトロリー23)は、吊下げワイヤ60を介して付与されるドローン30からの力によって、アーム20の旋回角度やトロリー23の位置を調整できるものであってもよい。その場合、撮影装置2は、アーム調整装置80を備えていなくてもよい。
In addition, according to the imaging device 2 of this embodiment, as shown in Figures 1 to 5, it is equipped with an arm adjustment device 80 (arm adjustment means) that adjusts the arm 20 to maintain the distance between the arm 20 and the drone 30 at a predetermined "specific distance."
Therefore, the length of the arm 20, the orientation of the arm 20 (tilt angle, rotation angle), the rotation angle of the arm 20, the position of the trolley 23, etc. can be adjusted so that the distance between the arm 20 and the drone 30 is maintained at a predetermined "specific distance," thereby making it possible to obtain highly visible images that accurately capture the area to be monitored.
The "specific interval" may have a certain range. For example, the "specific interval" may be in a range from a first specific interval to a second specific interval (>first specific interval), and the arm 20 may be adjusted so that the interval between the arm 20 and the drone 30 is equal to or larger than the first specific interval and equal to or smaller than the second specific interval.
Furthermore, the control by the arm adjustment device 30 (control for adjusting the arm 20 and the trolley 23 in accordance with the drone 30) is not limited to control for maintaining the distance between the arm 20 and the drone 30 at a "specific distance." For example, a camera 83 may be fixed to the tip of the arm 20 (the trolley 23 in the example shown in FIG. 5), and the arm 20 and the trolley 23 may be adjusted so that the drone 30 falls within the shooting range of the camera 83.
1 to 4 may be capable of adjusting the length and orientation of the arm 20 by a force from the drone 30 applied via the hanging wire 60. In that case, the length and orientation of the arm 20 can be adjusted in accordance with the movement of the drone 30 without using the arm adjustment device 80, so the imaging device 2 does not need to be equipped with the arm adjustment device 80.
5 may be capable of adjusting the rotation angle of the arm 20 and the position of the trolley 23 by a force from the drone 30 applied via the suspending wire 60. In that case, the imaging device 2 does not need to be provided with the arm adjustment device 80.

また、本実施形態に係る撮影装置2は、ドローン30とアーム20とを接続する吊下げワイヤ60(吊下部材)と、吊下げワイヤ60が巻回されるワイヤドラム61(ドラム)と、を備え、ワイヤドラム61は、吊下げワイヤ60を巻き取る方向に付勢されている。
すなわち、吊下げワイヤ60の延出部分は伸縮自在である。例えば、延出部分が伸縮自在でない場合には、ドローン30による撮影可能範囲を拡げるために延出部分を長くすると、ドローン30が墜落する可能性が高くなり、ドローン30の墜落を防止するために延出部分を短くすると、ドローン30による撮影可能範囲が狭くなり、監視したい箇所を的確に捉えた視認性の高い映像を取得できない可能性が高くなる。これに対し、本実施形態に係る撮影装置2においては、延出部分が伸縮自在であるので、ドローン30の墜落を防止しつつ、監視したい箇所を的確に捉えた視認性の高い映像を取得することができる。
なお、吊下部材は、ワイヤに限定されるものではなく、ドラムに巻回可能なものであれば、例えば、ロープ、ケーブル、チェーン等であってもよい。
また、吊下部材は、ドラムに巻回されたものに限定されない。例えば、吊下部材の一端部をドローン30に接続するとともに、吊下部材の他端部をアーム20に直接接続してもよい。その場合、吊下部材は、伸縮自在の部材(例えば、一部又は全部がコイル状に形成されたワイヤ)であることが好ましい。
In addition, the imaging device 2 in this embodiment is equipped with a hanging wire 60 (hanging member) that connects the drone 30 and the arm 20, and a wire drum 61 (drum) around which the hanging wire 60 is wound, and the wire drum 61 is biased in the direction of winding up the hanging wire 60.
That is, the extending portion of the suspension wire 60 is extendable. For example, if the extending portion is not extendable, lengthening the extending portion to expand the range that can be photographed by the drone 30 increases the possibility that the drone 30 will crash, and shortening the extending portion to prevent the drone 30 from crashing narrows the range that can be photographed by the drone 30, increasing the possibility that highly visible images that accurately capture the area to be monitored cannot be obtained. In contrast, in the imaging device 2 according to this embodiment, the extending portion is extendable, so it is possible to prevent the drone 30 from crashing while obtaining highly visible images that accurately capture the area to be monitored.
The suspension member is not limited to a wire, but may be, for example, a rope, cable, chain, etc., as long as it can be wound around a drum.
In addition, the suspending member is not limited to being wound around a drum. For example, one end of the suspending member may be connected to the drone 30, and the other end of the suspending member may be directly connected to the arm 20. In this case, the suspending member is preferably an expandable member (for example, a wire partially or entirely formed into a coil shape).

また、本実施形態に係る撮影装置2は、ドローン30に接続された給電ケーブル70を備えている。
したがって、ドローン30へ常時給電することが可能であり、充電の必要がないので、長時間に亘る作業を中断することなく監視することができる。
なお、吊下部材が、給電ケーブルとして機能するようにしてもよい。
In addition, the imaging device 2 according to this embodiment is equipped with a power supply cable 70 connected to the drone 30.
Therefore, it is possible to supply power to the drone 30 at all times and there is no need for charging, so monitoring can be performed for long periods of time without interruption.
The hanging member may function as a power supply cable.

また、本実施形態に係る監視システム1は、建設機械10周辺を監視する監視システムであって、建設機械10に取り付けられたアーム20と、飛行自在にアーム20から吊り下げられたドローン30(飛行体)と、ドローン30によって撮影された映像を表示する表示部44,54(表示手段)と、を備えている。
したがって、ドローン30は、アーム20から吊り下げられた状態で飛行することができるので、墜落の心配がなく、さらに、建設機械10の振動の影響が少ない視認性の高い映像を取得することができる。
また、ドローン30は、アーム20から吊り下げられているとともに、当該アーム20を介して建設機械10に接続されているので、建設機械10の作業現場が、狭隘かつ送風機からの風の影響用が大きいトンネル坑内や、風が強い場所や、障害物が多い場所等であっても、作業現場に到着するまでの間や、作業現場で撮影している間に、建設機械10から逸れてしまう、墜落してしまう等の不都合の発生を抑制することができ、監視用の映像を安定的に取得することができる。
また、建設機械10とは別に、ドローン30を作業現場へ運ぶための運搬用の機械を用意する必要もないし、ドローン30の飛行をガイドするためのガイドラインを張設する必要もない。
なお、ドローン30によって撮影された映像を表示可能な表示手段は、飛行体遠隔操作装置40及び建設機械遠隔操作装置50とは別の装置に設けられていてもよい。その場合、飛行体遠隔操作装置40及び建設機械遠隔操作装置50の少なくとも一方は、表示手段を備えていなくてもよい。
In addition, the monitoring system 1 in this embodiment is a monitoring system that monitors the area around the construction machine 10, and includes an arm 20 attached to the construction machine 10, a drone 30 (air vehicle) suspended from the arm 20 so as to be able to fly freely, and display units 44, 54 (display means) that display images captured by the drone 30.
Therefore, the drone 30 can fly while suspended from the arm 20, so there is no need to worry about it falling, and furthermore, highly visible images can be obtained that are less affected by the vibrations of the construction machine 10.
In addition, because the drone 30 is suspended from the arm 20 and connected to the construction machine 10 via the arm 20, even if the work site of the construction machine 10 is a narrow tunnel that is greatly affected by the wind from the blower, or a windy place or a place with many obstacles, it is possible to prevent the drone from getting lost or crashing while arriving at the work site or while taking pictures at the work site, and surveillance footage can be obtained stably.
In addition, there is no need to prepare a transport machine to transport the drone 30 to the work site in addition to the construction machine 10, nor is there any need to install guidelines to guide the flight of the drone 30.
The display means capable of displaying the video captured by the drone 30 may be provided in a device separate from the air vehicle remote control device 40 and the construction machine remote control device 50. In that case, at least one of the air vehicle remote control device 40 and the construction machine remote control device 50 does not need to be provided with a display means.

また、本実施形態に係る監視システム1は、建設機械10を遠隔操作するための建設機械遠隔操作装置50(建設機械遠隔操作手段)を備えている。
したがって、建設機械10の無人化運転が可能となる。
The monitoring system 1 according to this embodiment also includes a construction machine remote control device 50 (construction machine remote control means) for remotely controlling the construction machine 10 .
Therefore, unmanned operation of the construction machine 10 becomes possible.

また、本実施形態に係る監視システム1は、ドローン30を遠隔操作するための飛行体遠隔操作装置40(飛行体遠隔操作手段)を備えている。
したがって、監視用の映像としてオペレータ所望の映像を表示部44,54に表示することができる。
In addition, the monitoring system 1 according to this embodiment is equipped with an aircraft remote control device 40 (aircraft remote control means) for remotely controlling the drone 30.
Therefore, an image desired by the operator can be displayed on the display units 44 and 54 as a monitoring image.

1 監視システム
2 撮影装置
10 建設機械
20 アーム
21 架台(自在継手機構)
23 トロリー(移動手段)
30 ドローン(飛行体)
31 カメラ(撮影手段)
40 飛行体遠隔操作装置(飛行体遠隔操作手段)
44 表示部(表示手段)
50 建設機械遠隔操作装置(建設機械遠隔操作手段)
54 表示部(表示手段)
60 吊下げワイヤ(吊下部材)
61 ワイヤドラム(ドラム)
70 給電ケーブル
80 アーム調整装置(アーム調整手段)
1 Surveillance system 2 Imaging device 10 Construction machine 20 Arm 21 Mount (universal joint mechanism)
23 Trolley (means of transportation)
30 Drones (Flying Objects)
31 Camera (photography means)
40 Aircraft remote control device (aircraft remote control means)
44 Display section (display means)
50 Construction machine remote control device (construction machine remote control means)
54 Display section (display means)
60 Hanging wire (hanging member)
61 Wire drum (drum)
70 Power supply cable 80 Arm adjustment device (arm adjustment means)

Claims (7)

建設機械周辺を撮影する撮影装置であって、
前記建設機械に取り付けられたアームと、
第1撮影手段が設けられた飛行体と、
前記アームを調整して、前記アームと前記飛行体との間隔を予め定められた特定間隔に維持するアーム調整手段と、
前記アームの先端と前記飛行体との双方が含まれる範囲を撮影することが可能な第2撮影手段と、を備え、
前記飛行体は、飛行自在に前記アームから吊り下げられており、
前記アーム調整手段は、前記第2撮影手段により取得された撮影画像データに基づいて前記アームを調整することを特徴とする撮影装置。
A photographing device for photographing an area around a construction machine,
An arm attached to the construction machine;
an aircraft provided with a first imaging means;
an arm adjustment means for adjusting the arm to maintain a distance between the arm and the aircraft at a predetermined specific distance;
and a second imaging means capable of imaging an area including both the tip of the arm and the aircraft ,
The flying object is suspended from the arm so as to be capable of flying freely,
The arm adjustment means adjusts the arm based on photographic image data acquired by the second photographing means .
前記アームは、伸縮自在であり、
前記飛行体に追従して、前記アームの長さを調整可能であることを特徴とする請求項1に記載の撮影装置。
The arm is extendable and retractable.
2. The photographing device according to claim 1, wherein the length of the arm is adjustable so as to follow the flying object.
前記アームは、自在継手機構を介して前記建設機械に取り付けられており、
前記飛行体に追従して、前記アームの向きを調整可能であることを特徴とする請求項1又は2に記載の撮影装置。
The arm is attached to the construction machine via a universal joint mechanism,
3. The imaging device according to claim 1, wherein the orientation of the arm is adjustable so as to follow the flying object.
前記アームは、旋回機構を介して前記建設機械に取り付けられており、
前記飛行体に追従して、前記アームの旋回角度を調整可能であることを特徴とする請求項1に記載の撮影装置。
The arm is attached to the construction machine via a rotating mechanism,
2. The photographing device according to claim 1, wherein the rotation angle of the arm is adjustable so as to follow the flying object.
前記アームは、当該アームに沿って移動可能な移動手段を備えており、
前記飛行体は、飛行自在に前記アームの前記移動手段から吊り下げられており、
前記飛行体に追従して、前記移動手段の位置を調整可能であることを特徴とする請求項1又は4に記載の撮影装置。
The arm includes a moving means movable along the arm,
the flying object is suspended from the moving means of the arm so as to be able to fly freely;
5. The photographing apparatus according to claim 1, wherein the position of the moving means is adjustable so as to follow the flying object.
前記飛行体と前記アームとを接続する吊下部材と、
前記吊下部材が巻回されるドラムと、を備え、
前記ドラムは、前記吊下部材を巻き取る方向に付勢されていることを特徴とする請求項1からのいずれか一項に記載の撮影装置。
A suspension member that connects the aircraft and the arm;
a drum around which the suspension member is wound,
6. The photographing device according to claim 1 , wherein the drum is biased in a direction in which the hanging member is wound up.
建設機械周辺を監視する監視システムであって、
前記建設機械に取り付けられたアームと、
飛行自在に前記アームから吊り下げられた飛行体と、
前記飛行体に設けられた第1撮影手段によって撮影された映像を表示する表示手段と、
前記アームを調整して、前記アームと前記飛行体との間隔を予め定められた特定間隔に維持するアーム調整手段と、
前記アームの先端と前記飛行体との双方が含まれる範囲を撮影することが可能な第2撮影手段と、を備え
前記アーム調整手段は、前記第2撮影手段により取得された撮影画像データに基づいて前記アームを調整することを特徴とする監視システム。
A monitoring system for monitoring the periphery of a construction machine,
An arm attached to the construction machine;
a flying object suspended from the arm so as to be capable of flying;
A display means for displaying an image captured by a first image capturing means provided on the aircraft;
an arm adjustment means for adjusting the arm to maintain a distance between the arm and the aircraft at a predetermined specific distance;
and a second imaging means capable of imaging an area including both the tip of the arm and the aircraft ,
The monitoring system according to claim 1, wherein the arm adjustment means adjusts the arm based on photographed image data acquired by the second photographing means .
JP2022000041A 2022-01-04 2022-01-04 Imaging equipment and monitoring system Active JP7682112B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022000041A JP7682112B2 (en) 2022-01-04 2022-01-04 Imaging equipment and monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022000041A JP7682112B2 (en) 2022-01-04 2022-01-04 Imaging equipment and monitoring system

Publications (2)

Publication Number Publication Date
JP2023099877A JP2023099877A (en) 2023-07-14
JP7682112B2 true JP7682112B2 (en) 2025-05-23

Family

ID=87114009

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022000041A Active JP7682112B2 (en) 2022-01-04 2022-01-04 Imaging equipment and monitoring system

Country Status (1)

Country Link
JP (1) JP7682112B2 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027355A (en) 2015-07-22 2017-02-02 鹿島建設株式会社 Monitoring device
JP2018039675A (en) 2017-10-26 2018-03-15 株式会社フジタ Construction machinery
JP2018149973A (en) 2017-03-14 2018-09-27 富士通株式会社 Aircraft operation system, crane apparatus control method, and control program
WO2019123800A1 (en) 2017-12-21 2019-06-27 住友重機械工業株式会社 Crane and power electronics equipment
JP2020063121A (en) 2018-10-16 2020-04-23 光司商会株式会社 Rotation suppression device and crane operation system
WO2020100945A1 (en) 2018-11-13 2020-05-22 本郷飛行機株式会社 Moving body
US20200180763A1 (en) 2017-06-09 2020-06-11 Liebherr-Werk Biberach Gmbh Method and device for lifting a load

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6186391A (en) * 1984-10-04 1986-05-01 株式会社クボタ Hydraulic winch tension control device
JPH0198596A (en) * 1987-10-09 1989-04-17 Norin Kikai Kenkyusho:Kk Three beam type hydraulic crane

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017027355A (en) 2015-07-22 2017-02-02 鹿島建設株式会社 Monitoring device
JP2018149973A (en) 2017-03-14 2018-09-27 富士通株式会社 Aircraft operation system, crane apparatus control method, and control program
US20200180763A1 (en) 2017-06-09 2020-06-11 Liebherr-Werk Biberach Gmbh Method and device for lifting a load
JP2018039675A (en) 2017-10-26 2018-03-15 株式会社フジタ Construction machinery
WO2019123800A1 (en) 2017-12-21 2019-06-27 住友重機械工業株式会社 Crane and power electronics equipment
JP2020063121A (en) 2018-10-16 2020-04-23 光司商会株式会社 Rotation suppression device and crane operation system
WO2020100945A1 (en) 2018-11-13 2020-05-22 本郷飛行機株式会社 Moving body

Also Published As

Publication number Publication date
JP2023099877A (en) 2023-07-14

Similar Documents

Publication Publication Date Title
JP6466669B2 (en) Work robot system and control method of work robot system
JP3217820U (en) Drone
JP6262318B1 (en) Cable inspection device
JP2016199144A (en) Unmanned vehicle system, ground unmanned vehicle, and unmanned flight vehicle
WO2019198768A1 (en) Unmanned aerial vehicle
JP6085520B2 (en) Remotely controlled unmanned air vehicle
JP6213968B2 (en) Shooting unit
JP7119032B2 (en) Overhead line maintenance work system
JP2010006089A (en) Aerial photographing device of disaster-stricken, damaged and deteriorated state of facility such as for lifeline
US12344401B2 (en) Crane, crane body, and mobile unit
KR101918287B1 (en) Wired dron with gas balloon
JP6583900B1 (en) Rotation suppression device and crane work system
CN113942940B (en) Three-dimensional augmented reality video control device for intelligent tower crane control
WO2019173228A1 (en) Stability systems for tethered unmanned aerial vehicles
WO2021193919A1 (en) Crane, crane body and program
CN103873848B (en) Three-dimensional ropeway platform for video camera and apply the three-dimensional ropeway camera system of this platform
CN116161251B (en) UAV inspection method
JP7682112B2 (en) Imaging equipment and monitoring system
CN113911914B (en) Sensing equipment and method for automatic grabbing process of tower crane lifting hook
CN112912332B (en) Crane device
CN108975165B (en) Tower crane monitoring system and method and tower crane
JP2023105960A (en) Support equipment and systems
JP7731164B2 (en) Winch System
JP2021054605A (en) Monitoring system
JP2025159113A (en) Winch System

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20241017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250513

R150 Certificate of patent or registration of utility model

Ref document number: 7682112

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150