本発明を実施するための形態を説明する。
(実施例1)
図1は、本発明の農作業機の実施例1のブロック図である。農作業機は作業部で農作業を行う作業機をトラクタ1の後部に装着して農作業を行う。
実施例1では、GNSSユニット11、オフセット回動量センサ12、作業部回動量センサ13、画像センサユニット15、制御ユニット20、オフセット回動アクチュエータ31、作業部回動アクチュエータ32、ガイド装置35、操作・表示部36を有している。また必要に応じて、記録メディア41、PC・情報端末42を有していてもよい。画像センサユニット15は、画像センサ16、3次元距離センサ17を有している。制御ユニット20は、制御部21、演算部22、慣性センサユニット23、方位センサ24、記録部25、データ入出力部26を有している。
トラクタ1は、ハンドル8を備えている。さらに、トラクタ1は、GNSSユニット3、ガイド装置4、記憶部5、データ入出力部6、自動操舵補助システム7を備えていてもよい。これらは、トラクタ1に元々付属される装置を用いることができる。
ユーザー201は、基本的には、トラクタ1の運転席にいて、ガイド装置35又は操作・表示部36又はガイド装置4を確認や操作することができる。そして、これらの情報に基づきハンドル8等を操作する。なお、自動操舵補助システム7を使用する場合は、ハンドル8を操作しなくてもよい場合がある。
GNSSユニット11は、トラクタ1又は作業機側に備えることができる位置検出部である。GNSSユニット11は、測位用衛星301や地上基地局302からの測位信号を受信して、信号処理を行い現在の位置を特定することができる。GNSSユニット11は、例えば、GPS(Global Positioning System)、QZSS(Quasi-Zenith Satellite System)、GLONASS(Global Navigation Satellite System)、Galileo等の衛星測位システムを利用したユニットである。
オフセット回動量センサ12は、オフセット回動アクチュエータ31による変化を検知し、作業機の作業部のオフセット量や作業部の状態を検知できるセンサである。例えば、ポテンショメータを用いることができる。またこれ以外に、オフセット回動アクチュエータ31がシリンダの場合は、このシリンダのストロークを検知するストロークセンサを用いることもできる。また、リミットスイッチやロータリスイッチを用いてもよい。
作業部回動量センサ13は、作業部回動アクチュエータ32による変化を検知し、作業機の作業部の回動量や作業部の状態を検知できるセンサである。オフセット回動量センサ12と同様のセンサを用いることができる。
画像センサ16は、測定範囲内の画像を取得し、3次元距離センサ17で取得した各画素の位置(距離)情報にプラスして画像処理により圃場の状況(例えば元畦の状況等)を検知できる。圃場の状況は、3次元距離センサ17で元畦以外の形状を把握することに加えて、周囲の元畦とは異なる輝度・色・スペクトル情報から判断する。画像センサ16の情報は、GNSSユニット11、慣性センサユニット23、方位センサ24で得られた高精度測位情報を基準として、3次元距離センサ17で取得した各画素の位置(距離)情報に、追加で情報を付加することが可能となる。例えば、画像センサ16により取得した、対象物の輝度・色・スペクトル等の情報から、元畦自体の状況や元畦に関連した状況を判別し、マップ内に記憶することで、畦際の詳細な情報がマップに盛り込め、畦塗り作業時等の注意喚起が可能になる。さらに、次工程以降(例えば、耕耘、施肥、播種もしくは代掻き、稲刈、草刈り、翌年の畦塗り作業等)に活用できる。ここで、元畦自体の状況は、例えば、草で覆われている、防草シートやマルチで覆われている等である。元畦に関連した状況は、例えば、取水口や排水口、コンクリートブロックや石、プラスチックのパイプ、金属製のバルブ等が存在する等である。畦以外の圃場の状況も同様に検知できる。
画像センサ16は、赤外線カメラ、RGBカメラ、スペクトルカメラ等を適用できる。赤外線カメラであれば、例えば、白黒画像から各画素の輝度情報を取得する。RGBカメラであれば、例えば、RGB画像から各画像の色値情報を取得する。スペクトルカメラであれば、スペクトル画像から各画素の分光分析情報を取得する。画像センサ16は、3次元距離センサ17と同じレンズを用いる構成としてもよい。画像センサ16は、作業機における作業部の進行方向の前方を撮影する。トラクタ1を前進させる際は、トラクタ1の前端よりもさらに前方までの範囲を撮影できるように検出範囲を設定することができる。
3次元距離センサ17は、このセンサの計測範囲内の各画素に対して距離情報が得られるセンサである。GNSSユニット11、慣性センサユニット23、方位センサ24で得られた高精度測位情報を基準として3次元距離センサ17で取得した各画素の位置(距離)情報をマップ内に取り込み、圃場(例えば畦塗り機であれば、畦際等)の3次元情報(3Dマップ)を作成することが可能となる。3次元距離センサ17は、例えば、TOF(Time of Flight)センサ、ステレオカメラ、LiDAR(Light Detection And Ranging)等である。3次元距離センサ17は、作業機における作業部の進行方向の前方を計測する。トラクタ1を前進させる際は、トラクタ1の前端よりもさらに前方までの範囲を計測するように検出範囲を設定することができる。
制御ユニット20は、制御部21、演算部22、慣性センサユニット23、方位センサ24、記録部25、データ入出力部26を、コントロールボックスとしてボックス内に格納して構成してもよい。
制御部21は、GNSSユニット11、オフセット回動量センサ12、作業部回動量センサ13、画像センサユニット15、慣性センサユニット23、方位センサ24で検知した情報の信号を入力する。また、操作・表示部36からの操作による信号も入力する。そして、必要な情報を操作・表示部36やガイド装置35へ出力する。さらに、オフセット回動アクチュエータ31と作業部回動アクチュエータ32の制御も行う。また、トラクタ1にGNSSユニット3を有している場合は必要に応じてGNSSユニット3から検知した情報の信号を入力する。トラクタ1にガイド装置4を有している場合は必要に応じてガイド装置4へ必要な情報を出力する。制御部21は、制御のために必要な電子デバイス等で構成される。
演算部22は、制御部21で入力した情報に基づき、マップ作成等の必要な演算処理を行う。処理の内容は後述する。演算部22は、CPU(中央処理装置)やメモリ等、演算処理のために必要な電子デバイス等で構成される。
慣性センサユニット23は、作業機の姿勢変化・加速度変化を計測する慣性センサである。GNSSユニット11で測位した位置に対して、マップ内での精度向上のための補正に使用する。GNSS測位結果に対して、進行する方向変化または速度変化を計測・計算してより高精度な位置情報としてマップ作成の基準として利用できるようになる。慣性センサユニット23は、例えば、3軸ジャイロセンサ及び3軸加速度センサによる構成が適用できる。
方位センサ24は、作業機の向いている方位を計測するセンサである。GNSSユニット11で測位した位置に対して、マップ内での精度向上のための補正に使用する。GNSSの測位結果に対して作業機の向いている方向について計測し、慣性センサユニット23におけるジャイロセンサの検出結果と合わせて計算することでより高精度な位置情報としてマップ作成の基準として利用できるようになる。例えば、3軸磁気センサによる構成が適用できる。
記録部25は、制御部21や演算部22で必要な情報を記憶し、作成したマップ情報を記憶することができる。また、過去の制御や演算に関する情報を記憶しておいて、演算部22の処理や制御部21の制御に反映させてもよい。記録部25は、例えばHDD(Hard Disk Drive)やSSD(Solid State Drive)等の適した記憶装置で構成できる。
データ入出力部26は、記録部25に記憶した情報を、外部の記録メディア41やPC・情報端末42へ出力する。これによりデータの保管や確認や、外部機器での出力が可能となる。
オフセット回動アクチュエータ31は、農作業を行う作業機の作業部のオフセットをするためのアクチュエータである。
作業部回動アクチュエータ32は、農作業を行う作業機の作業部を回動させて、前進作業方向や後進作業方向に回動させることを可能とするためのアクチュエータである。
オフセット回動アクチュエータ31と作業部回動アクチュエータ32は、作業機に設けられており、制御部21により制御される。アクチュエータは、例えば、電動油圧シリンダ、油圧シリンダ、モータ等があげられる。なお、これらのアクチュエータは、これらの組合せに限定されなくてもよい。例えば、作業機を前進作業状態、格納状態、後進作業状態にするためのアクチュエータの組み合わせであればよい。
ガイド装置35は、必要に応じて操作・表示部36に加えて、操作・表示部36に対して外付けするなどして設置される。例えば、操作・表示部36に加えて表示部を有するガイド装置35として用いることや、操作・表示部36の表示部の代わりにガイド装置35の表示部を用いること等である。この場合、ガイド装置35は、トラクタの運転や操作・表示部36の操作を案内するためのガイド機能を有する装置となる。さらに、制御部21からマップ情報を取得してマップ情報の表示を行うようにしてもよい。
操作・表示部36は、トラクタ1の運転席近傍に配置可能であり、操作部と表示部を有している。そして、操作部の操作により、遠隔でオフセット回動アクチュエータ31や作業部回動アクチュエータ32等の作業機に有するアクチュエータの操作が可能となっている。また、トラクタ1の運転や操作・表示部36の操作の方法を案内したり作業機の状態を表示したりするための表示部を有している。また、音声で案内するための音声出力部を有していてもよい。操作・表示部36からの操作情報に関する信号は制御部21へ送られ、また、運転や操作の案内の情報は制御部21から送られる。このとき、制御部21との情報のやりとりは、有線又は無線で行うようにすればよい。さらに、操作・表示部36は、ガイド装置35の機能を有していてもよく、制御部21からマップ情報を取得してマップ情報の表示を行うようにしてもよい。操作・表示部36には、タッチパネルや液晶画面、有機EL画面、操作ボタン等の各種の構成が適用できる。
GNSSユニット3は、トラクタ1にGNSSユニット3を有している場合に利用可能である。基本的な構成はGNSSユニット11と同様であるが、GNSSユニット3の場合は、トラクタ1での取り付け位置を確認して、それと基準位置との距離をふまえて位置を補正する必要がある。
ガイド装置4は、トラクタ1にガイド装置4を有している場合に利用可能である。基本的な構成はガイド装置35と同様であるが、トラクタ1に自動操舵補助システム7を有している場合はそちらに操舵信号を送信してもよい。また、必要に応じて記憶部5に記録した情報を用いたり、データ入出力部6からデータを出力したりすることも可能である。
自動操舵補助システム7は、トラクタ1に自動操舵補助システム7を有している場合に利用可能である。この場合、ガイド装置4から、操舵信号を受信して、それに基づき自動でトラクタ1の操舵を行うことを可能とする。自動操舵補助システム7は、ハンドル8を自動で操作することが可能である。この自動操舵補助システム7は、作成した3Dマップに基づいてトラクタ1の操舵を行うようにしてもよい。
図2は、本発明の農作業機の実施例1の作業状態を示す平面図である。図3は、本発明の農作業機の実施例1の作業状態を示す側面図である。
図2、3では、農作業を行う作業機として畦塗り機50を適用する。ここで、図2の左右方向が畦塗り機50の横方向(左右)であり、図2の上方向が畦塗り機50の前方向(進行方向)である。図3の右方向が畦塗り機50の前方向(進行方向)であり、図3の上下方向が畦塗り機50の上下方向である。なお、トラクタ1の図は簡略化した図となっている。
畦塗り機50は、前部に備えられる装着部51をトラクタ1の後部に接続して装着する。装着部51と中間フレーム52は、水平方向に回動可能な支点52aにより連結され、中間フレーム52と作業部58は、水平方向に回動可能な支点52bにより連結されている。第1電動油圧シリンダ54は、装着部51と中間フレーム52の間に接続されている。第2電動油圧シリンダ55は、作業部58と中間フレーム52と連動するリンク機構53の間に接続されている。
作業部58は、作業方向前側から耕耘部56、ディスク部57を有している。作業時は、トラクタ1から伝達された動力により耕耘部56で旧畦の土を盛り上げ、ディスク部57の回転により畦形状に形成する。耕耘部56は、複数の爪56aが回転して土を盛り上げる。ディスク部57は、畦の法面を形成する本体ディスク部57aと、畦の上面を形成する上面ディスク部57bを有している。
画像センサユニット15は、作業部58に固定され、上部に延びるフレーム61を介して取り付けられる。これにより、作業部58の高い位置から作業部58の進行方向の前方を画像センサ16や3次元距離センサ17を用いて検知する。図2では、画像センサユニット15は、前後方向はディスク部57付近で、左右方向は耕耘部56の前後方向に形成される軸付近(ディスク部57近傍)に設けられている。
また、GNSSユニット11と制御ユニット20は、装着部51に設置されている。ここで、装着部51は、第1電動油圧シリンダ54や第2電動油圧シリンダ55を作動させて作業部58を移動させても、トラクタ1に対する位置は変化しない位置となる。なお、GNSSユニット11は、装着部51でなくても、装着部51に対して移動しない部分に設置すればよい。このことで、作業部58を装着部51に対して移動しても位置がずれなくなる。
図2、3の状態は前進作業状態である。前進作業状態は、作業部58がトラクタ1の横方向の全幅よりも外側(右側)にはみ出して構成している。このことで、トラクタ1の横側の旧畦101に対して、新畦102を形成することが可能となる。画像センサユニット15の画像センサ16や3次元距離センサ17は、トラクタ1の横方向の全幅よりも外側(右側)にはみ出した位置に設けられている。これにより、前方の旧畦101やその周辺部を画像センサユニット15で検知することが可能となる。また、作業部58の外側へのはみ出し量(オフセット量)は、第1電動油圧シリンダ54により調整できるようになっている。
図2の状態から第1電動油圧シリンダ54を縮めると作業部58が、トラクタ1の幅方向中央に位置する格納状態となる。格納状態から、第2電動油圧シリンダ55を伸ばすと作業部58が前後反転して、トラクタ1の横方向の全幅よりも反対側(左側)にはみ出す後進作業状態となる。後進作業状態の場合は、トラクタ1の後ろ側が作業部58の進行方向となりトラクタ1を後進させながら作業を行う。ここで、オフセット回動アクチュエータ31は第1電動油圧シリンダ54、作業部回動アクチュエータ32は第2電動油圧シリンダ55に相当する。
トラクタ1側には、操作・表示部36を備えている。また、操作・表示部36は、ガイド装置35の機能を有していてもよい。さらに、トラクタ1側には、トラクタ制御部80を備えており、制御ユニット20と接続されて情報のやりとりが可能となる。トラクタ制御部80は、トラクタ1に関する情報を送ることが可能となる。トラクタ1に関する情報としては、例えば、車速、PTO(Power take-off)回転数、位置情報、旋回情報等があげられる。
図4は、本発明の農作業機の実施例1の初期設定の一例を示すフローチャートである。ここでの処理は、演算部22で行う。以下、図4~7において、図中の丸で囲まれた同じアルファベット同士が接続する構成である。
最初に初期設定の確認を行い(S101)、初期設定の情報を保有しているか否かを判別する(S102)。初期設定がない場合はS103へ行き、初期設定がある場合はS121へ行く。
S103では、初期設定のフローを開始し、最初にトラクタ情報の設定を行う(S104)。そして、トラクタ設定項目の表示を行い(S105)、トラクタ設定値が入力される(S106)。トラクタ設定項目は、操作・表示部36に表示させ、ユーザー201が設定値を入力できるようにする。
次に、作業機情報の設定を行う(S107)。作業機設定項目の表示を行い(S108)、作業機設定値が入力される(S109)。作業機設定項目は、操作・表示部36に表示させ、ユーザー201が設定値を入力できるようにする。
次に、マッピング情報設定を行う(S110)。マッピング設定項目の表示を行い(S111)、マッピング設定値が入力される(S112)。マッピング設定項目は、操作・表示部36に表示させ、ユーザー201が設定値を入力できるようにする。これで初期設定が完了する(S113)。
S121では、作業者に設定情報報知を行う。最初にトラクタ情報を表示し(S122)、作業者の確認入力を行う(S123)。トラクタ情報はトラクタ設定項目に関する情報であり、操作・表示部36に表示させる。ユーザー201(作業者)はその情報でよいかを確認して、承認する操作を行う。
次に、作業機設定情報を表示し(S124)、作業者の確認入力を行う(S125)。作業機設定情報は作業機設定項目に関する情報であり、操作・表示部36に表示させる。ユーザー201(作業者)はその情報でよいかを確認して、承認する操作を行う。
次に、マッピング設定情報を表示し(S126)、作業者の確認入力を行う(S127)。マッピング設定情報はマッピング設定項目に関する情報であり、操作・表示部36に表示させる。ユーザー201(作業者)はその情報でよいかを確認して、承認する操作を行う。これで初期設定が完了する(S128)。
図5は、本発明の農作業機の実施例1のマッピング準備を示すフローチャートである。図4のフローチャートに対して丸で囲まれた「A」の部分で接続されている。
3D(三次元)マッピングの準備を開始する(S201)と、まず各センサの作動準備を行う(S202)。
次に、測位方法の判断を行う(S203)。作業機側に備えるGNSSユニット11のみを使用する場合はS205へ行く。トラクタ1側に備えるGNSSユニット3を併用する場合はS204へ行き、GNSSユニット3のアンテナ位置情報を読み込む。ここでのアンテナ位置は、作業機側の基準点やGNSSユニット11と、どの程度ずれているかを確認することで位置検出の処理に活用できる。
次に、S205では、受信状態を判断する。受信状態が測位できない程度と判定する場合は、S221へ行く。受信状態が低精度で測位可能な状態である場合はS206へ行く。受信状態が高精度で測位可能な状態である場合はS231へ行く。
S206では、低精度測位状態のフラグを設定する。この場合、低精度測位状態の情報に基づき、処理に反映することが可能となる。S231では、高精度測位状態のフラグを設定する。この場合、高精度測位状態の情報に基づき、処理に反映することが可能となる。S206と、S231の次は、いずれもS207へ行く。
S221では、受信状態不良情報を作業者に報知する。受信状態不良情報の報知は、受信状態が悪いために測位ができない旨の情報を操作・表示部36やガイド装置35を用いて行う。
S207では、作業部の位置を判断する。ここでの判定は、オフセット回動量センサ12や作業部回動量センサ13等の状態センサを用いることができる。作業部の位置の計測が不可能な場合はS222へ行く。作業部の位置が作業位置の場合はS208へ行く。ここでの作業位置は、畦塗り機50であれば、前進状態又は後進状態が該当する。作業部の位置が非作業位置であれば、S232へ行く。ここでの非作業位置は、畦塗り機50であれば、格納状態が該当する。
S222では、状態センサ不良情報を作業者に報知する。状態センサ不良情報は、状態センサが正しく検知しないために作業部の位置を判定できない旨の情報である。この情報を操作・表示部36やガイド装置35を用いて作業者に報知する。
S232では、非作業状態情報を作業者に報知する。非作業状態情報の報知は、作業部が非作業状態(非作業位置)であることの情報を、操作・表示部36やガイド装置35を用いて行う。そして、3Dマッピングの準備処理を中断して(S233)、通常モードに切り替えて(S234)、処理が終了する。ここで、通常モードは、3Dマッピングを行わないで通常作業するときのモードである。
S208では、慣性センサの状態を判断する。ここでは、慣性センサユニット23の慣性センサの状態について判定し、計測不可の場合はS223へ、計測可能の場合はS209へ行く。
S223では、慣性センサ不良情報を作業者に報知する。慣性センサ不良情報は、慣性センサが正しく検知しない旨の情報である。この情報を操作・表示部36やガイド装置35を用いて作業者に報知する。
S209では、3Dセンサの状態を判断する。ここでは、3次元距離センサ17の状態について判定し、計測不可の場合はS224へ、計測可能の場合はS210へ行く。
S224では、3Dセンサ不良情報を作業者に報知する。3Dセンサ不良情報は、3次元距離センサ17が正しく検知しない旨の情報である。この情報を操作・表示部36やガイド装置35を用いて作業者に報知する。
S210では、光学センサの状態を判断する。光学センサは、画像センサ16が該当する。ここでは、光学センサの状態について判定し、計測不可の場合はS225へ、計測可能の場合はS211へ行く。
S225では、光学センサ不良情報を作業者に報知する。光学センサ不良情報は、光学センサが正しく検知しない旨の情報である。この情報を操作・表示部36やガイド装置35を用いて作業者に報知する。
S221、S222、S223、S224、S225の次は、3Dマッピングの準備処理を中断して(S226)、通常モードに切り替えて(S227)、処理が終了する。
S211では、作業部の位置を検出する。この検出は、状態センサ(オフセット回動量センサ12及び作業部回動量センサ13)を用いて、GNSSユニット11に対する位置から検出することができる。
次のS212では、作業部位置検出値を基準値に設定する。この情報は、記録部25に記録することができる。
次のS213では、作業機位置測位を行い、その次のS214で作業機位置を算出する。これは、GNSSユニット11やGNSSユニット3を用いて、作業機の位置を測位する。GNSSユニット3を用いる場合はトラクタ1側に設置されているため位置を補正する。
次のS215では、作業機位置算出値をマップ原点に設定する。マップ原点は、3Dマップ作成を開始する際の基準点である。これにより、3Dマップ作成の基準点を定めることになる。
次のS216では、メモリ・外部メディアに3Dマップファイル保存して、3Dマッピング準備が完了する(S217)。ファイルの保存は、記録部25や記録メディア41に保存できる。
図6は、本発明の農作業機の実施例1のマッピングを示す第1のフローチャートである。図5に対して、丸で囲まれた「B」の部分で接続されている。ここでの処理は演算部22で行う。
S301では、3Dマッピングを開始する。ここでの3Dマッピングは、作業機の作業部が作業をしながらマッピングを行う。例えば、畦塗り機50であれば、作業部58で畦塗り作業を行いながらマッピングを行う。
次のS302では、3Dセンサで距離画像データを検出する。ここでは、3次元距離センサ17を用いる。
次のS303では、距離画像データを点群データに変換する。これは、3Dセンサ(3次元距離センサ17)で得られた、各画素に対応する距離情報から、3Dセンサの位置を基準とした3次元情報を得るために行う。点群データは、距離画像データにおいて、各画素の位置情報+距離情報(H,V,LHV)に基づいて算出される3Dセンサの位置を基準とした3次元情報(X,Y,Z)である。
次のS304では、マップ原点に対応する点群データを記憶する。これは、3Dマップ作成の基準点に対する3Dセンサの検出結果に基づいて得られた3次元情報を取り込み、3次元地形情報を作成するために行う。マップ原点はS215で設定されている。
次のS305では、画像センサで画像データを検出する。ここでの画像センサは、画像センサ16であり、これにより画像データを取得する。
次のS306では、点群データに画像情報を付加する。これは、対象物の輝度・色・スペクトル等の情報から、圃場の状況を判別するために行う。例えば、元畦の状況(草で覆われている、防草シートやマルチで覆われている等)や元畦以外のもの(取水口や排水口、コンクリートブロックや石、プラスチックのパイプ、金属製のバルブ等)を判別し、マップ内に記憶することで、畦際の詳細な情報がマップに付加される。また、画像情報は、3次元距離センサ17の画角と同じ画角の画像情報とするとよい。3次元距離センサ17と同一レンズによる撮像であればそのまま各画素の距離情報と画像情報が対応する。一方、別置きレンズによる撮像の場合は、センサ間の位置関係を予め設定しておき、画角や撮像範囲を補正したうえで距離情報と画像情報を対応させる。
次のS307では、マップ原点前方の3Dマップを記憶する。ここでの3Dマップは、S302~S306における距離画像データ、点群データ、画像データ等に基づいて作成された3Dマップである。記憶は記録部25に行う。
次のS308では、3Dマップファイルを上書き保存する。3Dマップファイルは、今までに作成されたマップにS307のマップ原点前方の3Dマップを追加して、全体的な3Dマップ構築していくことができる。
次のS309では、作業部の位置検出を行う。この検出は、状態センサ(オフセット回動量センサ12及び作業部回動量センサ13)を用いて、GNSSユニット11(又はGNSSユニット3)に対する位置から検出することができる。この計測により、S211で検出した作業部の位置に変化がある場合はS310へ、変化がない場合はS311へ行く。そして、作業部の位置検出が不可能な場合はS321へ行く。
S321は、図5のS222と同様である。
S310では、作業部位置検出値に基準値を変更する。ここで、「基準値」とは、3次元距離センサ17から得られる3D情報に位置補正をするための基準となる値である。具体的には、GNSS(GNSSユニット11やGNSSユニット3)アンテナ搭載位置に対する3次元距離センサ17を搭載している箇所(作業部)の相対位置を用いて、GNSSで測位した位置情報に対して位置補正を行う。これは、3次元距離センサ17が設置された作業部の相対的位置がGNSSアンテナ搭載位置に対して変化することを考慮したものである。例えば、状態センサ(オフセット回動量センサ12及び作業部回動量センサ13)の出力結果よりGNSSアンテナ搭載位置に対する3次元距離センサの相対位置(Xs,Ys,Zs)を算出して基準値とする。この基準値を用いて、得られた3次元情報の補正を行う。例えば、畦塗り機50であれば、作業部58の作業中オフセット量変化を反映する。
次のS311では、作業機の位置を測位する。これはGNSSユニット11やGNSSユニット3を用いて行うことができる。測位不可の場合はS322へ行き、測位可能の場合は測位情報を出力してS312へ行く。
S322は、図5のS221と同様である。
S312では、慣性センサを検出する。ここでは慣性センサユニット23の慣性センサを用いて、計測可能の場合は作業機加速度・角速度情報を出力してS313へ行き、計測不可の場合はS323へ行く。
S323は、図5のS223と同様である。
S313では、慣性センサ出力による測位データの補正処理を行う。慣性センサは、作業機の姿勢変化・加速度変化を計測する。このため、GNSS測位結果に対して、進行する方向変化または速度変化を計測・計算してより高精度な位置情報とする補正処理を行える。なお、方位センサ24を慣性センサに対して追加又は代替で用いてもよい。
次のS314では、作業機位置・作業部方向と実進行方向の算出を行う。これは、慣性センサユニット23や方位センサ24からの出力情報も含めて算出を行うことが可能となる。実進行方向は、作業部の方向と異なる場合がある。例えば、畦塗り機50であれば、畦の横方向からの力により実進行方向は作業部の方向に対してずれる場合も多い。このため、これらを考慮してデータを修正することで正確な3Dマップを作成できる。
次のS315では、3Dセンサで距離画像データを検出する。3Dセンサとして3次元距離センサ17を用いて、計測可能の場合は距離画像データを出力してS316へ行き、計測不可の場合はS324へ行く。
S324は、図5のS224と同様である。
S316では、画像センサで画像データを検出する。画像センサ16を用いて、計測可能の場合は画像データを出力してS317へ行き、計測不可の場合はS325へ行く。
S325は、図5のS225と同様である。S321、S322、S323、S324、S325の次は、3Dマッピングを中断して(S326)、3Dマップファイルを上書保存して(S327)、通常モードに切り替えて(S328)、処理が終了する。
S317では、距離画像データを点群データに変換する。ここでの変換はS311~S316の情報に基づき行うことができる。点群データへの変換方法はS303と同様である。
図7は、本発明の農作業機の実施例1のマッピングを示す第2のフローチャートである。図6に対して、丸で囲まれた「C」の部分で接続されている。ここでの処理は演算部22で行う。
S401は、S317の次であり、算出した作業機位置に対応した点群データを記憶する。ここでは、図6のS311で測位した作業機位置に対応してS317で変換した点群データを記憶する。記憶は記録部25に行う。この処理は、S303のマップ原点を作業機位置に代えて行うことができる。
次のS402では、点群データに画像情報を付加する。ここでは、S317で変換した点群データに対して、S316の画像データを付加する。付加の方法はS306と同様である。
次のS403では、既存の3Dマップと取得点群データとの比較を行う。ここで、既存の3Dマップは、前回サンプリング(情報取得)した3次元情報に基づいて作成された3Dマップである。ここでの比較は、移動障害物の接近や静止障害物の検出を行なうためと、連続した高精度な3Dマップとして作成するために行う。
取扱うデータ量や演算部22の演算能力に応じて3次元距離センサ17の検出値のサンプリングレートが設定される。ここで、サンプリングレートに従って、断続的に3次元情報を取得した際に、新たに計測範囲となった部分については、形状や各種画像情報から不連続な箇所(異なる箇所)があれば、移動障害物の接近や静止障害物を検出したと判定することができる。さらに、新たに計測範囲となった部分について、そのまま3Dマップに反映すると、GNSSの測位情報に各種センサの検出結果による補正をしても誤差が発生する可能性がある。この場合は、不連続な3Dマップが作成される恐れが生じる。このため、画像処理の中で移動前後の3次元情報内で特徴点の抽出と位置補正を実行することで断続的なサンプリングで得られた3次元情報を用いて、連続した高精度な3Dマップを作成することができる。例えば、実際の連続した畦際の地形をより高精度な3Dマップとして作成する。
次のS404では、S403の比較結果を判定する。比較結果に異常がない場合はS405へ行き、異常がある場合はS421へ行く。ここで異常があるかどうかは、例えば、比較したデータに不連続な部分が生じた場合は異常ありと判定して、生じない場合は異常なしと判定する。
S405では、移動距離を算出する。ここでの移動距離は、前回のサンプリングで測位した位置から、今回のサンプリングで測位した位置の移動距離である。
S421では、異常判断を行う。異常の原因が移動障害物と判定されればS422へ行き、静止障害物と判定されればS423へ行く。
S422では、移動障害物接近情報を作業者に報知する。移動障害物接近情報は、障害物自身の移動により障害物が接近したことの情報である。障害物には人や動物も含まれる。この報知は、操作・表示部36やガイド装置35を用いて行うことができる。
S423では、障害物位置・形状抽出の検出を行う。ここでの検出は、3次元距離センサ17や画像センサ16からの情報に基づいて行うことができる。
次のS424では、静止障害物接近情報を作業者に報知する。静止障害物接近情報は、圃場内で動かない障害物に作業機が接近していることの情報である。例えば、取水口や排水口、コンクリートブロックや石、プラスチックのパイプ、金属製のバルブ等である。
次のS425では、既存3DマップにS423で検出した障害物のデータを追加する。
S405とS422とS425の後はS406へ行く。
S406では、既存3Dマップに計測基準点を追加する。計測基準点は、各サンプリング時点での3Dマップ原点に対する3次元距離センサ17の位置である。ここで、作業部に搭載された3次元距離センサ17はトラクタ1の走行に伴い移動していくためその移動を考慮したものである。具体的には、前回サンプリングした位置からその移動距離および移動方向を算出して、計測した点群データの計測基準点を3Dマップ内で決定する。
次のS407では、既存3Dマップに取得点群データを追加する。これは、今回のサンプリングで、新たに計測範囲となった部分について、得られた3次元情報や各種画像情報を既存3Dマップに追加する。
次のS408では、3Dマップデータを更新する。S407で取得点群データを追加した既存の3Dマップを、最新の3Dマップデータとして更新する。
次のS409では、移動距離および進行方向データの更新を行う。これにより、サンプリング都度、3Dマップ内の計測基準点の移動距離および進行方向データを更新する。このことで、最新のサンプリング時の測位情報の補正や既存3Dマップと取得点群データとの比較時に特徴点を抽出しやすくする。さらに、作業の規制データとして、実際の作業距離を算出し、作業管理や請負時の料金算出の基準となる実作業距離の精度を向上させることができる。
次のS410では、3Dマップファイルの上書保存を行う。これは記録部25に記憶されたファイルの上書き保存を行う。
次のS411では、3Dマップと作業機位置の検証を行い、S412で3Dマップを検証した結果、マッピングが完了している場合はS431へ行き、マッピングが途中の場合はS413へ行く。畦塗り機50であれば圃場外周のマッピングが完了していればマッピングが完了していると判定できる。この検証は3Dマップの完成度や、作業機位置がどこにいるか等で行う。例えば、3Dマップの完成度が途中の段階であればマッピングは完了しないと判断する。また、作業機の位置が作業途中の位置であると判定されればマッピングは完了しないと判断する。
S431では、3Dマッピングを終了する。そして次のS432では、3Dマップをメモリ(記録部25等)・外部メディア(記録メディア41等)に出力する。そして次のS433では通常モードに切替える。
S413では、操作・表示部36のスイッチ操作の有無を判定し、操作がある場合は、S414へ行き、操作がない場合は図6の309へ戻る。
S414では、操作・表示部36の入力判断(1)を行い、モード切替スイッチの場合はS441へ行き、アクチュエータ駆動スイッチの場合はS415へ行く。モード切替スイッチは、3Dマッピングのモードと通常モードの切り替えのスイッチであり、3Dマッピング中にこのスイッチを操作すると3Dマッピングが中断する。アクチュエータ駆動スイッチは、アクチュエータ(例えば、オフセット回動アクチュエータ31や作業部回動アクチュエータ32等)を駆動させるためのスイッチである。
S441では3Dマッピングを中断する。次のS442ではマッピング中断フラグをデータに付加して、マッピングの途中で中断したことを記録する。次のS443では3Dマップをメモリ(記録部25等)・外部メディア(記録メディア41等)に出力する。次のS444では通常モードに切替える。
S415では、操作・表示部36の入力判断(2)を行い、アクチュエータの操作対象および動作判別を行い、S416で操作入力に対応するアクチュエータを駆動する。そして、図6のS309へ戻る。
S309へ戻ると再び、図6、7の処理を繰り返す。これにより、作業部を前進させて実作業を行いながらサンプリングごとにマップを更新して高精度の3Dマップを作成することを可能とする。
このように、実施例1では、作業機(畦塗り機50)の作業部(作業部58)に取り付けた、画像センサ16及び3次元距離センサ17で進行方向の前方を撮影又は検知することにより、作業しながら3Dマップを作成することが可能となる。このため、3Dマップを効率よく作成することが可能となる。このマップを用いることにより、作業者のより正確な作業に貢献することができ、さらに、自動運転に活用することも可能である。また、作業計画にも用いることができる。
さらに、それまでのデータを比較することで、移動障害物か静止障害物かを判別して、圃場内の障害物を的確に判定してマップに記録することが可能となる。さらに、状態センサ(オフセット回動量センサ12や作業部回動量センサ13)を用いて、GNSSユニット11(装着部51)に対する作業部(作業部58)の位置を検知することで、より正確なマップを作成することができる。トラクタ1のGNSSユニット3を用いる場合でも同様である。さらに、慣性センサユニット23や方位センサ24を用いることで、測位データの補正処理を行いより正確なマップを作成することができる。
(実施例2)
図8は、本発明の農作業機の実施例2のブロック図である。実施例2では、実施例1と異なる点について主に説明し、同一の箇所には同一の符号を付してあり、特に説明がない部分は同じ説明を省略している。
実施例2は、実施例1に対して、慣性センサユニット23と方位センサ24を制御ユニット20とは別に設けた点が異なる。
慣性センサユニット23は、作業機の姿勢変化・加速度変化を計測するセンサであるため、制御ユニット20とは別に、作業機のふさわしい位置に配置できる。このことで、より的確な計測を可能とする。
方位センサ24は、作業機の向いている方位を計測するセンサであるため、制御ユニット20とは別に、作業機のふさわしい位置に配置できる。このことで、より的確な計測を可能とする。
(実施例3)
図9は、本発明の農作業機の実施例3のブロック図である。実施例3では、実施例1と異なる点について主に説明し、同一の箇所には同一の符号を付してあり、特に説明がない部分は同じ説明を省略している。
実施例3は、実施例1に対して回転センサユニット18を追加した点が異なる。
回転センサユニット18は、作業機の作業部を駆動する動力の回転を検知する回転センサである。例えば、作業部に入力する軸の回転数を検出する。具体例としては、回転軸に設けたギア状の円盤と近接センサで単位時間当たりの近接検出数から回転軸の回転数を算出する。もしくはロータリエンコーダ、接触/非接触タコメータ、レゾルバ等を適用できる。
回転センサユニット18を用いることで、例えば、マップ作成処理中に作業機の駆動が止まった場合、作業が中断(作業部の回転が停止)したことを検出できる。さらに、その際の位置情報に基づきマップ上に作業中断箇所としてマーキングすることで、マップに作業中断位置情報を付加できる。作業中断位置情報は、そこの位置について、例えば障害物や圃場出入口等のマップ上の他の情報と関連付けしてマップ上に追加することが可能となる。
図10は、本発明の農作業機の実施例3のマッピングを示す第1のフローチャートである。図10は実施例1の図6に対応するフローチャートであり、図6と同じ処理は同じ符号を付してある。ここでは、図6と違う箇所について説明する。
S501は、S311の次に、S311で作業機の位置を測位した結果、測位可能の場合に行う処理である。S501は慣性センサを検出する。ここでは慣性センサユニット23の慣性センサを用いて、計測不可の場合はS323へ行く。一方、計測可能で、慣性センサが作業機加速度・角速度情報を出力する場合はS313へ行き、慣性センサが作業機傾斜・振動情報を出力する場合はS502へ行く。作業機傾斜・振動情報は、作業機が所定以上傾斜していることの情報や作業機が所定以上振動していることの情報である。
S502は、慣性センサ出力による作業機状態データ作成する。すなわち、作業機傾斜・振動情報に基づき作業機が傾斜している状態や振動している状態のデータを作成する。次に503へ行く。
S503は、S316とS502の次に来る処理である。S503は、回転センサを検出する。回転センサは図9の回転センサユニット18の回転センサを用いて、作業部駆動回転を検出した場合はS504へ行き、作業部駆動停止を検出した場合はS506へ行く。作業部駆動回転は、畦塗り機50であれば、耕耘部56やディスク部57が回転している場合が想定される。
S504は、作業状態であるか否かを判断する。作業状態である場合はS505へ行き、作業中断状態である場合はS506へ行く。ここで作業状態であるかは、オフセット回動量センサ12や作業部回動量センサ13を用いて、畦塗り機50が前進作業状態または後進作業状態である場合に作業状態であると判断できる。これに加えて、慣性センサユニット23を用いて、畦塗り機50が前後方向の傾き角度が作業姿勢の角度の範囲内である場合に作業状態であると判断してもよい。
S505では、作業状態フラグを設定する。S506では、作業停止状態フラグを設定する。S505とS506の後はS317へ行く。
このように実施例3では、回転センサユニット18を用いて、3Dマップ上に必要な情報を加えることで、作業機の故障の防止や圃場内の設備の破損の防止に貢献することが可能となる。
(実施例4)
図11は、本発明の農作業機の実施例4の作業状態を示す平面図である。実施例4では、実施例1と異なる点について主に説明し、同一の箇所には同一の符号を付してあり、特に説明がない部分は同じ説明を省略している。
図11の作業機はロータリー作業機150である。ここで、図11の左右方向がロータリー作業機150の横方向(左右)であり、図11の上方向がロータリー作業機150の前方向(進行方向)である。
ロータリー作業機150は、ミッションケース152を備え、ミッションケース152の左側に左フレームパイプ153が、右側に右フレームパイプ154が接続されている。ミッションケース152の上部には、マスト157aが取り付けられている。左フレームパイプ153の途中には左取付板155が接合され、ここに左ヒッチ157bが取り付けられている。右フレームパイプ154の途中には右取付板156が接合され、ここに右ヒッチ157cが取り付けられている。これら、マスト157a、左ヒッチ157b、右ヒッチ157cは、装着部157として、トラクタ1の後部に装着される。
左フレームパイプ153の左側にはチェーンケース161が備えられ、右フレームパイプ154の右側にはブラケット162が備えられている。さらに、ミッションケース152、左フレームパイプ153、右フレームパイプ154の下側は、耕耘部カバー163となっている。耕耘部カバー163は、耕耘軸に備えられた複数の耕耘爪で構成される耕耘部の上部を覆っている。整地体164は耕耘部カバー163の後ろ側で耕耘部の後ろを覆うように耕耘部カバー163に対して回動可能に接続されている。
トラクタ1からのPTO動力は、入力軸からミッションケース152内のギア、左フレームパイプ153内の軸、チェーンケース161内のチェーン等を介して耕耘部カバー163の下側の耕耘軸へ伝達され、耕耘軸を回転させて耕耘作業を行う。ロータリー作業機150では作業部が耕耘部に相当し、作業部(耕耘部)は装着部157に対して移動しない構成である。
図11において、GNSSユニット11は右フレームパイプ154の中央寄りに設置されている。また、制御ユニット20は左フレームパイプ153の中央寄りに設置されている。これらのGNSSユニット11と制御ユニット20は、これ以外に、ロータリー作業機150上の適した位置に配置してもよい。
画像センサユニット15は、ロータリー作業機150の右側端部に配置されている。具体的には右フレームパイプ154の右側端部のブラケット162近傍に配置されている。通常、ロータリー作業機150全幅は、トラクタ1の全幅よりも広い。このため、ロータリー作業機150の端部に配置することで、前方にトラクタ1が存在しない位置となる。すなわち、画像センサユニット15の画像センサ16や3次元距離センサ17は、トラクタ1の横方向の全幅よりも外側(右側)にはみ出した位置に設けられている。そして、画像センサユニット15の画像センサ16で、ロータリー作業機150の前方の撮影や検知を行う。これにより、前方の圃場の状態やその周辺部を画像センサユニット15で検知することが可能となる。
なお、画像センサユニット15は、ロータリー作業機150の左側端部に配置してもよい。具体的には左フレームパイプ153の左側端部のミッションケース152近傍に配置してもよい。
ロータリー作業機150に備えられた画像センサユニット15を用いて、実施例1で示した図4~7の処理を行うことができる。ロータリー作業機150の場合、装着部157に対して作業部の位置は移動しないため、作業部位置に関する計測や補正は省略することができる。
このように実施例4では、ロータリー作業機150においても3Dマップを作成でき、実施例1と同様の効果を発揮することができる。この実施例4の構成は、実施例2、3にも同様に適用してもよい。
以上の様に、本発明の実施形態について説明してきたが、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例に設けられた全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を削除したり、他の実施例の構成に置き換えたり、あるいはまた、ある実施例の構成に他の実施例の構成を加えることも可能である。
例えば、作業機として、畦塗り機50とロータリー作業機150の実施例を示したが、これ以外に、例えば、代掻き作業機等、トラクタに装着する作業機であれば、適用することができる。