[go: up one dir, main page]

WO2018158814A1 - 点検支援装置、点検支援方法および記録媒体 - Google Patents

点検支援装置、点検支援方法および記録媒体 Download PDF

Info

Publication number
WO2018158814A1
WO2018158814A1 PCT/JP2017/007759 JP2017007759W WO2018158814A1 WO 2018158814 A1 WO2018158814 A1 WO 2018158814A1 JP 2017007759 W JP2017007759 W JP 2017007759W WO 2018158814 A1 WO2018158814 A1 WO 2018158814A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
inspection
image data
recording
inspection object
Prior art date
Application number
PCT/JP2017/007759
Other languages
English (en)
French (fr)
Inventor
貴美 佐藤
岩元　浩太
才田　好則
真 則枝
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2017/007759 priority Critical patent/WO2018158814A1/ja
Priority to US16/489,057 priority patent/US11003911B2/en
Priority to JP2019502317A priority patent/JP6911914B2/ja
Publication of WO2018158814A1 publication Critical patent/WO2018158814A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes

Definitions

  • This disclosure relates to an inspection support apparatus, an inspection support method, and a recording medium.
  • a method for supporting inspection work for devices such as measuring instruments is disclosed.
  • the identification information and measurement value of a measuring instrument are recognized based on the image information of the measuring instrument photographed by the camera, and the measurement value is associated with the identification information of the instrument and stored in the storage unit.
  • An inspection support device is described.
  • Patent Document 2 when there are a plurality of recognition targets in the worker's field of view, production information indicating whether or not the plurality of recognition targets can be used is displayed one-to-one near the identification marker in the worker's field of view.
  • a board production support system that displays the information in association with each other is described.
  • Patent Document 3 reads identification information that uniquely identifies a light emitting RFID (Radio Frequency IDentifier) tag that is attached to a maintenance target device, and performs maintenance at a position calculated based on the light emitting position of the RFID tag.
  • An information presentation system for displaying display information related to a target device is described.
  • Patent Document 4 An example of a device that uses voice is described in Patent Document 4, and an example of a method for simplifying data input on a portable terminal is described in Patent Document 5.
  • Patent Documents 2 and 3 display information about the specified device stored in the storage unit or the like by reading the identification marker or the RFID tag. Therefore, with the techniques described in Patent Documents 2 and 3, the operator cannot grasp information related to the inspection result performed on the device at the time of reading the identification marker or the RFID tag while the worker is working.
  • the present disclosure has been made in view of the above problems, and an object of the present disclosure is to provide a technique that makes inspection work more efficient.
  • An inspection support apparatus relates to an image data acquisition unit that acquires image data in which an inspection target is captured, and an inspection result of the inspection target that is recognized based on the acquired image data.
  • Display control means for displaying information on a display unit superimposed on an image including the inspection object, and recording control means for recording the information displayed on the display part and the information on the inspection object in association with each other And comprising.
  • the inspection support method acquires image data in which an inspection target is imaged, and information related to the inspection result of the inspection target recognized based on the acquired image data. It superimposes on the image including the inspection object, displays it on the display unit, and records the displayed information and the inspection object information in association with each other.
  • the inspection work can be made more efficient.
  • FIG. 1 is a functional block diagram illustrating an example of a functional configuration of an inspection support apparatus 10 according to the present embodiment.
  • FIG. 2 is a diagram illustrating an example of an application example of the inspection support apparatus 10 illustrated in FIG. 1.
  • the inspection support apparatus 10 is mounted on, for example, a glasses-type wearable terminal.
  • the glasses-type wearable terminal is referred to as a wearable glass 1.
  • the wearable glass 1 images the inspection object 3 when the worker 2 wearing the wearable glass 1 turns his face in the direction of the inspection object 3 such as a measuring instrument.
  • the captured image is displayed on the display unit 14 of the wearable glass 1.
  • the worker 2 confirms an image in which the inspection object 3 is captured via the wearable glass 1.
  • the inspection support apparatus 10 includes an image data acquisition unit 11, a display control unit 12, and a recording control unit 13, as shown in FIG.
  • the image data acquisition unit 11 acquires image data in which the inspection object 3 is captured.
  • the image data acquisition unit 11 acquires image data representing an image captured by a camera including a lens and an image sensor.
  • the captured image includes the inspection object 3.
  • the image data acquisition unit 11 may be the camera itself, or may acquire image data acquired by the camera from the camera.
  • the image data acquisition unit 11 may acquire from a recording unit in which image data acquired by the camera is recorded.
  • the image data acquisition unit 11 supplies the acquired image data to the display control unit 12.
  • the display control unit 12 causes the display unit 14 to display the information related to the inspection result of the inspection target 3 recognized based on the image data acquired by the image data acquisition unit 11 on the image including the inspection target 3 on the display unit 14. .
  • the display control unit 12 receives the image data from the image data acquisition unit 11 and specifies the inspection object 3 included in the image represented by the received image data.
  • the display control unit 12 recognizes information related to the inspection result related to the specified inspection object 3. For example, when the inspection target 3 is a thermometer, the display control unit 12 may use the temperature as information related to the inspection result. For example, when the inspection target 3 is a thermometer, the display control unit 12 may use information indicating whether the temperature is within a predetermined range as information regarding the inspection result.
  • the display control unit 12 causes the display unit 14 to display information related to the recognized inspection result superimposed on an image including the inspection target 3 represented by the image data.
  • the display unit 14 is a lens unit of the wearable glass 1, and is realized by, for example, a display module that transmits external light and displays information according to an instruction from the display control unit 12.
  • the display unit 14 may be a module having a function of causing the operator 2 to display an image including the inspection target 3 generated by the display control unit 12 on which the information related to the inspection result is superimposed.
  • the display unit 14 may have a function of projecting the image generated by the display control unit 12 under the control of the display control unit 12.
  • the display control unit 12 may have a function of projecting an image generated by the display control unit 12.
  • the display control unit 12 may have a function of superimposing information on the recognized inspection result on an image including the inspection target 3 and projecting the information directly on the retina.
  • the recording control unit 13 records the information on the inspection result displayed on the display unit 14 and the information on the inspection target 3 in association with each other.
  • the recording control unit 13 records information on the inspection results associated with each other and information on the inspection target 3 on a recording medium such as a hard disk drive or paper.
  • Examples of the information on the inspection target 3 include, but are not limited to, inspection items for the inspection target 3, normal values of the inspection target 3, information indicating the state of the inspection target 3 when normal, and the like. .
  • FIG. 3 is a flowchart showing an example of a process flow of the inspection support apparatus 10 according to the present embodiment.
  • the image data acquisition unit 11 acquires image data in which the inspection target 3 is captured (step S ⁇ b> 31).
  • the display control part 12 superimposes the information regarding the inspection result of the inspection object 3 recognized based on the acquired image data on the image containing the inspection object 3 on the display part 14 (step S32).
  • the recording control part 13 matches and records the information currently displayed on the display part 14, and the information of the inspection object 3 (step S33).
  • the inspection support apparatus 10 superimposes the information related to the inspection result recognized based on the image data obtained by imaging the inspection object 3 on the image represented by the image data, and wears the wearable glass 1. It can be displayed on the display unit 14. Since the image represented by the image data includes the inspection object 3, the worker 2 wearing the wearable glass 1 can grasp the inspection object 3 and information on the inspection result of the inspection object 3. For example, when the information regarding the inspection result is the measurement value of the measuring instrument, the operator 2 can easily grasp the measurement value displayed on the display unit 14 as the measurement value of the inspection object 3.
  • the inspection support apparatus 10 records information on the inspection result displayed on the display unit 14 and information on the inspection target in association with each other.
  • the inspection support device 10 records the inspection item and information on the inspection result in association with each other.
  • an operator who confirms the inspection result can easily grasp the inspection item and information related to the inspection result by referring to the recorded information.
  • the inspection work can be made more efficient.
  • FIG. 4 is a diagram for explaining the wearable glass 4 including the inspection support apparatus 100 according to the present embodiment.
  • the inspection support device 100 is mounted on the wearable glass 4, for example.
  • the wearable glass 4 images the inspection object 3.
  • the captured image is displayed on the display unit 160 of the wearable glass 4.
  • the worker 2 confirms an image in which the inspection object 3 is captured via the wearable glass 4.
  • the wearable glass 4 may include an input device 200. The input device 200 will be described later.
  • FIG. 5 is a block diagram showing an example of the configuration of the wearable glass 4 including the inspection support apparatus 100 according to the present embodiment.
  • the wearable glass 4 includes an inspection support device 100, an input device 200, a display unit 160, and a recording unit 170.
  • the inspection support apparatus 100 may include an input device 200, a display unit 160, and a recording unit 170.
  • the inspection support apparatus 100 is an example of the inspection support apparatus 10 in the first embodiment. As illustrated in FIG. 5, the inspection support apparatus 100 includes an image data acquisition unit 110, a display control unit 120, a recording control unit 130, a reception unit 140, and an inspection target information acquisition unit 150.
  • the image data acquisition unit 110 is an example of the image data acquisition unit 11 in the first embodiment.
  • the image data acquisition unit 110 acquires image data in which the inspection object 3 is captured.
  • the image data acquisition unit 110 acquires image data representing an image captured by a camera including a lens and an image sensor.
  • the captured image includes the inspection object 3.
  • the image data acquisition unit 110 may be the camera itself, or may acquire image data acquired by the camera from the camera.
  • the image data acquisition unit 110 may acquire from a recording unit in which image data acquired by the camera is recorded.
  • the image data acquisition unit 110 supplies the acquired image data to the display control unit 120.
  • the display control unit 120 is an example of the display control unit 12 in the first embodiment.
  • the display control unit 120 causes the display unit 160 to display the information related to the inspection result of the inspection target 3 recognized based on the image data acquired by the image data acquisition unit 110 on the image including the inspection target 3. .
  • the display control unit 120 receives the image data from the image data acquisition unit 110, and specifies the inspection target 3 included in the image represented by the received image data.
  • the method by which the display control unit 120 specifies the inspection object 3 is not particularly limited, and any method may be adopted.
  • the display control unit 120 shows what the inspection target 3 included in the image data indicates by comparing the image data acquired by the image data acquisition unit 110 with the image data for specifying the inspection target 3. You may specify.
  • the display control part 120 recognizes the information regarding the inspection result related to the specified inspection object 3.
  • the method by which the display control unit 120 recognizes information related to the inspection result is not particularly limited, and any method may be adopted.
  • the inspection object 3 is a meter such as a thermometer
  • the display control unit 120 may read the temperature indicated by the thermometer from the memory and recognize the read result as information on the inspection result.
  • the display control unit 120 calculates the degree of deterioration of the structure by calculating from changes in color and texture, and recognizes the calculated result as information on the inspection result. Also good.
  • any method may be employed as a method for calculating the deterioration degree.
  • the amount of color change may be used as the deterioration degree.
  • the display control unit 120 causes the display unit 160 to display information on the recognized inspection result superimposed on an image including the inspection target 3 represented by the image data.
  • An example of information displayed on the display unit 160 will be described with reference to different drawings.
  • the display unit 160 may be a lens unit of the wearable glass 4 similarly to the display unit 14 described above.
  • the input device 200 is, for example, a device for the operator 2 to input an instruction.
  • the input device 200 may be realized by, for example, a switch mounted on the wearable glass 4 that can be pressed by the operator 2. Further, the input device 200 may be a terminal that can communicate with the wearable glass 4 and is separate from the wearable glass 4. Further, the input device 200 may be, for example, an infrared sensor that can detect the operation of the worker 2.
  • the accepting unit 140 accepts an instruction (recording instruction) input by the operator 2 using the input device 200.
  • the accepting unit 140 supplies the accepted recording instruction to the recording control unit 130.
  • the inspection object information acquisition unit 150 acquires information on the inspection object 3.
  • the information on the inspection object 3 includes, for example, an identifier for identifying the inspection object 3, an inspection object name representing the inspection object 3, an inspection item for the inspection object 3, and the like.
  • the inspection target information acquisition unit 150 acquires information on the inspection target 3 based on the image data acquired by the image data acquisition unit 110.
  • the inspection target information acquisition unit 150 receives the image data acquired by the image data acquisition unit 110 via the display control unit 120, and compares the inspection target 3 included in the image data with, for example, a dictionary to determine the inspection target 3.
  • the information of the inspection object 3 that is recognized and associated with the recognized inspection object 3 may be acquired.
  • the inspection target information acquisition unit 150 may receive information representing the inspection target 3 specified by the display control unit 120 from the display control unit 120 and acquire information on the inspection target 3 from this information.
  • the information on the inspection target 3 may be acquired from the image data itself, or may be acquired from a recording unit that stores the information on the inspection target.
  • the recording control unit 130 is an example of the recording control unit 13 in the first embodiment.
  • the recording control unit 130 records information on the inspection result displayed on the display unit 160 and information on the inspection target in association with each other.
  • the recording control unit 130 receives the inspection target information from the inspection target information acquisition unit 150, and records the information on the inspection result and the inspection target information displayed on the display unit 160 by the display control unit 120 in association with each other.
  • the recording control unit 130 records information associated with the recording unit 170, but the recording control unit 130 records the associated information by outputting the information to paper or other media. It may be a configuration.
  • the recording control unit 130 preferably records information on the inspection result and information on the inspection target. As a result, only information for which the operator 2 has instructed recording is recorded, and information determined to be unnecessary for recording is not recorded. Therefore, since information necessary for the inspection work is recorded, the management efficiency of the recorded information can be improved.
  • the recording unit 170 is realized by a hard disk drive, for example.
  • the recording unit 170 records information on the inspection result associated with the recording control unit 130 and information on the inspection target.
  • FIG. 6 is a flowchart showing an example of a process flow of the inspection support apparatus 100 according to the present embodiment.
  • the image data acquisition unit 110 acquires image data in which the inspection target 3 is captured (step S ⁇ b> 61).
  • the display control unit 120 causes the display unit 160 to display information related to the inspection result of the inspection object 3 recognized based on the acquired image data on the image including the inspection object 3 (step S62). .
  • the inspection object information acquisition unit 150 acquires information on the inspection object 3 based on the acquired image data (step S63). Note that step S62 and step S63 may be performed simultaneously or in the reverse order.
  • the reception unit 140 confirms whether or not a recording instruction has been received (step S64).
  • receiving unit 140 receives the recording instruction (YES in step S64).
  • the recording control unit 130 records the information displayed on the display unit 160 and the information on the inspection target 3 in association with each other (step S65). If reception unit 140 has not received a recording instruction (NO in step S64), inspection support device 100 ends the process. For example, the reception unit 140 may determine that the recording instruction has not been received when the display unit 160 has not received the recording instruction for a predetermined time after displaying the information regarding the inspection result.
  • the reception unit 140 may be configured to receive an instruction not to record.
  • the recording control unit 130 may record the information displayed on the display unit 160 and the information on the inspection target 3 in association with each other. . With such a configuration, even when a large amount of information is recorded, the operator 2 can easily select information that does not need to be recorded.
  • the image data acquisition unit 110 is different from the image data acquired in step S61. New image data may be acquired. And the display control part 120 may recognize the information regarding the inspection result relevant to the inspection object 3 from new image data.
  • the display control unit 120 may perform the recognition process again using the same image data as the image data used for recognition in step S62. At this time, the display control unit 120 may perform recognition processing under the same conditions (for example, the same recognition parameters) as those performed in step S62, or may perform recognition processing under different conditions.
  • the display control unit 120 may perform a recognition process by performing a predetermined correction process on the image data. Further, in the case where the reception unit 140 is the above, for example, when the result of the recognition by the display control unit 120 using the same image data again is the same as the result of the previous recognition, the image data acquisition unit 110 New image data may be acquired.
  • the reception unit 140 may be configured to receive a re-recognition instruction from the worker 2. For example, when the worker 2 confirms the information displayed on the display unit 160, determines that the displayed information has an error, and inputs a re-recognition instruction for re-recognition, the reception unit 140 Accept re-recognition instructions.
  • the image data acquisition unit 110 may acquire new image data different from the image data acquired in step S61.
  • the display control part 120 may recognize the information regarding the inspection result relevant to the inspection object 3 from new image data.
  • the display control unit 120 may perform the recognition process again using the same image data as the image data used for recognition in step S62. At this time, the display control unit 120 may perform the recognition process under the same conditions as those performed in step S62, or may perform the recognition processes under different conditions. Alternatively, the display control unit 120 may perform a recognition process by performing a predetermined correction process on the image data. Further, when the receiving unit 140 receives a re-recognition instruction, for example, when the result of re-recognition using the same image data by the display control unit 120 is the same as the result of previous recognition, the image data The acquisition unit 110 may acquire new image data.
  • FIG. 7 shows an example of an image represented by the image data acquired by the image data acquisition unit 110.
  • the image 70 represented by the image data acquired by the image data acquisition unit 110 includes the inspection object 3.
  • the inspection target 3 is described as being two thermometers (thermometer 31 and thermometer 32).
  • the inspection object 3 may be the entire measuring instrument including the thermometer 31 and the thermometer 32.
  • FIG. 8 is a diagram illustrating an example of the display screen 71 displayed by the display unit 160.
  • measured temperature information 72 which is information related to the inspection result of the thermometer 31, which is the inspection object 3
  • measured temperature information 73 which is information related to the inspection result of the thermometer 32, which is the inspection object 3
  • a display screen 71 displayed in a superimposed manner on the shown image 70 is displayed on the display unit 160.
  • the display control unit 120 specifies the entire measuring instrument including the thermometer 31 and the thermometer 32, and then specifies that the inspection target 3 related to the measuring instrument is the thermometer 31 and the thermometer 32, The measurement temperature of the thermometer 31 and the measurement temperature of the thermometer 32 may be recognized.
  • the display control unit 120 generates the display screen 71 in which the measured temperature information 72 representing the measured temperature of the thermometer 31 and the measured temperature information 73 representing the measured temperature of the thermometer 32 are superimposed on the image 70. Good.
  • the position where the recording control unit 130 displays the measured temperature information 72 and the measured temperature information 73 is not particularly limited, and may be an arbitrary position.
  • the operator 2 wearing the wearable glass 4 can easily grasp information related to the inspection result of the inspection object 3 by checking the display screen 71 displayed on the display unit 160 of the wearable glass 4.
  • FIG. 9 is a diagram illustrating an example of the record information 91 recorded in the recording unit 170.
  • the recorded information 91 includes information displayed on the display unit 160 associated with each other by the recording control unit 130 and information on the inspection target 3.
  • the information displayed on the display unit 160 is a measured value 92.
  • the measured value 92 shown in FIG. 9 is the measured temperature indicated by the measured temperature information 72 shown in FIG. 8 and the measured temperature indicated by the measured temperature information 73.
  • the information displayed on display unit 160 may be measured temperature information 72 and measured temperature information 73 themselves shown in FIG.
  • the column of the measured value 92 may include “temperature: 7 ° C.” shown in FIG.
  • the information on the inspection object 3 includes an inspection object name 93 representing the name of the inspection object 3 and an inspection item 94 for the inspection object 3.
  • the inspection object names 93 of the thermometer 31 that is the inspection object 3 are “thermometer 31” and “thermometer 32”.
  • the inspection items 94 for the thermometer 31 and the thermometer 32 are respectively “measure temperature”.
  • the record information 91 records a measurement value 92, an inspection object name 93, and an inspection item 94 that are associated with each other.
  • the recording control unit 130 may associate data representing the display screen 71 displayed on the display unit 160 with information on the inspection target 3 as information displayed on the display unit 160.
  • the recording control unit 130 may further record the image 70 in association with the information of the inspection target 3.
  • the recording control unit 130 may cut out the image of the portion of the thermometer 31 included in the image 70 and associate the image of the portion of the thermometer 31 with the information of the thermometer 31.
  • the recording control unit 130 may further record the information indicating the recording instruction received by the receiving unit 140 in the recording unit 170 in association with each other.
  • the information indicating the recording instruction may be a flag indicating that the check has been completed, or information indicating whether the displayed content is correct.
  • the recording control unit 130 cuts out the image of the portion of the thermometer 31 included in the image 70, and The partial image may be associated with the information of the thermometer 31.
  • the receiving unit 140 may receive the collected sound data.
  • the recording control unit 130 may use a recording instruction indicating that the receiving unit 140 has received audio data.
  • the recording control unit 130 analyzes the audio data received by the receiving unit 140, and when the voice indicating the recording instruction is included, the information displayed on the display unit 160, the information on the inspection target 3, and May be recorded in association with each other. Further, the recording control unit 130 may record the collected audio data in association with the information displayed on the display unit 160.
  • the input device 200 may detect that the worker 2 has performed a predetermined operation and supply operation information representing the detected operation to the reception unit 140. And the reception part 140 may receive this operation information.
  • This operation information may represent a predetermined operation or an operation on the display screen 71.
  • the recording control unit 130 may use the recording instruction that the receiving unit 140 has received the operation information.
  • the recording control unit 130 recognizes the operation included in the operation information received by the receiving unit 140 by comparing the operation information with a dictionary, for example, and when the operation information includes an operation indicating a recording instruction,
  • the information displayed in 160 and the information on the inspection object 3 may be recorded in association with each other. Further, the recording control unit 130 may record the operation information in association with the information displayed on the display unit 160.
  • the inspection target information includes, for example, inspection items for the inspection target, normal values of the inspection target, information indicating the state of the inspection target when normal, and the like, but is not limited thereto.
  • the display screen 71 shown in FIG. 8 includes measurement temperature information 72 that is a measurement value for the thermometer 31 and measurement temperature information 73 that is a measurement value for the thermometer 32 as information on the inspection result. Information about results is not limited to measured values.
  • FIG. 10 is a diagram illustrating an example of the display screen 74 displayed by the display unit 160. On the display screen 74 shown in FIG. 10, information (75, 76) indicating whether or not the inspection result is normal is displayed as information on the inspection result. Information (75, 76) indicating whether the inspection result is normal is the result of determining whether the temperature is within a predetermined range when the inspection object 3 is the thermometer 31 and the thermometer 32 as shown in FIG. It is.
  • FIG. 11 shows another example of the image represented by the image data acquired by the image data acquisition unit 110.
  • the image 112 represented by the image data acquired by the image data acquisition unit 110 includes the part of the bridge 111 as the inspection object 3 as illustrated in FIG. 11.
  • the inspection target may be a structure instead of a measuring instrument. It is assumed that the bridge 111 has a crack 113.
  • FIG. 12 is a diagram illustrating an example of the display screen 114 displayed by the display unit 160.
  • the display control unit 120 detects the crack 113 by comparing the image with the image of the bridge 111 or the image representing the crack 113 previously captured.
  • the display unit 160 uses the mark (ellipse 115 in the example of FIG. 12) for grasping the position of the crack 113 as information on the inspection result of the bridge 111.
  • a display screen 114 displayed in a superimposed manner is displayed.
  • the recording control unit 130 may display a portion where the structure is deteriorated as information on the inspection result in a manner that can be grasped by the operator 2.
  • the display method of the location where the structure has deteriorated is not limited to the ellipse 115.
  • the location of the crack 113 may be displayed in a color different from other colors, or other methods may be used. Good.
  • FIG. 13 is a diagram illustrating an example of the display screen 116 displayed by the display unit 160.
  • information 117 indicating the degree of deterioration is displayed as information on the inspection result.
  • the display control unit 120 may include information 117 indicating the degree of deterioration on the display screen 116 by recognizing the crack 113 from the image data and calculating the degree of deterioration of the crack 113 by a predetermined method.
  • the image data acquisition unit 110 acquires image data in which an inspection target is captured, and the display control unit 120 is based on the acquired image data.
  • the recognized information related to the inspection result of the inspection target is displayed on the display unit so as to be superimposed on the image including the inspection target.
  • the inspection support apparatus 100 superimposes information related to the inspection result recognized based on the image data obtained by imaging the inspection target on the image represented by the image data, so that the wearable glass 4 It can be displayed on the display unit 160. Since the image represented by the image data includes the inspection target, the worker 2 wearing the wearable glass 4 can grasp the inspection target and information on the inspection result of the inspection target.
  • the recording control unit 130 of the inspection support apparatus 100 records information on the inspection result displayed on the display unit 160 and information on the inspection target in association with each other.
  • the recording control unit 130 records the inspection item and information regarding the inspection result in association with each other.
  • the operator 2 can save the trouble of inputting information related to the inspection result by manual input using, for example, a terminal.
  • human errors due to manual input can be reduced.
  • the recording control unit 130 preferably records information on the inspection result and information on the inspection target. As a result, information necessary for the inspection work is recorded, so that the efficiency of management of the recorded information can be improved.
  • an operator who confirms the inspection result can easily grasp the inspection item and information related to the inspection result by referring to the recorded information.
  • the inspection work can be made more efficient.
  • the inspection object information acquisition part 150 demonstrated the structure which acquires the information of inspection object based on image data, this indication is not limited to this. In this embodiment, another example of acquiring information to be inspected will be described. In addition, the same code
  • FIG. 14 is a block diagram showing an example of the configuration of the inspection support apparatus 101 according to the present embodiment. As with the inspection support apparatus 100, the inspection support apparatus 101 is mounted on the wearable glass 4.
  • the inspection support apparatus 101 includes an image data acquisition unit 110, a display control unit 120, a recording control unit 130, a reception unit 140, an inspection target information recording unit 180, and an inspection target information acquisition unit 190.
  • the inspection support apparatus 101 includes an inspection object information acquisition unit 190 instead of the inspection object information acquisition unit 150 of the inspection support apparatus 100, and further includes an inspection object information recording unit 180.
  • the inspection object information recording unit 180 records inspection object information.
  • An example of the inspection object information recorded by the inspection object information recording unit 180 is shown in FIG.
  • the inspection target information 151 includes information on the inspection target 3.
  • the information of the inspection object 3 is the inspection object name 153 and the inspection item 154, as in the second embodiment described above.
  • the inspection target information 151 includes an inspection target position 152 that represents the position of the inspection target 3. Note that the notation method of the inspection target position 152 is not particularly limited as long as the information indicates the position.
  • the inspection object information recording unit 180 may be realized by a recording device separate from the inspection support device 101.
  • the inspection object information acquisition unit 190 acquires information on the inspection object based on the position information at the time of image data imaging.
  • the inspection object information acquisition unit 190 acquires position information at the time of image data imaging via the display control unit 120.
  • the position information at the time of image data imaging may be information indicating the position of the wearable glass 4 that captured the image data, or the position of the inspection object 3 included in the image data estimated from the acquired image data. It may be the information shown.
  • the wearable glass 4 may receive the position information using, for example, GPS (Global Positioning System) and attach it to the image data. Then, the inspection target information acquisition unit 190 compares the position information given to the image data with the inspection target position 152 of the inspection target information 151 stored in the inspection target information recording unit 180. The inspection object information acquisition unit 190 acquires information on the inspection object 3 associated with the inspection object position 152 within a predetermined range from the position indicated by the position information given to the image data from the inspection object information recording unit 180. In the example illustrated in FIG. 15, the inspection target information acquisition unit 190 includes an inspection target name 153 associated with the inspection target position 152 within a predetermined range from the position indicated by the position information given to the image data, and the inspection item 154. Are acquired from the inspection object information recording unit 180.
  • GPS Global Positioning System
  • the recording control unit 130 is similar to the recording control unit 130 in the second embodiment described above, and information on the inspection result displayed on the display unit 160 and the inspection target acquired by the inspection target information acquisition unit 190. Are recorded in association with each other.
  • the inspection object information acquisition unit 190 acquires information on the inspection object based on the position information at the time of image data imaging. Thereby, for example, even when inspection objects having the same shape are present at a plurality of positions, information regarding the inspection object included in the image data can be specified. Thereby, the recording control unit 130 can appropriately associate information on the inspection result for the inspection target included in the image data with the information on the inspection target. Therefore, an operator who confirms the inspection result can easily grasp the inspection item and information on the inspection result by referring to the recorded information. As described above, according to the inspection support apparatus 101 according to the present embodiment, the inspection work can be made more efficient.
  • the inspection object information recorded by the inspection object information recording unit 180 is not limited to the format shown in FIG. In this modification, another example of inspection target information recorded by the inspection target information recording unit 180 will be described.
  • FIG. 16 is a diagram illustrating another example of the inspection target information recorded by the inspection target information recording unit 180.
  • the inspection target information 161 includes information on the inspection target 3.
  • the information of the inspection object 3 is an inspection object name 163 and an inspection item 164 as in the inspection object information 151.
  • the inspection target information 161 includes an inspection time 162 that represents the time when the inspection target 3 is inspected.
  • the notation method of the inspection time 162 is not specifically limited, What is necessary is just the information which understands time.
  • the inspection object information acquisition unit 190 acquires inspection object information based on time information at the time of image data capturing.
  • the inspection object information acquisition unit 190 acquires time information at the time of image data imaging via the display control unit 120.
  • the time information at the time of image data imaging is information indicating the time at which the image data was captured. Note that time information at the time of image data shooting may be given to the image data.
  • the inspection object information acquisition unit 190 compares the time information at the time of image data shooting with the inspection time 162 of the inspection object information 161 stored in the inspection object information recording unit 180.
  • the inspection target information acquisition unit 190 acquires, from the inspection target information recording unit 180, information on the inspection target 3 associated with the inspection time 162 within a predetermined period from the time represented by the time information at the time of image data shooting.
  • the inspection object information acquisition unit 190 obtains the inspection object name 163 associated with the inspection time 162 within a predetermined period from the time represented by the time information at the time of image data shooting, and the inspection item 164. Obtained from the inspection object information recording unit 180.
  • the recording control unit 130 is similar to the recording control unit 130 in the second embodiment described above, and information on the inspection result displayed on the display unit 160 and the inspection target acquired by the inspection target information acquisition unit 190. Are recorded in association with each other.
  • the inspection target information acquisition unit 190 acquires information on the inspection target based on the time information when the image data is captured. Thereby, for example, when the inspection target to be inspected is different at each time, the information on the inspection target included in the image data can be specified by comparing the time information. Thereby, the inspection target information acquisition unit 190 can easily acquire information on the inspection target. Further, for example, even when inspection objects having the same shape are present at a plurality of positions, when the inspection times are different, the inspection object information acquisition unit 190 specifies information on the inspection object included in the image data. can do.
  • the inspection work can be made more efficient, as with the inspection support apparatus 101 according to the third embodiment described above.
  • the inspection target information acquisition unit 190 of the inspection support apparatus 101 may acquire information on the inspection target using, for example, RFID.
  • the inspection target information acquisition unit 190 reads an RFID tag attached to the inspection target included in the image data, and identifies the inspection target based on the read data. Then, the inspection target information acquisition unit 190 may acquire the specified inspection target information from the inspection target information recording unit 180.
  • the inspection assistance apparatus 101 can acquire the information of inspection object.
  • each component of the inspection support device (10, 100, 101) represents a functional unit block. Some or all of the components of the inspection support device (10, 100, 101) are realized by any combination of an information processing device 900 and a program as shown in FIG.
  • FIG. 17 is a block diagram illustrating an example of a hardware configuration of the information processing apparatus 900 that realizes each component of the inspection support apparatus (10, 100, 101).
  • the information processing apparatus 900 includes the following configuration as an example.
  • CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • a program 904 loaded into the RAM 903
  • a storage device 905 that stores the program 904
  • a drive device 907 that reads / writes data from / to the recording medium 906
  • a communication interface 908 connected to the communication network 909
  • Each component of the inspection support device (10, 100, 101) in each embodiment is realized by the CPU 901 acquiring and executing a program 904 that realizes these functions.
  • a program 904 that realizes the function of each component of the inspection support device (10, 100, 101) is stored in advance in the storage device 905 or the ROM 902, for example, and is read out by the CPU 901 as necessary.
  • the program 904 may be supplied to the CPU 901 via the communication network 909, or may be stored in the recording medium 906 in advance, and the drive device 907 may read the program and supply it to the CPU 901.
  • the inspection support apparatus (10, 100, 101) may be realized by an arbitrary combination of the information processing apparatus 900 and a program that are separately provided for each component.
  • the some component with which an inspection assistance apparatus (10,100,101) is provided may be implement
  • the constituent elements of the inspection support device (10, 100, 101) are realized by other general-purpose or dedicated circuits, processors, or combinations thereof. These may be configured by a single chip or may be configured by a plurality of chips connected via a bus.
  • Some or all of the constituent elements of the inspection support device (10, 100, 101) may be realized by a combination of the above-described circuit and the like and a program.
  • the plurality of information processing devices and circuits are centrally arranged. Alternatively, they may be distributed.
  • the information processing apparatus, the circuit, and the like may be realized as a form in which each is connected via a communication network, such as a client and server system and a cloud computing system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

点検の作業をより効率化する技術を提供する。点検支援装置は、点検対象が撮像されている画像データを取得する画像データ取得部と、取得された画像データに基づいて認識された、点検対象の点検結果に関する情報を、点検対象を含む画像に重畳して表示部に表示させる表示制御部と、表示部に表示されている情報と、点検対象の情報とを対応付けて記録する記録制御部と、を備える。

Description

点検支援装置、点検支援方法および記録媒体
　本開示は、点検支援装置、点検支援方法および記録媒体に関する。
　計測器などの機器に対する点検作業を支援する方法が開示されている。例えば、特許文献１には、カメラが撮影した計測器の画像情報に基づいて計測器の識別情報および測定値を認識し、測定値を計器の識別情報と対応付けたうえで記憶部に記憶させる点検支援装置が記載されている。
　また、特許文献２には、作業者の視野中に複数の認識対象がある場合に、複数の認識対象の使用の可否などを表す生産情報を作業者の視野中の識別マーカーの近傍に一対一に対応付けて表示する基板生産支援システムが記載されている。
　また、特許文献３には、保守対象機器に装着される発光型ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　ＩＤｅｎｔｉｆｉｅｒ）タグを一意に特定する識別情報を読み取り、このＲＦＩＤタグの発光位置に基づいて算出された位置に、保守対象機器に関連する表示情報を表示する情報提示システムが記載されている。
　なお、音声を利用する装置の一例が特許文献４に、携帯端末上でのデータ入力を簡易にする方法の一例が特許文献５に記載されている。
国際公開第２０１２／０４６７２６号 特開２０１４－２３５７０４号公報 特開２００７－０１８１８８号公報 特開２００３－１７７７７５号公報 特開平９－１６７１９２号公報
　特許文献１に記載の技術では、計測器の識別情報および測定値が認識され、認識された結果が記憶部に記憶される。作業者が、測定値に対する認識結果を点検中に把握するためには、手元の処理端末で確認する必要がある。しかしながら、このような場合、作業者は視線を計測器から処理端末に動かす必要があり、作業効率を低下させてしまう可能性がある。
　また、特許文献２および３に記載の技術は、識別マーカーやＲＦＩＤタグを読み取ることにより、記憶部等に格納された、特定した機器に関する情報を表示している。したがって、特許文献２および３に記載の技術では、識別マーカーやＲＦＩＤタグを読み取った時点における機器に対して行う点検結果に関連する情報を作業者が作業しながら把握することができない。
　本開示は、上記課題に鑑みてなされたものであり、その目的は、点検の作業をより効率化する技術を提供することにある。
　本開示の一態様に係る点検支援装置は、点検対象が撮像されている画像データを取得する画像データ取得手段と、取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させる表示制御手段と、前記表示部に表示されている前記情報と、前記点検対象の情報とを対応付けて記録する記録制御手段と、を備える。
　また、本開示の一態様に係る点検支援方法は、点検対象が撮像されている画像データを取得し、取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させ、表示されている前記情報と、前記点検対象の情報とを対応付けて記録する。
　なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
　本開示によれば、点検の作業をより効率化することができる。
第１の実施の形態に係る点検支援装置の機能構成の一例を示す機能ブロック図である。 図１に示す点検支援装置の適用例の一例を示す図である。 第１の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 第２の実施の形態に係る点検支援装置を含むウェアラブルグラスを説明するための図である。 第２の実施の形態に係る点検支援装置を含むウェアラブルグラスの構成の一例を示すブロック図である。 第２の実施の形態に係る点検支援装置の処理の流れの一例を示すフローチャートである。 画像データ取得部が取得した画像データが表す画像の一例を示す図である。 表示部が表示する表示画面の一例を示す図である。 記録部に記録された記録情報の一例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 画像データ取得部が取得した画像データが表す画像の他の例を示す。 表示部が表示する表示画面の他の例を示す図である。 表示部が表示する表示画面の他の例を示す図である。 第３の実施の形態に係る点検支援装置の構成の一例を示すブロック図である。 点検対象情報記録部に記録された点検対象情報の一例を示す図である。 点検対象情報記録部に記録された点検対象情報の他の例を示す図である。 各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
　＜第１の実施の形態＞
　本開示の第１の実施の形態について、図面を参照して説明する。図１は、本実施の形態に係る点検支援装置１０の機能構成の一例を示す機能ブロック図である。図２は、図１に示す点検支援装置１０の適用例の一例を示す図である。図２に示す通り、点検支援装置１０は、例えば、眼鏡型ウェアラブル端末に搭載される。以下、眼鏡型ウェアラブル端末をウェアラブルグラス１と呼ぶ。ウェアラブルグラス１を装着した作業者２が、例えば計測器などの点検対象３の方向に顔を向けることにより、ウェアラブルグラス１が点検対象３を撮像する。撮像された画像は、ウェアラブルグラス１の表示部１４に表示される。これにより、作業者２は、ウェアラブルグラス１を介して点検対象３が撮像されている画像を確認する。
　本実施の形態に係る点検支援装置１０は、図１に示す通り、画像データ取得部１１と、表示制御部１２と、記録制御部１３とを備える。
　画像データ取得部１１は、点検対象３が撮像されている画像データを取得する。画像データ取得部１１は、例えば、レンズおよび撮像素子を含むカメラによって撮像された画像を表す画像データを取得する。撮像された画像は、点検対象３を含む。画像データ取得部１１は、カメラそのものであってもよいし、カメラによって取得された画像データを該カメラから取得してもよい。画像データ取得部１１は、カメラによって取得された画像データが記録された記録部から取得してもよい。画像データ取得部１１は、取得した画像データを表示制御部１２に供給する。
　表示制御部１２は、画像データ取得部１１によって取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１４に表示させる。表示制御部１２は、画像データ取得部１１から画像データを受け取り、受け取った画像データが表す画像に含まれる点検対象３を特定する。表示制御部１２は、特定した点検対象３に関連する点検結果に関する情報を認識する。例えば、点検対象３が温度計の場合、表示制御部１２は、温度を点検結果に関する情報としてもよい。また、例えば、点検対象３が温度計の場合、表示制御部１２は、温度が所定の範囲内か否かを表す情報を、点検結果に関する情報としてもよい。表示制御部１２は、認識した点検結果に関する情報を、画像データが表す、点検対象３を含む画像に重畳して表示部１４に表示させる。
　表示部１４は、例えば、図２に示す通り、ウェアラブルグラス１のレンズ部であり、例えば、外界光を透過し、表示制御部１２の指示に従った情報を表示するディスプレイモジュールによって実現されるが、これに限定されるものではない。表示部１４は、表示制御部１２によって生成された、点検結果に関する情報を重畳した点検対象３を含む画像を、作業者２の網膜に表示させる機能を有するモジュールであってもよい。このように、表示部１４は、表示制御部１２の制御に従って、表示制御部１２が生成した画像を、投影する機能を有していてもよい。なお、表示制御部１２が生成した画像を投影する機能は、表示制御部１２が有していてもよい。例えば、表示部１４を網膜とした場合、表示制御部１２は、認識した点検結果に関する情報を、点検対象３を含む画像に重畳して、網膜に直接投影する機能を有していてもよい。
　記録制御部１３は、表示部１４に表示されている、点検結果に関する情報と、点検対象３の情報とを対応付けて記録する。記録制御部１３は、互いに対応付けた点検結果に関する情報と点検対象３の情報とを、例えば、ハードディスクドライブや紙等の記録媒体に記録する。点検対象３の情報とは、例えば、点検対象３に対する点検項目や点検対象３の正常値、正常である場合の点検対象３の状態を表す情報などが挙げられるがこれに限定されるものではない。
　図３は、本実施の形態に係る点検支援装置１０の処理の流れの一例を示すフローチャートである。図３に示す通り、画像データ取得部１１が、点検対象３が撮像されている画像データを取得する（ステップＳ３１）。そして、表示制御部１２が、取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１４に表示させる（ステップＳ３２）。そして、記録制御部１３が、表示部１４に表示されている情報と、点検対象３の情報とを対応付けて記録する（ステップＳ３３）。
　以上により、本実施の形態に係る点検支援装置１０は、点検対象３を撮像した画像データに基づいて認識された点検結果に関する情報を、該画像データが表す画像に重畳して、ウェアラブルグラス１の表示部１４に表示することができる。画像データが表す画像には、点検対象３が含まれるため、ウェアラブルグラス１を装着した作業者２は、点検対象３と点検対象３の点検結果に関する情報とを把握することができる。例えば、点検結果に関する情報が計測器の測定値の場合、作業者２は、表示部１４に表示された測定値を、点検対象３の測定値であると容易に把握することができる。
　また、点検支援装置１０は、表示部１４に表示された点検結果に関する情報と点検対象の情報とを対応付けて記録する。例えば、点検対象の情報が点検項目の場合、点検支援装置１０は、点検項目と、点検結果に関する情報とを対応付けて記録する。これにより、作業者２が、点検結果に関する情報を、例えば端末等を用いて手入力で入力するという手間を省くことができる。また、手入力による人的エラーを低減することができる。
　また、点検結果を確認する作業者は、記録された情報を参照することにより、点検項目と、点検結果に関する情報とを容易に把握することができる。以上のように、本実施の形態に係る点検支援装置１０によれば、点検の作業をより効率化することができる。
　＜第２の実施の形態＞
　次に、上述した第１の実施の形態を基本とする、本開示の第２の実施の形態について、図面を参照して説明する。図４は、本実施の形態に係る点検支援装置１００を含むウェアラブルグラス４を説明するための図である。図４に示す通り、点検支援装置１００は、例えば、ウェアラブルグラス４に搭載される。ウェアラブルグラス４を装着した作業者２が、例えば計測器などの点検対象３の方に顔を向けることにより、ウェアラブルグラス４が点検対象３を撮像する。撮像された画像は、ウェアラブルグラス４の表示部１６０に表示される。これにより、作業者２は、ウェアラブルグラス４を介して点検対象３が撮像されている画像を確認する。また、ウェアラブルグラス４は、入力装置２００を含んでもよい。入力装置２００については、後述する。
　図５は、本実施の形態に係る点検支援装置１００を含むウェアラブルグラス４の構成の一例を示すブロック図である。図５に示す通り、ウェアラブルグラス４は、点検支援装置１００と、入力装置２００と、表示部１６０と、記録部１７０とを含む。なお、点検支援装置１００は、入力装置２００と、表示部１６０と、記録部１７０とを含む構成であってもよい。
　点検支援装置１００は、第１の実施の形態における点検支援装置１０の一例である。点検支援装置１００は、図５に示す通り、画像データ取得部１１０と、表示制御部１２０と、記録制御部１３０と、受付部１４０と、点検対象情報取得部１５０とを備える。
　画像データ取得部１１０は、第１の実施の形態における画像データ取得部１１の一例である。画像データ取得部１１０は、点検対象３が撮像されている画像データを取得する。画像データ取得部１１０は、例えば、レンズおよび撮像素子を含むカメラによって撮像された画像を表す画像データを取得する。撮像された画像は、点検対象３を含む。画像データ取得部１１０は、カメラそのものであってもよいし、カメラによって取得された画像データを該カメラから取得してもよい。画像データ取得部１１０は、カメラによって取得された画像データが記録された記録部から取得してもよい。画像データ取得部１１０は、取得した画像データを表示制御部１２０に供給する。
　表示制御部１２０は、第１の実施の形態における表示制御部１２の一例である。表示制御部１２０は、画像データ取得部１１０によって取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１６０に表示させる。表示制御部１２０は、画像データ取得部１１０から画像データを受け取り、受け取った画像データが表す画像に含まれる点検対象３を特定する。表示制御部１２０が点検対象３を特定する方法は特に限定されず、どのような方法を採用してもよい。例えば、表示制御部１２０は、画像データ取得部１１０が取得した画像データと、点検対象３を特定するための画像データとの比較により、該画像データに含まれる点検対象３が何を示すのかを特定してもよい。
　そして、表示制御部１２０は、特定した点検対象３に関連する点検結果に関する情報を認識する。表示制御部１２０が点検結果に関する情報を認識する方法は特に限定されず、どのような方法を採用してもよい。例えば、点検対象３が温度計などの計器の場合、表示制御部１２０は、この温度計が示す温度を、メモリを読み取り、読み取った結果を点検結果に関する情報として認識してもよい。また、点検対象３が構造物の場合、表示制御部１２０は、色やテクスチャの変化から算出することにより、該構造物の劣化度を算出し、算出した結果を点検結果に関する情報として認識してもよい。なお、劣化度の算出方法はどのような方法を採用してもよく、例えば、色の変化量を劣化度としてもよい。
　表示制御部１２０は、認識した点検結果に関する情報を、画像データが表す、点検対象３を含む画像に重畳して表示部１６０に表示させる。表示部１６０が表示する情報の例については、図面を変えて説明する。なお、表示部１６０は、上述した表示部１４と同様にウェアラブルグラス４のレンズ部であってもよい。
　入力装置２００は、例えば、作業者２が指示を入力するための装置である。入力装置２００は、例えば、ウェアラブルグラス４に搭載された、作業者２によって押下可能なスイッチ等で実現されてもよい。また、入力装置２００は、ウェアラブルグラス４とは別個の、ウェアラブルグラス４と通信可能な端末であってもよい。また、入力装置２００は、作業者２の操作を検知することが可能な、例えば、赤外線センサ等であってもよい。
　受付部１４０は、作業者２が入力装置２００を用いて入力した指示（記録指示）を受け付ける。受付部１４０は、受け付けた記録指示を記録制御部１３０に供給する。
　点検対象情報取得部１５０は、点検対象３の情報を取得する。点検対象３の情報とは、例えば、点検対象３を識別する識別子、点検対象３を表す点検対象名、点検対象３に対する点検項目などが挙げられる。点検対象情報取得部１５０は、画像データ取得部１１０によって取得された画像データに基づいて、点検対象３の情報を取得する。点検対象情報取得部１５０は、画像データ取得部１１０が取得した画像データを、表示制御部１２０を介して受け取り、この画像データに含まれる点検対象３を例えば辞書と比較することによって点検対象３を認識し、認識した点検対象３に関連付けられた点検対象３の情報を取得してもよい。また、点検対象情報取得部１５０は、表示制御部１２０から、該表示制御部１２０が特定した点検対象３を表す情報を受け取り、この情報から点検対象３の情報を取得してもよい。点検対象３の情報は、画像データそのものから取得されてもよいし、点検対象の情報を格納した記録部から取得されてもよい。
　記録制御部１３０は、第１の実施の形態における記録制御部１３の一例である。記録制御部１３０は、表示部１６０に表示されている、点検結果に関する情報と、点検対象の情報とを対応付けて記録する。記録制御部１３０は、点検対象の情報を点検対象情報取得部１５０から受け取り、表示制御部１２０が表示部１６０に表示した、点検結果に関する情報と点検対象の情報とを対応付けて記録する。本実施の形態では、記録制御部１３０は、記録部１７０に対応付けた情報を記録するとするが、記録制御部１３０は、紙やその他の媒体に出力することにより、対応付けた情報を記録する構成であってもよい。なお、記録制御部１３０は、受付部１４０が記録指示を受け付けた場合に、点検結果に関する情報と点検対象の情報とを記録することが好ましい。これにより、作業者２が記録指示を行った情報のみが記録され、記録不要と判断された情報は記録されない。よって、点検作業において必要な情報が記録されることになるため、記録された情報の管理の効率を上げることができる。
　記録部１７０は、例えば、ハードディスクドライブで実現される。記録部１７０は、記録制御部１３０が対応付けた点検結果に関する情報と点検対象の情報とを記録する。
　図６は、本実施の形態に係る点検支援装置１００の処理の流れの一例を示すフローチャートである。図６に示す通り、画像データ取得部１１０が、点検対象３が撮像されている画像データを取得する（ステップＳ６１）。そして、表示制御部１２０が、取得された画像データに基づいて認識された、点検対象３の点検結果に関する情報を、点検対象３を含む画像に重畳して表示部１６０に表示させる（ステップＳ６２）。
　また、点検対象情報取得部１５０が、取得された画像データに基づき、点検対象３の情報を取得する（ステップＳ６３）。なお、ステップＳ６２とステップＳ６３とは同時に行われてもよいし、逆順で行われてもよい。
　次に、受付部１４０が、記録指示を受け付けたか否かを確認する（ステップＳ６４）。表示部１６０に表示された情報を確認した作業者２が、入力装置２００を用いて記録指示を入力した場合、受付部１４０はこの記録指示を受け付ける（ステップＳ６４にてＹＥＳ）。受付部１４０が記録指示を受け付けると、記録制御部１３０が、表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録する（ステップＳ６５）。なお、受付部１４０が記録指示を受け付けていない場合（ステップＳ６４にてＮＯ）、点検支援装置１００は処理を終了する。なお、受付部１４０は、例えば、表示部１６０が点検結果に関する情報を表示したあと所定時間、記録指示を受け付けていない場合、記録指示を受け付けなかったと判定してもよい。
　また、受付部１４０は、記録をしないという指示を受け付ける構成であってもよい。この場合、受付部１４０が記録をしないという指示を受け付けなかった場合に、記録制御部１３０は表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録してもよい。このような構成により、記録する情報が多い場合であっても、作業者２は容易に記録不要な情報を選別することができる。
　また、受付部１４０が所定時間、記録指示を受け付けなかった場合、または、記録部１４０が記録をしないという指示を受け付けた場合、画像データ取得部１１０は、ステップＳ６１で取得した画像データと異なる、新たな画像データを取得してもよい。そして、表示制御部１２０は、新たな画像データから、点検対象３に関連する点検結果に関する情報を認識してもよい。なお、受付部１４０が上記の場合、表示制御部１２０は、ステップＳ６２において認識に用いた画像データと同じ画像データを用いて再度、認識処理を行ってもよい。このとき、表示制御部１２０は、ステップＳ６２で行ったときと同じ条件（例えば、同じ認識パラメータ）で認識処理を行ってもよいし、異なる条件で認識処理を行ってもよい。または、表示制御部１２０は画像データに所定の補正処理を施して、認識処理を行ってもよい。また、受付部１４０が上記の場合において、例えば、表示制御部１２０が同じ画像データを用いて再度認識を行った結果がその前に認識を行った結果と同じ場合に、画像データ取得部１１０が新たな画像データを取得してもよい。
　また、受付部１４０は、作業者２による再認識指示を受け付ける構成であってもよい。例えば、作業者２が表示部１６０に表示されている情報を確認し、表示されている情報に誤りがあると判断し、再認識を行う再認識指示を入力した場合、受付部１４０は、この再認識指示を受け付ける。受付部１４０が再認識指示を受け付けた場合、画像データ取得部１１０は、ステップＳ６１で取得した画像データと異なる、新たな画像データを取得してもよい。そして、表示制御部１２０は、新たな画像データから、点検対象３に関連する点検結果に関する情報を認識してもよい。なお、受付部１４０が再認識指示を受け付けた場合、表示制御部１２０は、ステップＳ６２において認識に用いた画像データと同じ画像データを用いて再度、認識処理を行ってもよい。このとき、表示制御部１２０は、ステップＳ６２で行ったときと同じ条件で認識処理を行ってもよいし、異なる条件で認識処理を行ってもよい。または、表示制御部１２０は画像データに所定の補正処理を施して、認識処理を行ってもよい。また、受付部１４０が再認識指示を受け付けた場合において、例えば、表示制御部１２０が同じ画像データを用いて再度認識を行った結果がその前に認識を行った結果と同じ場合に、画像データ取得部１１０が新たな画像データを取得してもよい。
　図７は、画像データ取得部１１０が取得した画像データが表す画像の一例を示す。図７に示す通り、画像データ取得部１１０が取得した画像データが表す画像７０は、点検対象３を含む。図７に示す例では、点検対象３は、２つの温度計（温度計３１および温度計３２）であるとして説明を行う。なお点検対象３は、温度計３１および温度計３２を含む計測器全体であってもよい。
　図８は、表示部１６０が表示する表示画面７１の一例を示す図である。図８に示す通り、点検対象３である温度計３１の点検結果に関する情報である測定温度情報７２および点検対象３である温度計３２の点検結果に関する情報である測定温度情報７３を、図７に示した画像７０に重畳して表示させた表示画面７１が表示部１６０に表示される。なお、表示制御部１２０は、温度計３１および温度計３２を含む計測器全体を特定し、その後、該計測器に関連する点検対象３が温度計３１および温度計３２であることを特定し、温度計３１の測定温度と、温度計３２の測定温度とを認識してもよい。そして、表示制御部１２０は、温度計３１の測定温度を表す測定温度情報７２と、温度計３２の測定温度を表す測定温度情報７３とを画像７０に重畳させた表示画面７１を生成してもよい。なお、記録制御部１３０が測定温度情報７２および測定温度情報７３を表示する位置は特に限定されず、任意の位置であってもよい。
　ウェアラブルグラス４を装着した作業者２は、ウェアラブルグラス４の表示部１６０に表示された表示画面７１を確認することにより、点検対象３の点検結果に関する情報を容易に把握することができる。
　次に、図９を参照して、記録部１７０に記録された情報について説明する。図９は、記録部１７０に記録された記録情報９１の一例を示す図である。記録情報９１は、記録制御部１３０によって互いに対応付けられた表示部１６０に表示されている情報と、点検対象３の情報とを含む。図９に示す例では、表示部１６０に表示されている情報は、計測値９２であるとする。図９に示す計測値９２は、図８に示す測定温度情報７２が表す測定温度および測定温度情報７３が表す測定温度である。なお、表示部１６０に表示されている情報は、図８に示す測定温度情報７２および測定温度情報７３そのものであってもよい。例えば、計測値９２の欄には、図８に示す「温度：７℃」が含まれてもよい。また、点検対象３の情報は、本例では、点検対象３の名前を表す点検対象名９３と、点検対象３に対する点検項目９４とであるとする。図９に示す通り、点検対象３である温度計３１の点検対象名９３は、「温度計３１」および「温度計３２」であるとする。そして、温度計３１および温度計３２の夫々に対する点検項目９４は、夫々「温度を測る」であるとする。図９に示す通り、記録情報９１は、互いに対応付けられた、計測値９２と、点検対象名９３および点検項目９４とを記録する。
　なお、記録制御部１３０は、表示部１６０に表示された表示画面７１を表すデータを、表示部１６０に表示された情報として、点検対象３の情報と対応付けてもよい。また、記録制御部１３０は、画像７０を点検対象３の情報に更に対応付けて記録してもよい。このとき、記録制御部１３０は、例えば、画像７０に含まれる温度計３１の部分の画像を切り出して、温度計３１の部分の画像を温度計３１の情報に対応付けてもよい。
　また、記録制御部１３０は、受付部１４０が受け付けた記録指示を表す情報を、更に関連付けて記録部１７０に記録してもよい。記録指示を表す情報とは、チェックを完了したことを表すフラグであってもよいし、表示された内容が正しいか否かを表す情報であってもよい。また、受付部１４０が受け付けた記録指示が、例えば、温度計３１を指し示すものである場合、記録制御部１３０は、画像７０に含まれる温度計３１の部分の画像を切り出して、温度計３１の部分の画像を温度計３１の情報に対応付けてもよい。
　また、入力装置２００がマイクロフォン等の集音装置の場合、受付部１４０は、集音された音声データを受け付けてもよい。記録制御部１３０は、受付部１４０が音声データを受け付けたことを記録指示としてもよい。また、記録制御部１３０は、受付部１４０が受け付けた音声データを解析し、記録指示を表す音声が含まれていた場合に、表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録してもよい。また、記録制御部１３０は、集音された音声データを、表示部１６０に表示された情報に対応付けて記録してもよい。
　また、入力装置２００は、作業者２が所定の動作を行ったことを検知し、検知した動作を表す動作情報を受付部１４０に供給してもよい。そして、受付部１４０は、この動作情報を受け付けてもよい。この動作情報は、所定の動作を表してもよいし、表示画面７１に対する動作を表してもよい。記録制御部１３０は、受付部１４０が動作情報を受け付けたことを記録指示としてもよい。また、記録制御部１３０は、受付部１４０が受け付けた動作情報に含まれる動作を例えば辞書と比較することによって認識し、該動作情報に記録指示を表す動作が含まれていた場合に、表示部１６０に表示されている情報と、点検対象３の情報とを対応付けて記録してもよい。また、記録制御部１３０は、動作情報を表示部１６０に表示された情報に対応付けて記録してもよい。
　また、点検対象の情報とは、例えば、点検対象に対する点検項目や点検対象の正常値、正常である場合の点検対象の状態を表す情報などが挙げられるがこれに限定されるものではない。
　図８に示した表示画面７１は、点検結果に関する情報として、温度計３１に対する測定値である測定温度情報７２と、温度計３２に対する測定値である測定温度情報７３とを含んでいるが、点検結果に関する情報は測定値に限定されない。図１０は、表示部１６０が表示する表示画面７４の一例を示す図である。図１０に示す表示画面７４には、点検結果が正常か否かを表す情報（７５、７６）が、点検結果に関する情報として表示されている。点検結果が正常か否かを表す情報（７５、７６）は、点検対象３が図１０に示すような温度計３１および温度計３２の場合、温度が所定の範囲内か否かを判定した結果である。
　また、点検対象３は計測器に限定されない。図１１は、画像データ取得部１１０が取得した画像データが表す画像の他の例を示す。作業者２が点検対象３として橋１１１の一部分を撮影すると、図１１に示す通り、画像データ取得部１１０が取得した画像データが表す画像１１２は、点検対象３として、橋１１１の一部分を含む。このように、点検対象は計測器ではなく、構造物であってもよい。橋１１１にはひび１１３が入っているとする。
　図１２は、表示部１６０が表示する表示画面１１４の一例を示す図である。この例では、表示制御部１２０が、ひび１１３を以前に撮影した橋１１１の画像またはひび１１３を表す画像との比較により検知するとする。この場合、表示部１６０は、図１２に示す通り、ひび１１３の位置を把握させるマーク（図１２の例の場合、楕円１１５）を、橋１１１の点検結果に関する情報として、図１１に示した画像１１２に重畳して表示させた表示画面１１４を表示する。このように、記録制御部１３０は、構造物が劣化している箇所を、点検結果に関する情報として、作業者２に把握可能な態様で表示させてもよい。なお、構造物が劣化している箇所の表示方法は楕円１１５に限定されず、例えば、ひび１１３の箇所を他の色とは異なる色で表示してもよいし、その他の方法であってもよい。
　図１３は、表示部１６０が表示する表示画面１１６の一例を示す図である。図１３に示す表示画面１１６には、劣化度を表す情報１１７が、点検結果に関する情報として表示されている。この場合、表示制御部１２０は、画像データからひび１１３を認識し、ひび１１３の劣化度を所定の方法で算出することにより、劣化度を表す情報１１７を表示画面１１６に含めてもよい。
　以上のように、本実施の形態に係る点検支援装置１００は、画像データ取得部１１０が、点検対象が撮像されている画像データを取得し、表示制御部１２０が取得された画像データに基づいて認識された、点検対象の点検結果に関する情報を、点検対象を含む画像に重畳して表示部に表示させる。
　このように、本実施の形態に係る点検支援装置１００は、点検対象を撮像した画像データに基づいて認識された点検結果に関する情報を、該画像データが表す画像に重畳して、ウェアラブルグラス４の表示部１６０に表示することができる。画像データが表す画像には、点検対象が含まれるため、ウェアラブルグラス４を装着した作業者２は、点検対象と点検対象の点検結果に関する情報とを把握することができる。
　また、点検支援装置１００の記録制御部１３０は、表示部１６０に表示された点検結果に関する情報と点検対象の情報とを対応付けて記録する。例えば、点検対象の情報が点検項目の場合、記録制御部１３０は、点検項目と点検結果に関する情報とを対応付けて記録する。これにより、作業者２が、点検結果に関する情報を、例えば端末等を用いて手入力で入力するという手間を省くことができる。また、手入力による人的エラーを低減することができる。このとき、記録制御部１３０は、受付部１４０が記録指示を受け付けた場合に、点検結果に関する情報と点検対象の情報とを記録することが好ましい。これにより、点検作業において必要な情報が記録されることになるため、記録された情報の管理の効率を上げることができる。
　また、点検結果を確認する作業者は、記録された情報を参照することにより、点検項目と、点検結果に関する情報とを容易に把握することができる。以上のように、本実施の形態に係る点検支援装置１００によれば、点検の作業をより効率化することができる。
　＜第３の実施の形態＞
　上述した第２の実施の形態では、点検対象情報取得部１５０が、画像データに基づいて、点検対象の情報を取得する構成について説明したが、本開示はこれに限定されない。本実施の形態では、点検対象の情報の取得の他の例について説明する。なお、上述した第２の実施の形態において説明したブロックと同様の機能を有するブロックについては同じ符号を付す。
　図１４は、本実施の形態に係る点検支援装置１０１の構成の一例を示すブロック図である。点検支援装置１０１は、点検支援装置１００と同様に、ウェアラブルグラス４に搭載される。
　点検支援装置１０１は、画像データ取得部１１０と、表示制御部１２０と、記録制御部１３０と、受付部１４０と、点検対象情報記録部１８０と、点検対象情報取得部１９０とを備える。点検支援装置１０１は、点検支援装置１００の点検対象情報取得部１５０に代えて点検対象情報取得部１９０を備え、更に、点検対象情報記録部１８０を備える構成である。
　点検対象情報記録部１８０は、点検対象情報を記録する。点検対象情報記録部１８０が記録する点検対象情報の一例を、図１５に示す。点検対象情報１５１は、点検対象３の情報を含む。点検対象３の情報は、上述した第２の実施の形態と同様に、点検対象名１５３および点検項目１５４とする。また、点検対象情報１５１は、点検対象３の位置を表す点検対象位置１５２を含む。なお、点検対象位置１５２の表記方法は特に限定されず、位置がわかる情報であればよい。
　点検対象情報記録部１８０は、点検支援装置１０１とは別個の記録装置で実現されてもよい。
　点検対象情報取得部１９０は、画像データ撮像時の位置情報に基づき、点検対象の情報を取得する。点検対象情報取得部１９０は、表示制御部１２０を介して、画像データ撮像時の位置情報を取得する。画像データ撮像時の位置情報とは、画像データを撮影したウェアラブルグラス４の位置を示す情報であってもよいし、取得した画像データから推測した、該画像データに含まれる点検対象３の位置を示す情報であってもよい。
　画像データを取得したウェアラブルグラス４の位置の場合、ウェアラブルグラス４は、例えば、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）を利用して、位置情報を受信し、画像データに付与してもよい。そして、点検対象情報取得部１９０は、画像データに付与された位置情報と、点検対象情報記録部１８０に格納された点検対象情報１５１の点検対象位置１５２とを比較する。点検対象情報取得部１９０は、画像データに付与された位置情報が示す位置から所定の範囲内の点検対象位置１５２に関連付けられた点検対象３の情報を、点検対象情報記録部１８０から取得する。図１５に示す例の場合、点検対象情報取得部１９０は、画像データに付与された位置情報が示す位置から所定の範囲内の点検対象位置１５２に関連付けられた点検対象名１５３と、点検項目１５４とを点検対象情報記録部１８０から取得する。
　そして、記録制御部１３０は、上述した第２の実施の形態における記録制御部１３０と同様に、表示部１６０に表示されている点検結果に関する情報と、点検対象情報取得部１９０が取得した点検対象の情報とを対応付けて記録する。
　本実施の形態に係る点検支援装置１０１によれば、点検対象情報取得部１９０が画像データ撮像時の位置情報に基づいて、点検対象の情報を取得する。これにより、例えば、同じ形状を有する点検対象が複数の位置に存在する場合であっても、画像データに含まれる点検対象に関する情報を特定することができる。これにより、記録制御部１３０は、画像データに含まれる点検対象に対する点検結果に関する情報と、該点検対象の情報とを適切に対応付けることができる。よって、点検結果を確認する作業者は、記録された情報を参照することにより、点検項目と、点検結果に関する情報とを容易に把握することができる。以上のように、本実施の形態に係る点検支援装置１０１によれば、点検の作業をより効率化することができる。
　（変形例）
　点検対象情報記録部１８０が記録する点検対象情報は、図１５の形式に限定されない。本変形例では、点検対象情報記録部１８０が記録する点検対象情報の他の例について説明する。図１６は、点検対象情報記録部１８０が記録する点検対象情報の他の例を示す図である。点検対象情報１６１は、点検対象３の情報を含む。点検対象３の情報は、点検対象情報１５１と同様に、点検対象名１６３および点検項目１６４とする。また、点検対象情報１６１は、点検対象３が点検される際の時刻を表す点検時刻１６２を含む。なお、点検時刻１６２の表記方法は特に限定されず、時刻がわかる情報であればよい。
　点検対象情報取得部１９０は、画像データ撮像時の時刻情報に基づき、点検対象の情報を取得する。点検対象情報取得部１９０は、表示制御部１２０を介して、画像データ撮像時の時刻情報を取得する。画像データ撮像時の時刻情報とは、画像データを撮影した時刻を示す情報である。なお、画像データ撮影時の時刻情報は画像データに付与されていてもよい。
　点検対象情報取得部１９０は、画像データ撮影時の時刻情報と、点検対象情報記録部１８０に格納された点検対象情報１６１の点検時刻１６２とを比較する。点検対象情報取得部１９０は、画像データ撮影時の時刻情報が表す時刻から所定の期間内の点検時刻１６２に関連付けられた点検対象３の情報を、点検対象情報記録部１８０から取得する。図１６に示す例の場合、点検対象情報取得部１９０は、画像データ撮影時の時刻情報が表す時刻から所定の期間内の点検時刻１６２に関連付けられた点検対象名１６３と、点検項目１６４とを点検対象情報記録部１８０から取得する。
　そして、記録制御部１３０は、上述した第２の実施の形態における記録制御部１３０と同様に、表示部１６０に表示されている点検結果に関する情報と、点検対象情報取得部１９０が取得した点検対象の情報とを対応付けて記録する。
　本変形例に係る点検支援装置１０１によれば、点検対象情報取得部１９０が画像データ撮像時の時刻情報に基づいて、点検対象の情報を取得する。これにより、例えば、時刻毎に点検する点検対象が異なる場合、時刻情報を比較することにより、画像データに含まれる点検対象に関する情報を特定することができる。これにより、点検対象情報取得部１９０は、容易に、点検対象の情報を取得することができる。また、例えば、同じ形状を有する点検対象が複数の位置に存在する場合であっても、夫々の点検時刻が異なる場合、点検対象情報取得部１９０は、画像データに含まれる点検対象に関する情報を特定することができる。
　このように、本変形例に係る点検支援装置１０１によれば、上述した第３の実施の形態に係る点検支援装置１０１と同様に、点検の作業をより効率化することができる。
　なお、点検支援装置１０１の点検対象情報取得部１９０は、例えば、ＲＦＩＤを用いて、点検対象の情報を取得してもよい。例えば、点検対象情報取得部１９０は画像データに含まれる点検対象に付与されたＲＦＩＤタグを読み取り、読み取ったデータに基づいて、点検対象を特定する。そして、点検対象情報取得部１９０は、特定した点検対象の情報を、点検対象情報記録部１８０から取得してもよい。このように、ＲＦＩＤを用いた構成であっても、点検支援装置１０１は、点検対象の情報を取得することができる。
　（ハードウェア構成について）
　本開示の各実施形態において、点検支援装置（１０、１００、１０１）の各構成要素は、機能単位のブロックを示している。点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部は、例えば図１７に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１７は、点検支援装置（１０、１００、１０１）の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
　　・ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）９０１
　　・ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）９０２
　　・ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）９０３
　　・ＲＡＭ９０３にロードされるプログラム９０４
　　・プログラム９０４を格納する記憶装置９０５
　　・記録媒体９０６の読み書きを行うドライブ装置９０７
　　・通信ネットワーク９０９と接続する通信インタフェース９０８
　　・データの入出力を行う入出力インタフェース９１０
　　・各構成要素を接続するバス９１１
　各実施形態における点検支援装置（１０、１００、１０１）の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。点検支援装置（１０、１００、１０１）の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１が読み出す。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
　点検支援装置（１０、１００、１０１）の実現方法には、様々な変形例がある。例えば、点検支援装置（１０、１００、１０１）は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、点検支援装置（１０、１００、１０１）が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
　また、点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
　点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　点検支援装置（１０、１００、１０１）の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
　１　　ウェアラブルグラス
　２　　作業者
　３　　点検対象
　４　　ウェアラブルグラス
　１０　　点検支援装置
　１１　　画像データ取得部
　１２　　表示制御部
　１３　　記録制御部
　１４　　表示部
　１００　　点検支援装置
　１０１　　点検支援装置
　１１０　　画像データ取得部
　１２０　　表示制御部
　１３０　　記録制御部
　１４０　　受付部
　１５０　　点検対象情報取得部
　１６０　　表示部
　１７０　　記録部
　１８０　　点検対象情報記録部
　１９０　　点検対象情報取得部
　２００　　入力装置

Claims (9)

  1. 　点検対象が撮像されている画像データを取得する画像データ取得手段と、
    　取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させる表示制御手段と、
    　前記表示部に表示されている前記情報と、前記点検対象の情報とを対応付けて記録する記録制御手段と、
    　を備える点検支援装置。
  2. 　記録指示を受け付ける受付手段を備え、
    　前記記録制御手段は、前記記録指示を受け付けた場合に、前記表示部に表示されている前記情報と、前記点検対象の情報とを対応付けて記録する、
    　請求項１に記載の点検支援装置。
  3. 　取得された前記画像データに基づき、前記点検対象の情報を取得する点検対象情報取得手段を更に備える、
    　請求項１または２に記載の点検支援装置。
  4. 　前記画像データ撮像時の位置情報に基づき、前記点検対象の情報を取得する点検対象情報取得手段を更に備える
    　請求項１または２に記載の点検支援装置。
  5. 　前記画像データ撮像時の時刻情報に基づき、前記点検対象の情報を取得する点検対象情報取得手段を更に備える、
    　請求項１または２に記載の点検支援装置。
  6. 　点検対象が撮像されている画像データを取得し、
    　取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示部に表示させ、
    　表示されている前記情報と、前記点検対象の情報とを対応付けて記録する、
    　点検支援方法。
  7. 　記録指示を受け付け、
    　前記記録指示を受け付けた場合に、前記表示部に表示されている前記情報と、前記点検対象の情報とを対応付けて記録する、
    　請求項６に記載の点検支援方法。
  8. 　点検対象が撮像されている画像データを取得する取得処理と、
    　取得された前記画像データに基づいて認識された、前記点検対象の点検結果に関する情報を、前記点検対象を含む画像に重畳して表示させる表示処理と、
    　表示されている前記情報と、前記点検対象の情報とを対応付けて記録する記録処理と、
    　をコンピュータに実行させるプログラムを記録する、コンピュータ読み取り可能な非一時的な記録媒体。
  9. 　前記プログラムは記録指示を受け付ける受付処理を更にコンピュータに実行させ、
    　前記記録処理は、前記記録指示を受け付けた場合に、表示されている前記情報と、前記点検対象の情報とを対応付けて記録する、
    　請求項８に記載の記録媒体。
PCT/JP2017/007759 2017-02-28 2017-02-28 点検支援装置、点検支援方法および記録媒体 WO2018158814A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/007759 WO2018158814A1 (ja) 2017-02-28 2017-02-28 点検支援装置、点検支援方法および記録媒体
US16/489,057 US11003911B2 (en) 2017-02-28 2017-02-28 Inspection assistance device, inspection assistance method, and recording medium
JP2019502317A JP6911914B2 (ja) 2017-02-28 2017-02-28 点検支援装置、点検支援方法およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/007759 WO2018158814A1 (ja) 2017-02-28 2017-02-28 点検支援装置、点検支援方法および記録媒体

Publications (1)

Publication Number Publication Date
WO2018158814A1 true WO2018158814A1 (ja) 2018-09-07

Family

ID=63370363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/007759 WO2018158814A1 (ja) 2017-02-28 2017-02-28 点検支援装置、点検支援方法および記録媒体

Country Status (3)

Country Link
US (1) US11003911B2 (ja)
JP (1) JP6911914B2 (ja)
WO (1) WO2018158814A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11270426B2 (en) * 2018-05-14 2022-03-08 Sri International Computer aided inspection system and methods
US11783464B2 (en) * 2018-05-18 2023-10-10 Lawrence Livermore National Security, Llc Integrating extended reality with inspection systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046726A1 (ja) * 2010-10-05 2012-04-12 新日本製鐵株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
JP2014002430A (ja) * 2012-06-15 2014-01-09 Hitachi Ltd 設備点検システム及びその計測器
JP2016004292A (ja) * 2014-06-13 2016-01-12 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
WO2017014288A1 (ja) * 2015-07-21 2017-01-26 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0896083A (ja) * 1994-09-28 1996-04-12 Sumitomo Metal Ind Ltd 文字認識装置
JP2895810B2 (ja) 1995-10-13 1999-05-24 三菱電機株式会社 訪問看護支援システム用携帯端末
JP3979833B2 (ja) 2001-12-10 2007-09-19 綜合警備保障株式会社 自動通報装置
JP3919617B2 (ja) * 2002-07-09 2007-05-30 キヤノン株式会社 文字認識装置および文字認識方法、プログラムおよび記憶媒体
CN101297294A (zh) * 2004-05-21 2008-10-29 派拉斯科技术公司 图形重新检验用户设置界面
JP2007018188A (ja) 2005-07-06 2007-01-25 Hitachi Ltd 拡張現実感による情報提示システム、情報提示方法、情報提示装置およびコンピュータプログラム
JP2010277442A (ja) * 2009-05-29 2010-12-09 Fujifilm Corp 建設検査システム、携帯端末、建設検査方法およびプログラム
JP5246187B2 (ja) * 2010-03-15 2013-07-24 オムロン株式会社 Ｘ線検査装置、ｘ線検査方法およびプログラム
JP6211808B2 (ja) 2013-06-05 2017-10-11 富士機械製造株式会社 基板生産支援システム
US20170332062A1 (en) * 2016-05-13 2017-11-16 Radiant Innovation Inc. Thermal detecting system and thermal detecting method
JP6669874B2 (ja) * 2016-08-18 2020-03-18 富士フイルム株式会社 欠陥検査装置、欠陥検査方法、およびプログラム
US11270426B2 (en) * 2018-05-14 2022-03-08 Sri International Computer aided inspection system and methods

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012046726A1 (ja) * 2010-10-05 2012-04-12 新日本製鐵株式会社 点検支援装置、点検支援システム、点検支援方法、及び点検支援プログラム
JP2014002430A (ja) * 2012-06-15 2014-01-09 Hitachi Ltd 設備点検システム及びその計測器
JP2016004292A (ja) * 2014-06-13 2016-01-12 富士通株式会社 端末装置、情報処理システム、及び表示制御プログラム
WO2017014288A1 (ja) * 2015-07-21 2017-01-26 株式会社東芝 ひび割れ解析装置、ひび割れ解析方法及びひび割れ解析プログラム

Also Published As

Publication number Publication date
US11003911B2 (en) 2021-05-11
JP6911914B2 (ja) 2021-07-28
US20200065585A1 (en) 2020-02-27
JPWO2018158814A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
WO2018158812A1 (ja) 点検支援装置、点検支援方法および記録媒体
US9295371B2 (en) Measuring endoscope apparatus and program
EP1732314A2 (en) Infrared camera with humidity sensor
CN107911680B (zh) 投影设备校正方法、装置及投影设备
CN105278673A (zh) 用于辅助操作者测量物体的部分的方法
US20130135463A1 (en) Information processing apparatus, information processing method and computer-readable storage medium
CN108509824B (zh) 基于ar设备的物品特征标识方法以及检查物品的系统
CN113837159A (zh) 一种基于机器视觉的仪表示数识别方法和装置
JP2015102880A (ja) 作業支援システム
WO2018158814A1 (ja) 点検支援装置、点検支援方法および記録媒体
WO2018158815A1 (ja) 点検支援装置、点検支援方法および記録媒体
CN113227719B (zh) 测定系统、测定装置、测定方法以及程序
US11093777B2 (en) Optical character recognition (OCR) and coded data for legacy instrument data transfer
WO2018158818A1 (ja) 点検支援装置、点検支援方法および記録媒体
WO2019093449A1 (ja) 計測値読取りシステム、計測値読取り装置及び計測値読取方法
WO2021002263A1 (ja) ガス検出端末装置
JP2018106439A (ja) 計測支援装置
CN104655284B (zh) 分析装置、处理装置和分析方法、处理方法
US11842452B2 (en) Portable display device with overlaid virtual information
CN206584224U (zh) 制程参数监控系统
CN115457089B (zh) 可见光图像和红外图像的配准融合方法及装置
JP7327548B2 (ja) 点検支援装置、点検支援方法およびプログラム
CN105224897B (zh) 信息提供装置、检测装置、检测系统和信息提供方法
KR102006883B1 (ko) 모바일 기기를 이용한 위치 보정 시스템 및 방법
CN115578549A (zh) 任务选择装置、任务处理装置和任务记录方法、任务处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17898424

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
ENP Entry into the national phase

Ref document number: 2019502317

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17898424

Country of ref document: EP

Kind code of ref document: A1