JP5949542B2

JP5949542B2 - Image information processing system

Info

Publication number: JP5949542B2
Application number: JP2012287281A
Authority: JP
Inventors: 慎中手
Original assignee: JVCKenwood Corp
Current assignee: JVCKenwood Corp
Priority date: 2012-12-28
Filing date: 2012-12-28
Publication date: 2016-07-06
Anticipated expiration: 2032-12-28
Also published as: JP2014130453A

Description

本発明は、情報を処理する画像情報処理システムに関する。 The present invention relates to an image information processing system for processing information.

現在、撮影された画像でアルバムを作成するときには、画像の特徴点から、適切な画像を選択し、アルバムを作成している。特許文献１には、画像に関連づけられたメタデータを基に、代表画像を選択するための技術が公開されている。 At present, when creating an album with captured images, an appropriate image is selected from the feature points of the image to create the album. Patent Document 1 discloses a technique for selecting a representative image based on metadata associated with an image.

また、アルバムにコメントを残すような場合にも特許文献２のように、一つ一つの写真（画像）について、それぞれ新たにコメントを書き起こす必要があった。特許文献２では、保護者または保育士が、写真を一つ一つ確認した上で、アルバムに掲載する写真（画像）を選択しなければならなかった。 Also, when a comment is left in the album, as in Patent Document 2, it is necessary to write a new comment for each photo (image). In Patent Document 2, a guardian or a nursery teacher has to check each photo and then select a photo (image) to be posted on the album.

特開２０１１−２１５９６３号公報JP 2011-215963 A 特開２００２−３１８８６１号公報JP 2002-318861 A

しかしながら、特許文献１の発明では、記録した人が画像に対するコメントなどを記載することが難しく、その改善が望まれる。また、特許文献２では、コメントを記載することは出来るが、それぞれの画像に対して記載する必要があった。撮影者や記録者などが撮影した画像と一対一対応させることなく、コメントまたはイベント情報を撮影した画像と別に記載した際には、関連した画像に対して所望のコメントやイベント情報と一緒に表示させることが難しく、その改善が望まれる。 However, in the invention of Patent Document 1, it is difficult for a recording person to describe a comment or the like on an image, and improvement thereof is desired. In Patent Document 2, although comments can be described, it is necessary to describe each image. When a comment or event information is described separately from the photographed image without having a one-to-one correspondence with the image photographed by the photographer or recorder, the related image is displayed together with the desired comment or event information. It is difficult to make it easier to improve.

上述の課題を解決するために、本発明は以下の構成の画像処理システムを提供する。
撮影手段によって撮影された画像と、ユーザによって入力されたコメント情報又はイベント情報の少なくとも一方とを記憶する記憶する記憶部と、
各々の前記画像と前記イベント情報又はコメント情報のすくなくとも一方との関連度を算出する関連度算出部と、
前記撮影手段によって撮影された画像毎に前記関連度算出部で算出された関連度を基に前記画像同士の関連度である画像関連度を算出する画像関連度算出部と、
前記画像関連度を基に前記撮影された画像をグループ分けするグループ設定部と、
前記グループごとの画像の数に応じて表示する表示範囲を設定する表示範囲設定部と、
前記表示範囲内に配置される表示画像数を決定する画像数決定部と、
前記グループ内の画像ごとに重要度を決定する重要度決定部と、
前記画像数決定部において決定された表示画像数に対応する画像は前記重要度の高い画像を優先的に配置することを特徴とする画像配置部と、
前記画像配置部で配置した配置情報を出力する出力部と、を有する画像情報処理システム。 In order to solve the above-described problems, the present invention provides an image processing system having the following configuration.
A storage unit that stores an image photographed by the photographing unit and at least one of comment information or event information input by a user;
A relevance calculation unit that calculates relevance between each of the images and at least one of the event information or comment information;
An image relevance calculation unit that calculates an image relevance level that is a relevance level between the images based on the relevance level calculated by the relevance level calculation unit for each image captured by the imaging unit;
A group setting unit for grouping the captured images based on the degree of image relevance;
A display range setting section for setting a display range to be displayed according to the number of images for each group;
An image number determination unit for determining the number of display images arranged in the display range;
An importance determining unit that determines the importance for each image in the group;
An image arrangement unit that preferentially arranges the images with high importance as images corresponding to the number of display images determined in the image number determination unit;
And an output unit that outputs arrangement information arranged by the image arrangement unit.

本発明に係る画像情報処理システムよれば、撮影者や記録者などが撮影した画像と一対一対応させることなく、コメントまたはイベント情報を撮影した画像と別に記載した際には、関連した画像に対して所望のコメントやイベント情報と一緒に表示させることが可能になる。 According to the image information processing system of the present invention, when a comment or event information is described separately from an image captured without a one-to-one correspondence with an image captured by a photographer or a recorder, Can be displayed together with desired comments and event information.

本発明の実施例１の画像情報処理システム１の構成を示す図である。It is a figure which shows the structure of the image information processing system 1 of Example 1 of this invention. 本発明の実施例１の画像情報処理システム１のイベント記録手段１０、画像記録手段２０、コメント記録手段３０、情報記憶手段４０の構成を示す図である。It is a figure which shows the structure of the event recording means 10, the image recording means 20, the comment recording means 30, and the information storage means 40 of the image information processing system 1 of Example 1 of this invention. 本発明の実施例１のイベント情報１００の構成図である。It is a block diagram of the event information 100 of Example 1 of this invention. 本発明の実施例１の画像記録情報２００の構成図である。It is a block diagram of the image recording information 200 of Example 1 of this invention. 本発明の実施例１のコメント情報３００の構成図である。It is a block diagram of the comment information 300 of Example 1 of this invention. 本発明の実施例１のアルバム作成のフロー図である。It is a flowchart of album preparation of Example 1 of this invention. 本発明の実施例１のアルバム作成期間決定の表示例である。It is an example of a display of album creation period determination of Example 1 of this invention. 本発明の実施例１のアルバム対象人物決定の表示例である。It is an example of a display of album object person determination of Example 1 of this invention. 本発明の実施例１のアルバム作成時の表示例である。It is an example of a display at the time of album creation of Example 1 of the present invention. 本発明の実施例１の画像・イベント情報・コメント情報のグルーピングのフロー図である。It is a flowchart of grouping of image, event information, and comment information according to the first embodiment of the present invention. 本発明の実施例１のそれぞれの画像に対するイベント関連度データの一部を示す図である。It is a figure which shows a part of event related degree data with respect to each image of Example 1 of this invention. 本発明の実施例１のそれぞれの画像に対するコメント関連度データの一部を示す図である。It is a figure which shows a part of comment related degree data with respect to each image of Example 1 of this invention. 本発明の実施例１のイベント情報と対応画像を示すデータ例である。It is an example of data which shows the event information and corresponding | compatible image of Example 1 of this invention. 本発明の実施例１のコメント情報と対応画像を示すデータ例である。It is an example of data which shows the comment information and corresponding | compatible image of Example 1 of this invention. 本発明の実施例１の画像関連データ１５０と関連度を示すデータ例である。It is an example of data which shows the image relevant data 150 of Example 1 of this invention, and a relevance degree. 本発明の実施例１の画像―グループ情報１６０を示すデータ例である。It is an example of data which shows the image-group information 160 of Example 1 of this invention. 本発明の実施例１のアルバム作成時の画像とコメントの割り振りのフロー図である。It is a flowchart of the allocation of the image and comment at the time of album creation of Example 1 of this invention. 本発明の実施例１のアルバム表示例１である。It is example 1 of album display of Example 1 of the present invention. 本発明の実施例１のアルバム表示例２である。It is an album display example 2 of Example 1 of this invention. 本発明の実施例１の画像の重要度を算出するための検出方法１の説明図である。It is explanatory drawing of the detection method 1 for calculating the importance of the image of Example 1 of this invention. 本発明の実施例１の画像の重要度を算出するための検出方法２の説明図である。It is explanatory drawing of the detection method 2 for calculating the importance of the image of Example 1 of this invention. 本発明の実施例１におけるアイコン選択時の表示例を示す図である。It is a figure which shows the example of a display at the time of the icon selection in Example 1 of this invention.

以下に本発明の実施の形態について、図面を参照しながら説明する。以下の図面の記載において、同一または類似の部分は、同一また類似の符号を付し、重複する説明は原則として省略する。総じて図面は模式的なものであり、各寸法の比率などはこの実施形態の解釈を限定しない。したがって、具体的な寸法などは以下の説明を参酌して判断すべきものである。また、図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることは勿論である。 Embodiments of the present invention will be described below with reference to the drawings. In the following description of the drawings, the same or similar parts are denoted by the same or similar reference numerals, and redundant description will be omitted in principle. In general, the drawings are schematic, and the ratio of each dimension does not limit the interpretation of this embodiment. Accordingly, specific dimensions and the like should be determined in consideration of the following description. Moreover, it is a matter of course that portions having different dimensional relationships and ratios are included between the drawings.

＜実施の形態＞
図１に示すように、実施例１の画像情報処理システム１は複数のイベント記録手段１０と、複数の画像記録手段２０と、複数のコメント記録手段３０と、情報記憶手段４０とを有し、それぞれがネットワーク６に接続されている。イベント記録手段１０は、イベント情報を入力するためのイベント入力部１３と入力した情報を表示させる表示部１２である画面１１を備える。保育者（記録者）が画像記録手段２０、コメント記録手段３０、イベント記録手段１０をそれぞれ所有している。コメント記録手段３０は、表示部（ディスプレイ）３２と、コメント入力部３３であるキーボードとを備える。 <Embodiment>
As shown in FIG. 1, the image information processing system 1 according to the first embodiment includes a plurality of event recording units 10, a plurality of image recording units 20, a plurality of comment recording units 30, and an information storage unit 40. Each is connected to the network 6. The event recording means 10 includes an event input unit 13 for inputting event information and a screen 11 which is a display unit 12 for displaying the input information. The childcare person (recorder) owns the image recording means 20, the comment recording means 30, and the event recording means 10, respectively. The comment recording unit 30 includes a display unit (display) 32 and a keyboard that is a comment input unit 33.

図２を基に、図１で示した情報処理システム１を構成するイベント記録手段１０、画像記録手段２０、コメント記録手段３０、情報記憶手段４０についてそれぞれ説明する。 Based on FIG. 2, the event recording means 10, the image recording means 20, the comment recording means 30, and the information storage means 40 that constitute the information processing system 1 shown in FIG.

イベント記録手段１０は、イベント情報を入力するための装置であり、例えば、携帯型パソコンのようなものである。イベント記録手段１０は、イベント入力部１３と、表示部１２と、記憶部１４と、時計部１５と、制御部１６、通信部１７と、位置取得部１８とを備える。ここで、イベント情報とは、イベントの種類を選択した選択日時（作成時刻）、イベントを選択した記録者（作成者）、イベントの種類を選択した記録位置（作成位置）、イベントの種類（イベント種類）等である。記録者は、イベント入力部１３を用いて、イベントの種と記録者とを入力する。イベントの種類は、「お散歩」、「お昼ご飯」、「お昼寝」、「おやつ」など予め定められており、前述のイベントの種類の情報は記憶部１４に記憶されている。記録者は画面１１に表示された複数のイベントのうち１つを選択する。選択したイベント情報に対応する情報はイベント記憶手段１０に記憶される。また、記録者は、画面１１に表示されている予め記憶された記録者の名前の一覧から記録者自身の名前を選択する。選択された記録者名は記録者情報としてイベント記録手段１０に記憶される。イベント記録手段１０に記憶される記録位置（作成位置）は、イベントの種類と記録者が決定されたときの位置取得部１８で取得された位置情報（緯度・経度情報）と、選択日時（作成時刻）を時計部１５によって取得された時刻とにより取得する。取得された位置情報（作成位置）と取得された日時（作成時刻）、イベントの種類、記録者（作成者）は、一群の情報となって、イベント記録手段１０の記憶部１４に一時的に記憶される。イベント記録手段１０の制御部１６は、通信部１７の状態を監視し、ネットワーク６を介して、画像情報を情報記憶手段４０に出力する。情報記憶手段４０は送られてきたイベント情報を記憶部４４に記憶させる。（図3参照。イベント情報の詳細は後述する。） The event recording means 10 is a device for inputting event information and is, for example, a portable personal computer. The event recording unit 10 includes an event input unit 13, a display unit 12, a storage unit 14, a clock unit 15, a control unit 16, a communication unit 17, and a position acquisition unit 18. Here, the event information includes the selected date and time (creation time) when the event type is selected, the recording person (creator) who selected the event, the recording position (creation position) where the event type is selected, and the event type (event Type). The recorder uses the event input unit 13 to input the event type and the recorder. The type of event is determined in advance, such as “walking”, “lunch”, “nap”, “snack”, and the above-described event type information is stored in the storage unit 14. The recorder selects one of a plurality of events displayed on the screen 11. Information corresponding to the selected event information is stored in the event storage means 10. In addition, the recording person selects the name of the recording person from a list of recording person names stored in advance displayed on the screen 11. The selected recorder name is stored in the event recording means 10 as recorder information. The recording position (creation position) stored in the event recording means 10 includes the position information (latitude / longitude information) acquired by the position acquisition unit 18 when the event type and the recording person are determined, and the selected date and time (creation) Time) is acquired from the time acquired by the clock unit 15. The acquired position information (creation position), the acquired date and time (creation time), the type of event, and the recorder (creator) become a group of information and are temporarily stored in the storage unit 14 of the event recording means 10. Remembered. The control unit 16 of the event recording unit 10 monitors the state of the communication unit 17 and outputs image information to the information storage unit 40 via the network 6. The information storage unit 40 stores the sent event information in the storage unit 44. (See Figure 3. Details of event information will be described later.)

なお、位置取得部１８は、GPS（Global Positioning System）のように現在地が取得できるものであればよく、現在位置（作成位置）と作成時刻とは、例えば、表示部１２に決定キーが表示され、記録者によって決定キーが押された、イベント情報入力の決定とされるタイミングで取得するようにしてもよい。記録者（作成者）それぞれがイベント記録手段１０を所有しているときは、それぞれの機器のＩＤを前記イベント情報に付加し、情報記憶手段４０はIDを含めてイベント情報を記憶し、そのＩＤより記録者を区別するようにしてもよい。 The position acquisition unit 18 only needs to be able to acquire the current location, such as GPS (Global Positioning System), and the current position (creation position) and the creation time are displayed on the display unit 12, for example. The event information may be acquired at the timing when the event information input is determined when the determination key is pressed by the recording person. When each recorder (creator) owns the event recording means 10, the ID of each device is added to the event information, and the information storage means 40 stores the event information including the ID, and the ID You may make it distinguish a recording person more.

なお、イベント記録手段１０の表示部１３（画面１１）は、例えば、タッチパネルになっており、画面１１上にボタンやアイコンを表示することで、記録者がイベントの種類を選択できるようになっている。また、画面１１上にキーボードを表示してもよく、記録者によるキーボードでの入力も可能である。また、イベント入力部１３は、マイクを備え、音声入力によるものでもよい。その場合には、記録者からの入力音声を音声認識により判別し、イベントの種類と一致する単語を検出したときに、イベント情報を記憶部１４に一時的に記録し、情報記憶手段４０に送信するようにしてもよい。 Note that the display unit 13 (screen 11) of the event recording means 10 is, for example, a touch panel, and by displaying buttons and icons on the screen 11, the recorder can select the type of event. Yes. Further, a keyboard may be displayed on the screen 11 and input by the recorder by the keyboard is also possible. Further, the event input unit 13 may include a microphone and may be input by voice. In that case, the voice input from the recorder is discriminated by voice recognition, and when a word matching the event type is detected, the event information is temporarily recorded in the storage unit 14 and transmitted to the information storage means 40. You may make it do.

次に画像記録手段２０は、デジタルカメラであり、撮像部２１と、時計部２５と、制御部２６と、通信部２６と、記憶部２４と、表示部２２と、入力部２３とを備える。撮像部２１によって、撮影された画像とともにそれぞれ撮像部２１、時計部２５、入力部２３、位置取得部２８から、画像が撮影された撮影時刻（作成時刻）、撮影者（記録者、作成者）、記録位置（画像が撮影された位置）の情報を取得する。 Next, the image recording unit 20 is a digital camera, and includes an imaging unit 21, a clock unit 25, a control unit 26, a communication unit 26, a storage unit 24, a display unit 22, and an input unit 23. Images taken by the imaging unit 21 from the imaging unit 21, the clock unit 25, the input unit 23, and the position acquisition unit 28 together with the captured images, and the photographer (recorder, creator). The information of the recording position (position where the image was taken) is acquired.

保育者（記録者、作成者）は画像記録手段２０（カメラ装置）を利用して画像の記録を行う。撮影された画像は、画像認識ソフト等によって解析され、撮影された画像に写っていると認識された人と記憶部２４に記憶されている人物との特徴点が一致した人物の人物名が上記情報とともに画像記録情報として記憶部２４に一時的に記憶される。制御部２６は、通信部２７の状態を確認して、ネットワーク６を介して、画像記録情報を情報記憶手段４０に送信する。情報記憶手段４０は送られてきた画像記録情報を記憶部４４に記憶させる。 A childcare person (recorder, creator) records an image using the image recording means 20 (camera device). The photographed image is analyzed by image recognition software or the like, and the person name of the person whose feature points match between the person recognized to be reflected in the photographed image and the person stored in the storage unit 24 is the above. The information is temporarily stored in the storage unit 24 as image recording information together with the information. The control unit 26 confirms the state of the communication unit 27 and transmits the image recording information to the information storage unit 40 via the network 6. The information storage unit 40 stores the sent image recording information in the storage unit 44.

なお、映像記録手段２０は、ビデオカメラでもよく、所定期間毎に自動で撮影された画像とともに画像記録情報を記憶するようにしてもよい。同様の動作をするデジタルカメラでもよい。また、作成者が記録されている動画から任意に画像を切り出してもよく、その場合、切り出された画像または動画の一部が選択された際に、画像認識ソフトにより人物が検出され、画像記録情報が作成され、画像記録情報が記憶されるようにしたり、また、画像解析によって映像に人物に認識にされたときに画像記録情報を作成することも可能である。表示部２２は、撮影した画像を表示したり、入力部２３によって入力された情報などを表示することで作成者に画像や入力された情報などを確認させることができるディスプレイである。 Note that the video recording means 20 may be a video camera, and may store image recording information together with images automatically taken every predetermined period. A digital camera that performs the same operation may be used. In addition, the creator may arbitrarily cut out the image from the recorded video. In this case, when the cut out image or part of the moving image is selected, the person is detected by the image recognition software, and the image is recorded. It is possible to create information and store image recording information, or to create image recording information when a person recognizes a video by image analysis. The display unit 22 is a display that allows a creator to check an image, input information, and the like by displaying a photographed image or displaying information input by the input unit 23.

また、画像記録手段２０の制御部２６は、撮像部２１を画像のフレーム内に人物が存在する場合に画像を撮影させるように制御させることも可能であり、効率的に画像を取得することができる。 In addition, the control unit 26 of the image recording unit 20 can control the imaging unit 21 to capture an image when a person is present in the frame of the image, so that the image can be efficiently acquired. it can.

保育者（記録者、作成者）は、コメント記録手段３０を用いて保育中の特記事項やの所感等を文章で入力し、コメント記録手段３０に記録する。コメント記録手段３０は、キーボードなどのコメント入力部３３と、ディスプレイなどの表示部３２と、メモリなどの記憶部３４と、ネットワーク６を介しデータのやり取りを行う通信部３７と、時計部３５と、制御部３６とを備える。 The childcare person (recorder, creator) uses the comment recording means 30 to input the special remarks and feelings during the childcare in sentences and records them in the comment recording means 30. The comment recording means 30 includes a comment input unit 33 such as a keyboard, a display unit 32 such as a display, a storage unit 34 such as a memory, a communication unit 37 that exchanges data via the network 6, a clock unit 35, And a control unit 36.

コメント記録手段３０は、記録者によって入力されたコメントとともに記録された日時の情報（作成日時）を時計部３５により取得し、同時にコメントが入力されたときのコメント記録手段３０の位置情報を示す作成位置（緯度・経度の値）を位置取得部３８から取得する。また、コメントの作成者（記録者）もコメントとともに取得する。以上のコメント内容、作成者、作成日時、作成位置をコメント情報として、コメント記録手段３０は記憶部３４に一時的に記憶する。制御部３６は、通信部３７の状態を監視し、ネットワーク６を介して、コメント情報を情報記憶手段４０に出力する。情報記憶手段４０は送られてきたコメント情報を記憶部４４に記憶させる。（コメント情報の詳細については図５を参照）。 The comment recording means 30 obtains the date and time information (creation date and time) recorded together with the comment input by the recorder by the clock unit 35, and at the same time, creates the position information of the comment recording means 30 when the comment is input The position (latitude / longitude value) is acquired from the position acquisition unit 38. In addition, the creator of the comment (recorder) is also acquired along with the comment. The comment recording means 30 temporarily stores the comment content, creator, creation date and creation position as comment information in the storage unit 34. The control unit 36 monitors the state of the communication unit 37 and outputs comment information to the information storage unit 40 via the network 6. The information storage unit 40 stores the sent comment information in the storage unit 44. (See FIG. 5 for details of comment information).

コメントは、記録者が、キーボード等により入力する形式でもよいし、ボイスレコーダのように、コメント入力部３３がマイクを備え、音声入力により、記録を行うものでもよい。また、入力された音声は音声認識により、テキストとして保存することも可能である。保育者や児童の会話をすべての会話を記録しておき、テキスト化し記憶しておいてもよい。 The comment may be input by a recorder using a keyboard or the like, or the comment input unit 33 may be provided with a microphone and record by voice input like a voice recorder. Also, the input voice can be saved as text by voice recognition. All the conversations of the childcare worker and the child may be recorded and stored as text.

情報記憶手段４０は、カレンダー４５と、制御部４６と、記憶部４４と通信部４７とを備える。情報記憶手段４０は、処理部を備えたサーバのようなものであり、取得した情報の記録、管理、再構築、分析を行い、その結果をネットワーク６で接続された他の装置（イベント記録手段１０、画像記録手段２０、コメント記録手段３０等）に出力する。
記憶部４４は、ハードディスク、半導体記憶媒体等の不揮発性の記録媒体である。制御部４６は記憶部４４や通信部４７を制御したり、データの分析、解析等を行う。
本実施例では情報記憶手段４０は、関連度算出部、画像関連度算出部、グループ設定部、表示範囲設定部、画像数決定部、重要度決定部、画像配置部と出力部として働く。 The information storage unit 40 includes a calendar 45, a control unit 46, a storage unit 44, and a communication unit 47. The information storage means 40 is like a server having a processing unit, and records, manages, reconstructs and analyzes the acquired information, and the result is connected to another device (event recording means) connected via the network 6. 10, image recording means 20, comment recording means 30, etc.).
The storage unit 44 is a non-volatile recording medium such as a hard disk or a semiconductor storage medium. The control unit 46 controls the storage unit 44 and the communication unit 47 and performs data analysis and analysis.
In this embodiment, the information storage unit 40 functions as an association degree calculation unit, an image association degree calculation unit, a group setting unit, a display range setting unit, an image number determination unit, an importance degree determination unit, an image arrangement unit, and an output unit.

次に、図３〜５を用いて、それぞれのデータの説明をする。
図３に示す、イベント情報１００は、前述のようにイベント記録手段１０で作成され、情報記憶手段４０に送信され、情報記憶手段４０内の記憶部４４のイベント情報１００に格納されている。イベント情報１００は、ファイル名１０１と、作成日時１０２と、作成者１０３と、記録位置１０４と、イベント種類１０５とを含み、１つのファイル名が付与された１データ群は、図３に示されたイベント情報１００の１行に対応し、ファイル名：イベント００１の１データ群は１行に対応する。情報記憶手段４０が記録手段１０からイベント情報を受信するたびに、イベント情報１００の行が追加される。 Next, each data will be described with reference to FIGS.
The event information 100 shown in FIG. 3 is created by the event recording unit 10 as described above, transmitted to the information storage unit 40, and stored in the event information 100 of the storage unit 44 in the information storage unit 40. The event information 100 includes a file name 101, a creation date and time 102, a creator 103, a recording position 104, and an event type 105, and one data group to which one file name is assigned is shown in FIG. Corresponds to one line of the event information 100, and one data group of file name: event 001 corresponds to one line. Each time the information storage unit 40 receives event information from the recording unit 10, a row of event information 100 is added.

図４に示す、画像記録情報２００は、ファイル名２０１、作成日時２０２、作成者２０３、写っている人２０４と、記録位置２０５とにより構成されており、１つのデータ群（１行に相当）は、１つの画像ファイルに対して１行割当てられている。すなわち、ファイル名：画像００１の画像記録情報はファイル名：画像００１の１行である。 The image recording information 200 shown in FIG. 4 includes a file name 201, a creation date 202, a creator 203, a photographed person 204, and a recording position 205, and one data group (corresponding to one line). Is assigned one line to one image file. That is, the image recording information of file name: image 001 is one line of file name: image 001.

図５に示す、コメント情報３００は、ファイル名３０１、作成日時３０２、作成者３０３、コメントの内容３０４と、作成位置３０５とにより構成されており、前述のようにコメント記録手段３０で作成され、情報記憶手段４０に送信され、情報記憶手段４０内の記憶部４４のコメント情報３００に格納されている。図５に示されたコメント情報３００の１行に対応し、ファイル名：コメント００１のデータ群はファイル名：コメント００１の１行に対応する。情報記憶手段４０がコメント記録手段３０からイベント情報を受信するたびに、コメント情報３００の行が追加される。 The comment information 300 shown in FIG. 5 includes a file name 301, a creation date 302, a creator 303, a comment content 304, and a creation position 305. The comment information 300 is created by the comment recording unit 30 as described above. It is transmitted to the information storage means 40 and stored in the comment information 300 of the storage unit 44 in the information storage means 40. Corresponding to one line of the comment information 300 shown in FIG. 5, the data group of file name: comment 001 corresponds to one line of file name: comment 001. Each time the information storage unit 40 receives event information from the comment recording unit 30, a line of comment information 300 is added.

次に図６にアルバム作成のフローを示す。はじめにアルバム作成期間を決定する（ステップＳ１０）、次にアルバムの掲載する中心人物を決定し（ステップＳ１１）、作成するアルバムの総ページ数を決定する（ステップＳ１２）。次に画像・イベント情報・コメント情報グルーピングし（ステップＳ１３）、ステップＳ１３にてグルーピングされた画像数に基づきグループごとのアルバムのページを割り当てを決定する（ステップＳ１４）、ステップＳ１４にて、割り当てられたアルバムの各ページに画像とコメントのレイアウトを決定し、表示などの出力を行う（ステップＳ１５）。 Next, FIG. 6 shows an album creation flow. First, an album creation period is determined (step S10), then a central person to be posted in the album is determined (step S11), and the total number of pages of the album to be created is determined (step S12). Next, image / event information / comment information grouping is performed (step S13), and allocation of album pages for each group is determined based on the number of images grouped in step S13 (step S14), and allocation is performed in step S14. The layout of images and comments is determined for each page of the album, and output such as display is performed (step S15).

次に各ステップの説明をする。ステップＳ１０のアルバム作成期間の決定は、アルバム作成者が行う。例えば、コメント記録手段３０の表示部（ディスプレイ）３２に表示されたアイコンをアルバム作成者が押すと、アルバム作成指示制御信号がコメント記録手段３０からネットワーク６を通じ情報記憶手段４０へ送信される。前述のアルバム作成指示制御信号を受信した情報記憶手段４０は、図７に示すような、アルバム作成期間の設定の表示情報をコメント記録手段３０に送信する。情報記憶手段４０がコメント記録手段３０にアルバム作成期間の設定の表示情報を表示させるような制御信号を送信してもよいし、コメント記録手段３０自身がアルバム作成期間の設定の表示画面を表示させるようにしてもよい。コメント記録手段３０は受信したアルバム作成期間の設定の表示情報に基づき、制御部３５からの表示指示により表示部３４に図７のような表示を行う。表示部３４には、図７に示すように、「アルバムの日付を指定してください」との指示が表示され、さらにカレンダー形式の日付ボタン７０が配置される。日付ボタン７０はそれぞれの日付に対応したボタンの集合であって、画像やコメント、イベントの情報が無い日はユーザが選択できないように×印を表示し、さらにボタンが選択できない設定となっている。アルバム作成者は日付を選択することで、アルバムの作成する日付を選択する。日付の選択は、１日のみ選択させるようにしてもよいし、複数の日付を選択できるようにしてもよい。また、選択した日付は色を変えるなどの表示をすることが可能である。アルバム作成の期間は日付によるものではなく、月単位で選択することも可能である。 Next, each step will be described. The album creator determines the album creation period in step S10. For example, when the album creator presses an icon displayed on the display unit (display) 32 of the comment recording unit 30, an album creation instruction control signal is transmitted from the comment recording unit 30 to the information storage unit 40 through the network 6. The information storage unit 40 that has received the album creation instruction control signal transmits the display information for setting the album creation period to the comment recording unit 30 as shown in FIG. The information storage means 40 may transmit a control signal for causing the comment recording means 30 to display display information for setting the album creation period, or the comment recording means 30 itself may display a display screen for setting the album creation period. You may do it. The comment recording means 30 performs the display as shown in FIG. 7 on the display unit 34 in accordance with a display instruction from the control unit 35 based on the received display information for setting the album creation period. As shown in FIG. 7, the display unit 34 displays an instruction “Please specify the date of the album” and further includes a date button 70 in a calendar format. The date button 70 is a set of buttons corresponding to each date. The date button 70 is set so that the user cannot select a date when there is no image, comment, or event information, and the button cannot be selected. . The album creator selects the date for creating the album by selecting the date. The date may be selected only for one day, or a plurality of dates may be selected. In addition, the selected date can be displayed such as changing the color. The album creation period does not depend on the date, but can be selected on a monthly basis.

図７のアルバム作成期間決定の表示例には、日付ボタン７０のほかに、カレンダーの月送りをする月送りアイコン７１や、表示画面を次へ送る、進むアイコン７２や前の表示画面に移行する指示を受け付ける戻るアイコン７３がある。 In the display example of determining the album creation period in FIG. 7, in addition to the date button 70, the month advance icon 71 that forwards the month in the calendar, the forward icon 72 that forwards the display screen, and the previous display screen are transferred. There is a back icon 73 for accepting instructions.

次に、対象となる人物の選定をする画面例を図８に示す。ステップではステップＳ１１にあたる。表示画面には「アルバムの主体となる子どもを指定してください」との指示が表示され、アルバム作成者が、対象となる人物を選択できるようになっている。人物リスト８１が表示されており、リストが表示枠内に収まらないとき、人物リスト８１をスクロールさせるためのスクロールバー８０があり、矢印の上の記号周辺を選択するとリストの上部にある子どもの名前が表示され、矢印記号の下を選択すると表示されているリストより下にある子どもの名前が表示される。複数の人物を選択することも可能であり、またクラス単位など、予め人物名が登録されたグループを選択できる表示を設けてもよい。 Next, FIG. 8 shows an example of a screen for selecting a target person. The step corresponds to step S11. On the display screen, an instruction “Please specify the child who will be the subject of the album” is displayed so that the album creator can select the target person. When the person list 81 is displayed and the list does not fit in the display frame, there is a scroll bar 80 for scrolling the person list 81. When the area around the symbol above the arrow is selected, the name of the child at the top of the list Is displayed, and if you select below the arrow symbol, the names of children below the displayed list are displayed. A plurality of persons can be selected, and a display for selecting a group in which person names are registered in advance, such as a class unit, may be provided.

図８の人物リスト８１の一番下の欄には“選択せず”とのアイコンもあり、このアイコンを選択した場合には特定の人物を選択するような処理を行わないでアルバムを作成することとなる。さらに、図７と同様に、次ページに進む、進むアイコン８２や前の表示画面に戻る指示を受け付ける戻るアイコン８３がある。 In the bottom column of the person list 81 in FIG. 8, there is also an icon “not selected”. When this icon is selected, an album is created without performing a process of selecting a specific person. It will be. Further, as in FIG. 7, there are a forward icon 82 for proceeding to the next page and a back icon 83 for accepting an instruction to return to the previous display screen.

図７の進むボタンを選択すると、図９のような「選択された内容でアルバムを作成します。」との表示が表示画面上にされ、アルバム作成者は、はいボタン９１か、いいえボタン９２を選択する。前に入力した内容の確認や、変更を行う場合には、戻るボタン９３で、前の表示画面に戻ることができる。 When the forward button in FIG. 7 is selected, the display “Create an album with the selected contents” as shown in FIG. 9 is displayed on the display screen, and the album creator can select the yes button 91 or the no button 92. Select. When confirming or changing the previously input content, the previous button 93 can be used to return to the previous display screen.

アルバム作成者が、はいボタン９１を入力すると、ステップＳ１２のアルバムページ数の決定へ移行する。
アルバムのページは上述のアルバム作成期間に基づいて、自動的に決定される。例えば、１０日間で５ページなどである。 When the album creator inputs the yes button 91, the process proceeds to determination of the number of album pages in step S12.
The album page is automatically determined based on the album creation period. For example, 5 pages in 10 days.

次に、ステップＳ１３の画像・イベント情報・コメント情報のグルーピングを説明する。図１０にステップＳ１３の詳細フローを示す。ステップＳ２０から順に画像データとイベントデータの対応付け、ステップＳ２１の画像データとコメントデータの対応付け、ステップＳ２２の画像データのグルーピングという順番になっている。 Next, image / event information / comment information grouping in step S13 will be described. FIG. 10 shows a detailed flow of step S13. In this order from step S20, image data and event data are associated with each other, image data and comment data in step S21 are associated, and image data is grouped in step S22.

それぞれ、各ステップの詳細を述べる。
ステップＳ２０の画像データとイベントデータの対応付けは、イベントデータと各画像との関連度を算出する。以下、関連度の算出方法を示す。 Details of each step will be described.
The association between the image data and the event data in step S20 calculates the degree of association between the event data and each image. The calculation method of the relevance will be shown below.

●画像データとイベントデータの関連付け
ステップＳ１０で選択された期間に撮影された画像データと、ステップＳ１０で選択された期間に作成されたイベントデータとで、それぞれ下記１．〜６．の項目での関連度を算出し、算出した関連度を合計することで画像とイベントそれぞれの関連度が算出される。 Correlation of image data and event data The image data captured during the period selected in step S10 and the event data created during the period selected in step S10 are as follows. ~ 6. The relevance level for each item is calculated, and the relevance levels of the images and the events are calculated by summing the calculated relevance levels.

１．作成時刻
イベントデータの作成時間と画像が作成された時間から、関連度を求める。それぞれの画像データに対し、同時刻のものを１００点とし、作成時間が１分すれるごとに１点減点する。例えば、画像００１のイベント００１に対する関連度は、図３と図４より、５５分のずれがあるので、本項目の関連度は４５点となる。また、１００分以上の差がある場合には、０点となる。 1. Creation time The degree of association is obtained from the creation time of the event data and the creation time of the image. For each piece of image data, 100 points are taken at the same time, and one point is deducted every time the creation time is reduced by one minute. For example, since the degree of association of the image 001 with respect to the event 001 is 55 minutes away from FIGS. 3 and 4, the degree of association of this item is 45 points. If there is a difference of 100 minutes or more, the score is 0.

２．画像内容とイベントの関連性
画像の内容とイベント種類から、関連度を算出する。画像の内容は、画像解析から、例えば、撮影された画像が屋外で撮影されたものか、室内で撮影されたものかを判別する。判別方法としては、例えば、室内なら、壁や床が撮影画像にあるかどうかから判別し、屋外は、空や光の強度を参照して、屋外と判断する。屋内で撮影された画像か屋外で撮影された画像かは、他に輝度や、画像を複数のエリアに分割して色相を検出して屋内か屋外が判断する方法を用いてもよく、開示された技術を利用すればよい。ここで画像ごとに屋内撮影された画像か屋外で撮影された画像かが判断され、さらに、イベントのコメント情報から、室内で起きたイベントか、屋外のイベントか、どちらか判別できないイベントかを判別する。例えば、お散歩なら屋外、お昼ご飯なら屋内、お昼寝なら屋内、怪我ならどちらでもない等とする。屋外か屋内は、イベント入力時に選択する形でもよいし、情報記憶手段４０で、ネットワークを介して、イベントの文字情報に応じて判別するようにしてもよい。 2. Relevance between image content and event The degree of association is calculated from the image content and the event type. The content of the image is determined from image analysis, for example, whether the photographed image is taken outdoors or taken indoors. As a determination method, for example, in the case of indoors, it is determined whether or not a wall or floor is in the captured image, and outdoors is determined by referring to the sky or light intensity. Whether it is an image taken indoors or an image taken outdoor, other methods such as brightness or a method of judging the indoor or outdoor by detecting the hue by dividing the image into multiple areas are disclosed. Any other technology can be used. Here, for each image, it is determined whether the image was taken indoors or outdoors. Further, it is determined from the comment information of the event whether the event occurred indoors or an outdoor event. To do. For example, it is assumed that it is outdoors for a walk, indoors for lunch, indoors for a nap, neither injured. Outdoor or indoor may be selected at the time of event input, or may be determined by the information storage means 40 according to the character information of the event via the network.

そこで、画像とイベント種類の屋内・屋外が一致した場合には３０点の加点をし、一致しない場合には加点はしない。また、イベント種類が屋内・屋外のどちらでもないとされた場合も加点は行わない。例えば、画像００１は屋内と判別され、コメント００１は屋外と判断されるので、点数の加点はない。 Therefore, 30 points are added when the image and the event type match indoor / outdoor, and no points are added when they do not match. Also, if the event type is neither indoor nor outdoor, no points are added. For example, since the image 001 is determined to be indoor and the comment 001 is determined to be outdoor, there is no additional score.

３．作成距離
イベントデータの作成時間と画像が作成された位置の差から、関連度を求める。同一位置のものを１００点とし、作成位置の差が１ｍ離れるごとに１点減点する。作成位置の差は、記録位置の緯度経度情報から算出する。画像００１のコメント００１に対する本項目の関連度は、図３と図４の記録位置情報より算出して、例えば、２０ｍのずれがあるので、本項目の関連度は１００点−２０点で８０点となる。 3. Creation distance The degree of relevance is obtained from the difference between the creation time of the event data and the position where the image was created. The points at the same position are set to 100 points, and one point is deducted every time the difference in creation position is 1 m away. The difference in creation position is calculated from the latitude and longitude information of the recording position. The relevance level of this item with respect to the comment 001 of the image 001 is calculated from the recording position information of FIGS. 3 and 4, and there is a deviation of 20 m, for example. It becomes.

４．関連度の算出
前述した通り、各項目の関連度を算出し、合計することで画像とイベントそれぞれの関連度を算出する。画像００１の関連度は、４５点＋０点＋８０点で１２５点となる。それぞれの画像データに対し同様のことを行う。図１１に示すように、各画像に対して、イベント名１１０の関連度１１１が算出される。画像００１と画像００２は位置（撮影場所）がほぼ同一で、時間の若干の違いであるので、それぞれのイベントに対する関連度の値が似た値になっている。 4). Calculation of relevance As described above, the relevance of each item is calculated and summed to calculate the relevance of each image and event. The relevance of the image 001 is 45 points + 0 points + 80 points, which is 125 points. The same is done for each image data. As shown in FIG. 11, the degree of association 111 of the event name 110 is calculated for each image. Since the image 001 and the image 002 have substantially the same position (photographing place) and are slightly different in time, the relevance values for the respective events are similar values.

５．画像データに対するイベントデータの関係性
各画像において、上述でも求めた関連度がある閾値以上となったコメント情報をそれぞれの画像に対して記憶しておく。例えば、閾値を１００とした場合には、データ構造は図示しないが、図１１より、画像００１はイベント００１、００２、００３が関連付けられ、画像００２はイベント００１、００２、００３が関連付けられ記憶される。 5. Relationship of event data to image data In each image, comment information having a degree of relevance obtained in the above-described manner is a threshold value or more is stored for each image. For example, when the threshold is 100, the data structure is not shown, but from FIG. 11, the image 001 is associated with events 001, 002, 003, and the image 002 is associated with events 001, 002, 003 and stored. .

６．イベントデータに対する画像データの関連性
最終的に、上述で算出した関連度がある閾値一定以上であるもので、それぞれのイベントに対して、最も高い関連度を有する画像を関連付け、図１３に図示した、イベントー画像関連付けデータ１３０を作成する。イベントー画像関連付けデータ１３０のファイル名１３１、作成日時１３２、作成者１３３、イベント種類１３４は、図３のイベント情報１００のファイル名１０１、作成日時１０２、作成者１０３、イベント種類１０５から、それぞれ対応するデータを取得し、作成される。閾値以下の画像データしかない場合には、関連付けを行わない。 6). The relevance of the image data to the event data Finally, the relevance calculated above is a certain threshold value or more, and the image having the highest relevance is associated with each event, as shown in FIG. Event-image association data 130 is created. The file name 131, creation date / time 132, creator 133, and event type 134 of the event-image association data 130 correspond to the file name 101, creation date / time 102, creator 103, and event type 105 of the event information 100 in FIG. Data is acquired and created. If there is only image data below the threshold, no association is performed.

ステップＳ２１の画像データとコメントデータの対応付けは、各コメントデータと各画像との関連度を算出する。以下、関連度の算出方法を示す。
●画像データとコメントデータの関連付け
ステップＳ１０で選択された期間に撮影された画像データと、ステップＳ１０で選択された期間に作成されたコメントデータとで、以下の１．〜７．の項目の関連度を算出し、合計することで画像とイベントそれぞれの関連度を算出する。 The association between the image data and the comment data in step S21 calculates the degree of association between each comment data and each image. The calculation method of the relevance will be shown below.
Associating image data with comment data The image data captured during the period selected in step S10 and the comment data created during the period selected in step S10 are as follows. ~ 7. The relevance of each item is calculated and summed to calculate the relevance of each image and event.

１．作成時刻
画像データとイベントデータの関連度算出と同様に、コメントデータの作成時間と画像データの作成時刻から、関連度を求める。それぞれの画像データに対して、同時刻に作成されたものを５０点とし、作成時間が１分すれるごとに１点減点する。例えば、画像００１のコメント００１に対する関連度は、図４と図５より、５３分のずれがあるので、本項目の関連度は０点となる。５０分以上の差がある場合には０点となるためである。 1. Creation Time Similar to the calculation of the degree of association between image data and event data, the degree of association is obtained from the creation time of comment data and the creation time of image data. For each image data, 50 points are created at the same time, and one point is deducted every time the creation time is 1 minute. For example, since the degree of relevance of the image 001 to the comment 001 is 53 minutes away from FIGS. 4 and 5, the degree of relevance of this item is 0 point. This is because the score is 0 when there is a difference of 50 minutes or more.

２．画像に写っている人とコメント内容の関連性
図４の画像記録情報２００には、写っている人２０４という情報がある。ここに記載されている人物の名前が、コメント内にあるか否かで判別する。一致する名前がある場合には５０点、一致する名前がない場合には０点となる。画像００１のコメント００１に対する関連度は、０点となる。 2. The relationship between the person in the image and the comment content The image record information 200 in FIG. It is determined based on whether or not the name of the person described here is in the comment. If there is a matching name, it is 50 points, and if there is no matching name, it is 0 points. The degree of relevance of the image 001 to the comment 001 is 0 point.

３．画像内容とコメントの関連性
この項目も画像データとイベントデータの関連度算出と同様に、画像の内容とコメント内容が、撮影された画像、コメントの内容が屋外か、屋内のものかを判別し、判定する。画像の判定方法は、前述の判定方法を利用し、コメント内容３０５に記憶されているテキスト情報から屋内に関連するキーワードがあるか、屋外に関連するキーワードがあるか、両方に関連するものがないかで区別する。画像とコメント内容３０５の屋内または屋外である点が一致した場合には３０点の加点をし、一致しない場合には加点はしない。また、コメント内容３０５が屋内・屋外のどちらでもないとされた場合も加点は行わない。例えば、画像００１は屋内と判別され、コメント００１は屋外と判断されるので、点数の加点はなく０点となる。 3. Relevance between image content and comment This item also determines whether the image content and comment content are the captured image and the comment content is outdoor or indoor, as with the relevance calculation between image data and event data. ,judge. The image determination method uses the above-described determination method, and from the text information stored in the comment content 305, there is a keyword related to indoor, a keyword related to outdoor, or nothing related to both. To distinguish. 30 points are added when the image and the comment contents 305 are indoor or outdoor, and no points are added when they are not the same. Also, if the comment content 305 is neither indoor nor outdoor, no points are added. For example, since the image 001 is determined to be indoor and the comment 001 is determined to be outdoor, the score is 0 without any additional points.

４．作成位置間の距離
この項目も画像データとコメントデータの関連度算出と同様に、コメントデータの作成位置と画像が作成された位置の差から、関連度を求める。同一位置のものを５０点とし、作成位置の差が１ｍ離れるごとに１点減点する。作成位置の差は、記録位置の緯度経度情報から算出する。画像００１のコメント００１に対する本項目の関連度は、図４と図５の記録位置情報より算出して、例えば、画像００１に対するコメント００１の距離の差は２ｍあるので、本項目の関連度は５０点−２点で４８点となる。 4). Distance between creation positions In this item, as in the case of calculating the degree of association between image data and comment data, the degree of association is obtained from the difference between the creation position of the comment data and the position where the image is created. 50 points at the same position are deducted by 1 point each time the difference between the created positions is 1 m away. The difference in creation position is calculated from the latitude and longitude information of the recording position. The relevance level of this item with respect to the comment 001 of the image 001 is calculated from the recording position information of FIGS. 4 and 5. For example, the difference in the distance of the comment 001 with respect to the image 001 is 2 m. It will be 48 points with 2 points.

５．関連度の算出
前述した通り、各項目の関連度を算出し、合計することで画像とイベントそれぞれの関連度を算出する。画像００１の関連度は、０点＋０点＋０点＋４８点で４８点となる。それぞれの画像データに対し同様のことを行う。図１１に示すように、各画像に対して、各コメント名１２０の関連度１２１が算出される。画像００１と画像００２は位置（撮影場所）がほぼ同一で、時間の若干の違いであるので、それぞれのコメントに対する関連度の値が近い値になっている。 5. Calculation of relevance As described above, the relevance of each item is calculated and summed to calculate the relevance of each image and event. The relevance of the image 001 is 48 points of 0 points + 0 points + 0 points + 48 points. The same is done for each image data. As shown in FIG. 11, the degree of relevance 121 of each comment name 120 is calculated for each image. Since the image 001 and the image 002 have almost the same position (photographing place) and are slightly different in time, the relevance values for the respective comments are close to each other.

６．画像データに対するコメントの関係性
各画像において、上述でも求めた関連度がある閾値以上となったコメント情報をそれぞれの画像に対して記憶させる。例えば、閾値を５０点とした場合には、図１２に示すように画像００１はコメント００４、００５が関連付けられ、画像００２にはコメント００４、００５が関連付けられ記憶される。 6). Relation of comment to image data In each image, the comment information whose relevance obtained in the above is more than a certain threshold value is stored for each image. For example, when the threshold value is 50 points, comments 004 and 005 are associated with the image 001 and comments 004 and 005 are associated with the image 002 and stored as shown in FIG.

７．コメントデータに対する画像データの関係性
最終的に、上述で算出した関連度がある閾値一定以上であるもので、それぞれのコメントに対して、最も高い関連度を有する画像を関連付け、図１４に図示した、コメントー画像関連付けデータ１４０を作成する。コメントー画像関連付けデータ１４０のファイル名１４１、作成日時１４２、作成者１４３とコメント内容１４４とは、図５のコメント情報３００のファイル名３０１、作成日時３０２、作成者３０４と、コメント内容３０５とから、それぞれ対応するデータを取得し、作成される。閾値以下の画像データしかない場合には、関連付けは行わない。 7). Relationship of image data to comment data Finally, the relevance calculated above is a certain threshold value or more, and an image having the highest relevance is associated with each comment, as shown in FIG. The comment-image association data 140 is created. The file name 141, the creation date 142, the creator 143, and the comment content 144 of the comment-image association data 140 are obtained from the file name 301, the creation date 302, the creator 304, and the comment content 305 of the comment information 300 in FIG. Each corresponding data is acquired and created. If there is only image data below the threshold, no association is performed.

次に図１０、ステップＳ２２の画像データのグルーピングについて説明する。画像同士の関連付けである。図１５に画像関連データ１５０を示す。左側から通し番号１５１、画像の組み合わせを示す画像組合せ１５２、時刻の関連度を示す１５３、人物間の関連度１５４、作成位置での関連度１５５、イベントごとの関連度１５６、コメントの関連度を示す１５７、そして関連度の合計（画像同士の関連度を示す）１５８がある。 Next, the grouping of image data in step S22 of FIG. 10 will be described. This is an association between images. FIG. 15 shows the image related data 150. Serial number 151 from the left, image combination 152 indicating image combination, 153 indicating time relevance, 154 between persons, relevance 155 at the creation position, relevance 156 for each event, and relevance of comments 157, and the total degree of relevance (indicating the degree of relevance between images) 158.

●画像データのグルーピング
画像同士の関連度は、まず画像の組合せを作成する。画像の作成日時順に並べ、１番目と２番目、２番目と３番目、３番目と４番目、‥と最後まで組合せを作成する。画像データのグルーピングは、以下の１．〜７．の項目を経て行われる。 ● Grouping of image data First, a combination of images is created for the degree of association between images. Arranged in order of image creation date and time, first, second, second and third, third and fourth,... The grouping of image data is as follows: ~ 7. It is done through the items.

１．作成時刻の差
画像同士の作成時刻の差を算出する。画像の作成時刻が同時の場合を１００点とし、作成時間の差が１分ごとにマイナス１点とする。画像関連度１５０のNo.１の時刻の関連度は、３分の差があるので、１００点−３点となり９７点となる。画像関連度１５０の時刻の関連度は時刻１５３の列に記入される。 1. Difference in creation time Calculates the difference in creation time between images. The case where the image creation times are the same is 100 points, and the difference in creation time is minus 1 point per minute. Since the degree of relevance of the No. 1 time of the image relevance degree 150 is 3 minutes, it becomes 100 points−3 points and becomes 97 points. The time relevance of the image relevance 150 is entered in the time 153 column.

２．画像に写っている人物の関連性
画像同士で写っている人物の一致度から関連度を算出する。１ペア１０点、２ペア１５点、３ペアで２０点、‥と加算する。ただし９ペア以上の場合は５０点とする（最高得点は５０点となる）。No.１の人物の関連性（人物１５４）は図４の画像記録情報２００の写っている人２０４を参照にすると０点である。 2. Relevance of the person in the image The degree of association is calculated from the degree of matching between the persons in the images. Add 10 points for 1 pair, 15 points for 2 pairs, 20 points for 3 pairs, and so on. However, in the case of 9 pairs or more, it is 50 points (the maximum score is 50 points). The relevance of the No. 1 person (person 154) is 0 when referring to the person 204 in the image recording information 200 of FIG.

３．作成位置間の距離
画像同士の作成された位置の差から、関連度を求める。同一位置のものを５０点とし、作成位置の差が１ｍ離れるごとに１点減点する。作成位置の差は、コメントー画像の関連度、イベントー画像の関連度を算出した時と同様に、記録位置の緯度経度情報から算出する。画像００１のコメント００１に対する本項目の関連度は、図４の記録位置情報より算出して、例えば、No.1の距離の差は０ｍなので、本項目の関連度は５０点−０点で５０点となる。 3. Distance between creation positions The degree of association is obtained from the difference between created positions of images. 50 points at the same position are deducted by 1 point each time the difference between the created positions is 1 m away. The difference in the creation position is calculated from the latitude and longitude information of the recording position, as in the case of calculating the relevance level of the comment image and the relevance level of the event image. The relevance level of this item with respect to the comment 001 of the image 001 is calculated from the recording position information in FIG. 4. For example, the difference in the No. 1 distance is 0 m, so the relevance level of this item is 50 points-0 points, 50 It becomes a point.

４．画像と対応付けられたイベント情報の関連性
画像間で一致するイベント名が１つあるごとに３０点を加点する。一致するイベント名がない場合には０点となる。 4). Relevance of event information associated with images Each time there is a matching event name between images, 30 points are added. If there is no matching event name, the score is 0.

５．画像と対応付けられたコメント情報の関連性
画像間で一致するコメント名が１つあるごとに３０点を加点する。一致するコメント名がない場合には、０点となる。 5. Relevance of comment information associated with an image Each time there is a matching comment name between images, 30 points are added. If there is no matching comment name, the score is 0.

６．関連度を求める
１．〜５．で求められた関連度を全て加算し、画像の組合せごとの関連度をもとめる。 6). Find the relevance 1. ~ 5. All the degrees of relevance obtained in step (1) are added to obtain the degree of relevance for each image combination.

７．関連度からの撮影画像のグループ分け
各画像は作成日時順に並べられているので、関連度の合計１５８が２００点以下である箇所は、その画像間でグループが異なると判断する。各グループの上から順にグループごとにグループ名（１〜の通し番号）をそれぞれの画像に付与する。画像それぞれにグループ名を付与した情報が画像―グループ情報１６０である。グループ名以外の情報は画像記録情報２００から取得する。今回の例では１〜５グループの５グループとなる。
以上で、図１０のステップＳ２２のフローが終了する。 7). Grouping of photographed images based on relevance level Since the images are arranged in the order of creation date and time, it is determined that the portion where the total relevance level 158 is 200 points or less differs between the images. A group name (serial number 1 to 1) is assigned to each image in order from the top of each group. Information in which a group name is assigned to each image is image-group information 160. Information other than the group name is acquired from the image recording information 200. In this example, there are 5 groups of 1 to 5 groups.
Above, the flow of step S22 of FIG. 10 is complete | finished.

図６に戻り、ステップＳ１４の各グループにページを割り当て、ステップＳ１５の画像とコメントのレイアウトを決定する動作について説明する。各グループに割り当てられるページ数は、グループにある画像の数に比例して多くなるように設定される。グループにおける、画像の数を示すデータ構造は図示しないが、図１６の画像―グループ情報１６０から取得することが可能である。それぞれのグループの画像の数は、グループ１は３枚、グループ２は３枚、グループ３は３枚、グループ４は２枚、グループ５は４枚となっているので、ステップＳ１２で決定したアルバムの総ページ数が５ページとすると、グループ１は１ページ、グループ２は１ページ、グループ３は１ページ、グループ４は０ページ、グループ５は２ページとなる。 Returning to FIG. 6, the operation of assigning a page to each group in step S14 and determining the layout of images and comments in step S15 will be described. The number of pages allocated to each group is set so as to increase in proportion to the number of images in the group. Although the data structure indicating the number of images in the group is not shown, it can be acquired from the image-group information 160 in FIG. The number of images in each group is three for group 1, three for group 2, three for group 3, two for group 4, and four for group 5, so the album determined in step S12 When the total number of pages is 5, the group 1 is 1 page, the group 2 is 1 page, the group 3 is 1 page, the group 4 is 0 page, and the group 5 is 2 pages.

それぞれのページに対する、画像とコメントの割り振りは、図１７のフローを基に説明する。まず、ステップＳ１７０では、各グループでの配置される画像の数を算出する。すなわち、各グループでの掲載画像数を決定する。各グループに割り当てられたページ数に１ページあたりの掲載画像数を累積した値が掲載画像数となる。１ページ毎のレイアウトは、情報記憶手段４０の制御部４６が、記憶部４４にあるデザイン情報５００を参照して決定する。例えば、レイアウトは図１８、図１９に示すように、画像８０１とコメント８０２が入るものや、アイコン（絵）８０５などが挿入されたものである。レイアウトは、前述したように制御部４６によってランダムに決められるものでもよく、またユーザがアイコンのありなし等を選択するようにしてもよい。図１８、図１９はそれぞれ見開きの２ページ分の表示画像８００を表示している。表示画像８００中央の斜線から右側が１ページ、左側が１ページとなっている。 The allocation of images and comments to each page will be described based on the flow of FIG. First, in step S170, the number of images arranged in each group is calculated. That is, the number of posted images in each group is determined. A value obtained by accumulating the number of posted images per page to the number of pages allocated to each group is the number of posted images. The layout for each page is determined by the control unit 46 of the information storage unit 40 with reference to the design information 500 in the storage unit 44. For example, as shown in FIGS. 18 and 19, the layout includes an image 801 and a comment 802 or an icon (picture) 805 inserted. As described above, the layout may be determined randomly by the control unit 46, or the user may select the presence or absence of an icon. FIG. 18 and FIG. 19 each display a display image 800 for two pages of spread. From the diagonal line in the center of the display image 800, the right side is one page and the left side is one page.

次にステップＳ１７１の画像の重要度を算出する。重要度はそれぞれグループごとに決定する。
以下画像の重要度の算出法の例を示す。１．〜５．の項目で行う。 Next, the importance of the image in step S171 is calculated. The importance is determined for each group.
An example of how to calculate the importance of an image is shown below. 1. ~ 5. This is done with the item.

１．アルバム対象人物の顔の大きさによる重要度
画像内に存在する図６のステップＳ１１で選択されたアルバム対象人物の顔の大きさにより重要度を決定する。図２０に示すように、画像枠６１０のうち対象人物６０５を検出枠６０６で囲う。画像枠の縦Ｙのうち、対象人物６０５の検出枠６０６の縦ｙがｙ/Ｙにより、重要度が決定される。例えば０．３以上であれば重要度は、１００×（ｙ/Ｙ）で算出され、０．３以下の場合には重要度は０とする。また、検出枠６０６の面積と画像の面積との面積比を先ほどの比の部分に用いて、重要度を算出することも可能である。 1. Importance by the size of the album target person's face The importance is determined by the size of the face of the album target person selected in step S11 of FIG. As shown in FIG. 20, the target person 605 in the image frame 610 is surrounded by the detection frame 606. Of the vertical Y of the image frame, the importance y is determined by y / Y of the vertical y of the detection frame 606 of the target person 605. For example, if it is 0.3 or more, the importance is calculated as 100 × (y / Y), and if it is 0.3 or less, the importance is 0. It is also possible to calculate the importance by using the area ratio between the area of the detection frame 606 and the area of the image as the ratio portion.

２．アルバム対象人物の顔の位置による重要度
図２1に示すように画像枠６１０の中心６００から画像枠６１０の頂点までの距離をＸとし、検出枠６０６で検出された対象人物６０５の検出枠６０６の中心から画像枠６１０の中心６００までの距離をｘとしたときのｘ/Ｘの値に応じて、重要度を設定する。例えば０．２以上であれば重要度は、１００×（ｘ/Ｘ）とし、０．２以下の場合には重要度は０とする。 2. Importance by Face Position of Album Target Person As shown in FIG. 21, the distance from the center 600 of the image frame 610 to the vertex of the image frame 610 is X, and the detection frame 606 of the target person 605 detected by the detection frame 606 The importance is set according to the value of x / X where x is the distance from the center to the center 600 of the image frame 610. For example, if it is 0.2 or more, the importance is 100 × (x / X), and if it is 0.2 or less, the importance is 0.

３．人数による重要度
画像内に存在する顔の数を測定し、数が多いほど高い重要度を付ける。１人あたり、例えば５点を加算し、最高値は２５点とする等、どんなに人数が多くても際限なく重要度が大きくならないようにする。 3. Importance by number of people The number of faces present in an image is measured, and the higher the number, the higher the importance. For example, 5 points are added per person, and the maximum value is 25 points, so that no matter how many people there are, the importance does not increase without limit.

４．表情による重要度
画像内に存在するアルバム対象人物の表情を識別し、笑顔と判断された場合には重要度を１０点加点する。また泣き顔にも重要度を１０点加点する。あるいは、笑顔の人物の人数を数え、１人あたり、例えば５点を加算する。この項目でも最高値は２５点とする等、どんなに人数が多くても際限なく重要度が大きくならないようにする。 4). Importance level by facial expression The facial expression of the person in the album that exists in the image is identified, and if it is determined that it is a smile, 10 points are added to the importance level. Also add 10 points to the crying face. Alternatively, the number of smiling persons is counted and, for example, 5 points are added per person. Even in this item, the maximum value is 25 points, so that the importance will not increase without limit even if the number of people is large.

５．イベント情報に関連付けられた画像を利用した重要度
前述のステップステップＳ２１にて、各グループで関連付けられたイベントがある場合には、イベントのイベント情報１３４に関連した画像の重要度を上がるようにする。例えば、グループ１にはイベント情報に関連付けられた画像がないので、この加算はおこなわれないが、グループ２では、画像００４にイベント情報のファイル名００１が関連付けられている。ファイル名００１のイベント種類は「お散歩」であるので、画像が屋外のものである場合には重要度の１０点を加点することを行う。
以上のように、それぞれの画像に応じて重要度を算出する。 5. Importance Using Image Associated with Event Information If there is an event associated with each group in step S21 described above, the importance of the image associated with event information 134 of the event is increased. . For example, since there is no image associated with the event information in group 1, this addition is not performed, but in group 2, the file name 001 of the event information is associated with image 004. Since the event type of the file name 001 is “walking”, when the image is an outdoor one, 10 points of importance are added.
As described above, the importance is calculated according to each image.

グループ内の画像それぞれ、上記のように算出された重要度を用いて、重要度の高い案件から順に配置する画像を選択する（図１７のステップＳ１７２）。
グループ１であれば、１ページで、図１８の右側のページだとすると、画像は２枚なので、画像枠８０１には、重要度から画像００１と画像００３が選択される。画像００１と画像００３に割り当てられているコメント、イベント情報はないため、図１８のイベント欄８０３とコメント欄８０２は空欄となる。それぞれ、ページに応じて、画像を重要度によって選択していく。コメントとイベント情報は図１３、図１４のように対応画像がある場合には、コメント欄８０２、イベント欄８０３に記載していく。 For each of the images in the group, using the importance calculated as described above, images to be arranged in order from the project with the highest importance are selected (step S172 in FIG. 17).
In the case of group 1, assuming that one page is the page on the right side of FIG. 18, since there are two images, images 001 and 003 are selected as the image frame 801 based on the importance. Since there is no comment or event information assigned to the images 001 and 003, the event column 803 and the comment column 802 in FIG. 18 are blank. Each image is selected according to importance according to the page. The comment and event information are described in the comment column 802 and the event column 803 when there is a corresponding image as shown in FIGS.

また、イベントやコメントに対応したアイコン８０５がある場合には、記憶部４４で記憶されていたアイコン８０５も配置する（図１９参照）。アイコン８０５の取得にはネットワーク６を介して、取得するようにしてもよい。アイコン（絵）８０５の内容は、そのアイコンに最も近い画像８０１に関連付けられたイベント内容や、そのアイコンに最も近い画像８０１を含むグループに属する画像群にもっとも多く関連付けられたイベントの内容に応じて決定する。例えば、画像８０１に「お昼寝」のイベントが関連付けられている場合、アイコン（絵）８０５として、子どもが寝ているイラストを選択する。 If there is an icon 805 corresponding to the event or comment, the icon 805 stored in the storage unit 44 is also arranged (see FIG. 19). The icon 805 may be acquired via the network 6. The content of the icon (picture) 805 depends on the event content associated with the image 801 closest to the icon or the event content most associated with the image group belonging to the group including the image 801 closest to the icon. decide. For example, when an event “nap” is associated with the image 801, an illustration of a child sleeping is selected as the icon (picture) 805.

また、先にグループに属する画像群にもっとも多く関連付けられたイベントの内容に応じてアイコンを選択し、その選択されたアイコンに対応するイベント、例えば、昼寝の場合には、寝顔が写っている画像に重要度を加点するなど、重要度算出方法を変更することで画像の選択をすることも可能である。 In addition, an icon is selected according to the content of the event most frequently associated with the image group belonging to the group first, and an event corresponding to the selected icon, for example, an image showing a sleeping face in the case of a nap It is also possible to select an image by changing the importance calculation method, such as adding importance to the image.

また、上述の重要度の計算の際には、例えば、笑顔での点数加算も笑顔の割合に応じて点数を変化させるなどの様々な点数の設定方法の設定は可能であり、また、上述の重要度算出条件すべてを利用する、一部分の条件を利用しないなどといった設定をすることによって重要度算出方法を設定することが可能である。 In addition, when calculating the degree of importance described above, it is possible to set various points setting methods such as, for example, adding points for smiles depending on the ratio of smiles. It is possible to set the importance calculation method by making settings such as using all importance calculation conditions or not using some conditions.

また、コメントやイベント情報の表示の方法は、図１８、１９で示した表示形態に限らず、コメント、画像、イベント、アイコンのそれぞれの配置、デザインは変更可能である。画像の上にコメントやイベント、アイコンを重畳させたり、画像を切り取ったりするなどの加工も可能である。 Further, the display method of comments and event information is not limited to the display forms shown in FIGS. 18 and 19, and the arrangement and design of comments, images, events, and icons can be changed. Processing such as superimposing comments, events, and icons on the image or cutting the image is also possible.

上述のように画像、コメント情報、イベント情報を情報記憶手段４０の制御部４６で配置した画像配置情報を通信部４７通じてネットワーク６を利用して、コメント記録手段３０の表示部３２やイベント記録手段１０の表示部１２、画像記録手段２０の表示部２２で表示させるようにする。その場合には、それぞれ、コメント記録手段３０は、通信部３７から取得した情報を表示部３２に表示させるように制御部３６が制御し、イベント記録手段１０の表示部１２で通信部１７が取得した情報を表示させるように、制御部１６が制御する。また、画像記録手段２０の表示部２２でも表示させる場合には、通信部２７から情報を取得し、表示部２２で表示させるように制御部２６が制御する。画像配置情報とは、画像やイベント情報、コメント情報が配置された表示画面を１つの画像としたデータでもよいし、配置画面の背景データと配置する画像、イベント情報及びコメント情報などとその背景データと画像、イベント情報及びコメント情報との位置の関係性を示したデータで構成させていてもよい。 As described above, the image arrangement information in which the image, comment information, and event information are arranged by the control unit 46 of the information storage unit 40 is used for the display unit 32 of the comment recording unit 30 and the event recording using the network 6 through the communication unit 47. The information is displayed on the display unit 12 of the means 10 and the display unit 22 of the image recording means 20. In that case, the comment recording unit 30 is controlled by the control unit 36 so that the information acquired from the communication unit 37 is displayed on the display unit 32, and the communication unit 17 acquires the information from the display unit 12 of the event recording unit 10. The control unit 16 performs control so that the information thus displayed is displayed. Further, when the information is displayed on the display unit 22 of the image recording unit 20, the control unit 26 controls to acquire information from the communication unit 27 and display the information on the display unit 22. The image arrangement information may be data in which a display screen on which images, event information, and comment information are arranged is a single image, background data of the arrangement screen, images to be arranged, event information, comment information, and the background data. And data indicating the positional relationship between the image, the event information, and the comment information.

通信部４７から送信された画像配置情報は、所望のどんな機器でも取得できるようにしてもよく、ネットワークを通じて、例えば、もしくは、図示しないプリンタなどに情報を出力して、印刷し、閲覧できるようにする。また、他の図示しないＰＣなどの端末機に情報を送信するようにしてもよい。その際には、セキュリティー上暗号などをかけて、送信することが好ましい。 The image arrangement information transmitted from the communication unit 47 may be acquired by any desired device so that the information can be output via a network, for example, to a printer (not shown), printed, and viewed. To do. In addition, information may be transmitted to another terminal such as a PC (not shown). In that case, it is preferable to transmit the data with encryption or the like for security.

（本実施の形態による効果）
以上のことにより、
撮影した画像を撮影画像に関連した情報に基づいて選択し、自動的にアルバムを作成することができる。また作成したアルバムを表示、印刷することができる。
また、アルバムに掲載される写真を選択するために、画像とは別に記録されたコメントの情報を用いて、より重要と思われる画像を選択することができる。 (Effects of this embodiment)
With the above,
A photographed image can be selected based on information related to the photographed image, and an album can be automatically created. The created album can be displayed and printed.
In addition, in order to select a photo to be published in the album, it is possible to select an image that seems to be more important by using comment information recorded separately from the image.

＜その他の実施の形態＞
イベント記録手段１０、画像記録手段２０、コメント記録手段３０は同一の機器でもよい。図２２に、イベント記録手段１０、画像記録手段２０、コメント記録手段３０を備えている機器の場合の表示例を示す。画像記録手段２０を起動させるときには撮影アイコン７００を、イベント記録手段１０またはコメント記録手段３０を起動させる場合にはコメント入力アイコン７０１を、またアルバムの閲覧をする場合には、アルバム閲覧アイコン７０３をそれぞれ選択する。情報記憶手段４０もイベント記録手段１０、画像記録手段２０、コメント記録手段３０のいずれか、もしくはすべてを備える機器であるとしたとき、、情報記憶手段４０の働きはそれぞれの制御部、記憶部が行ってもよい。 <Other embodiments>
The event recording unit 10, the image recording unit 20, and the comment recording unit 30 may be the same device. FIG. 22 shows a display example in the case of a device including the event recording unit 10, the image recording unit 20, and the comment recording unit 30. A shooting icon 700 is activated when the image recording means 20 is activated, a comment input icon 701 is activated when the event recording means 10 or the comment recording means 30 is activated, and an album browsing icon 703 is displayed when browsing the album. select. Assuming that the information storage means 40 is also a device that includes any one or all of the event recording means 10, the image recording means 20, and the comment recording means 30, the function of the information storage means 40 is as follows. You may go.

関連度算出部、画像関連度算出部、グループ設定部、表示範囲設定部、画像数決定部、重要度決定部、画像配置部、出力部は、いずれの機器が備えてもよく、情報記憶手段４０に限定されるものではない。他の機器で一部を担う場合には、それぞれの制御部、記憶部を利用し、データはネットワーク６上を利用してやり取りすることで本発明を実施することが可能である。 The relevance calculation unit, the image relevance calculation unit, the group setting unit, the display range setting unit, the image number determination unit, the importance determination unit, the image arrangement unit, and the output unit may be included in any device, and information storage means It is not limited to 40. In the case where a part is handled by another device, the present invention can be implemented by using the respective control units and storage units and exchanging data using the network 6.

実施例１では、保育環境での実施例で説明したが、様々な環境のアルバム作成にも利用できる。例えば、旅行の記録に用いる場合には、実施例に記載したイベント情報の内容を「食事」、「観行地到着」、「ホテル到着」等に変更し、画像の重要度を算出するために「対象人物の顔」に関するものから、「人物が写りこんでいない写真」などに変更することによって、同等の効果を得ることができる。 In the first embodiment, the embodiment in the childcare environment has been described. For example, when used for travel recording, the event information described in the embodiment is changed to “meal”, “arrival place arrival”, “hotel arrival”, etc. to calculate the importance of the image An equivalent effect can be obtained by changing from “related to the face of the target person” to “a photograph in which no person is reflected”.

また、ペット預かり施設で用いる場合には、イベント情報の内容を「お散歩」、「ごはん」、「トリミング」等に変更し、画像の重要度算出の際には「ペットの顔の位置・大きさ」等に置き換えることで、同等の効果を得ることができる。その他にも、工業プラント点検報告書作成支援のために用いることもできる。この場合には、イベント情報を「正常」、「異常」、「検査」などにして、「異常」のイベントと関連付けられた画像や、コメントに異常のレベルを記述し、レベルの高いコメントと関連付けられた画像の重要度を上げることで、重要な異常を抽出した報告書を作成することができる。 Also, when using it at a pet custody facility, change the content of the event information to “Walk”, “Rice”, “Trimming”, etc. An equivalent effect can be obtained by substituting it with "". In addition, it can be used for supporting the preparation of industrial plant inspection reports. In this case, set the event information to “normal”, “abnormal”, “inspection”, etc., describe the level of abnormality in the image or comment associated with the “abnormal” event, and associate it with a comment with a high level By increasing the importance of the captured images, it is possible to create a report in which important abnormalities are extracted.

なお、本発明は、各実施形態および各変形例を矛盾しない限度で任意に組み合わせたもの、さらに本発明の要旨を変更しない範囲で各実施形態、各変形例、及びそれらを組み合わせたものに変更を加えたものを含む。また、本発明は、各実施形態、各変形例、及びそれらを組み合わせたものに係る方法に含まれるステップをコンピュータに実行させるプログラムとして実現されてもよい。さらに、本発明は、そのようなプログラムがコンピュータに読み取り可能に記録された記憶媒体として実現されてもよい。 In addition, this invention changes each embodiment and each modification arbitrarily to the limit which does not contradict, and also changes to each embodiment, each modification, and what combined them in the range which does not change the summary of this invention. Including those added. In addition, the present invention may be realized as a program that causes a computer to execute steps included in a method according to each embodiment, each modification, and a combination thereof. Furthermore, the present invention may be realized as a storage medium in which such a program is recorded in a computer-readable manner.

１画像情報処理システム
６ネットワーク
１０イベント記録手段
２０画像記録手段
３０コメント記録手段
４０情報記憶手段
４６制御手段
１００イベント情報
２００画像記録情報
３００コメント情報
５００デザイン情報 DESCRIPTION OF SYMBOLS 1 Image information processing system 6 Network 10 Event recording means 20 Image recording means 30 Comment recording means 40 Information storage means 46 Control means 100 Event information 200 Image recording information 300 Comment information 500 Design information

Claims

A storage unit that stores an image photographed by the photographing unit and at least one of comment information or event information input by a user;
A relevance calculation unit that calculates relevance between each of the images and at least one of the event information or comment information;
An image relevance calculation unit that calculates an image relevance level that is a relevance level between the images based on the relevance level calculated by the relevance level calculation unit for each image captured by the imaging unit;
A group setting unit for grouping the captured images based on the degree of image relevance;
A display range setting section for setting a display range to be displayed according to the number of images for each group;
An image number determination unit for determining the number of display images arranged in the display range;
An importance determining unit that determines the importance for each image in the group;
An image arrangement unit that preferentially arranges the images with high importance as images corresponding to the number of display images determined in the image number determination unit;
And an output unit that outputs arrangement information arranged by the image arrangement unit.