JP7609512B2

JP7609512B2 - Automatic trimming program, automatic trimming device, and automatic trimming method

Info

Publication number: JP7609512B2
Application number: JP2020178886A
Authority: JP
Inventors: 秀一御手洗; 大樹野口; 麻美谷川; 茜太田
Original assignee: JVIS CO., LTD.
Current assignee: JVIS CO., LTD.
Priority date: 2020-10-26
Filing date: 2020-10-26
Publication date: 2025-01-07
Anticipated expiration: 2040-10-26
Also published as: JP2022069931A

Description

本発明は、写真撮影によって取得した画像データについて被写体が所定サイズの枠内に収まるように自動でトリミングする技術に関するものである。 The present invention relates to a technology that automatically crops image data acquired by photographing so that the subject fits within a frame of a specified size.

従来、写真撮影について熟練した技術を有する者が撮影を行って写真を顧客に提供する写真館、写真スタジオといったビジネスモデルが存在する。近年は、デジタル方式による撮影を行って、撮影した写真に対して適宜補正処理を行うことが一般的となっている。補正処理の中には、撮影写真の画像データを所定のテンプレート枠で切り取ることで、被写体が最も映える構図を採用するトリミング処理がある。 Traditionally, there has been a business model of photo studios, where skilled photographers take photos and provide them to customers. In recent years, it has become common to take photos digitally and then perform appropriate correction processing on the photos. One type of correction processing is cropping, which cuts the image data of the photo into a specified template frame to create a composition that makes the subject look its best.

例えば、特許文献１には、被写体を広角で静止画撮影し、撮影画像から被写体のマスクパターンを生成するとともに、撮影画像から肌色部分を抽出して、マスクパターン中に肌色部分が存在する当該マスクパターンを人物パターンとして検出し、撮影画像から人物パターンとして検出したマスクパターンに対応する部分を切り出して、切り出した部分画像を所定の画像サイズに拡大する自動トリミングの技術が開示されている。 For example, Patent Document 1 discloses an automatic trimming technology that captures a still image of a subject at a wide angle, generates a mask pattern of the subject from the captured image, extracts skin-colored parts from the captured image, detects the mask pattern in which skin-colored parts exist as a human pattern, cuts out a part of the captured image that corresponds to the mask pattern detected as the human pattern, and enlarges the cut-out partial image to a specified image size.

特開２００８－０６１１１４号公報JP 2008-061114 A

上記の特許文献１は、固定された撮影範囲について広角に自動で撮影した上で被写体の写った個所のみをトリミングする技術であり、被写体個所を検出してトリミングは可能であるが、画一的な処理になってしまうという問題があった。また、人物以外のオブジェクトが映り込んだ場合に、そのオブジェクトをトリミングの際にどう扱うかについて判断ができない構成であった。すなわち、自動撮影ではなく撮影者が意図を持って撮影した撮影画像に対してこの特許文献１の技術を適用した場合には、撮影者の意図を考慮したトリミングを行うことができないという問題があった。 The above-mentioned Patent Document 1 is a technology that automatically captures a wide-angle image in a fixed shooting range and then trims only the area in which the subject is captured. Although it is possible to detect the area of the subject and perform trimming, there is a problem in that the processing is uniform. Also, if an object other than a person is captured, it is not possible to determine how to handle the object when trimming. In other words, when the technology of Patent Document 1 is applied to an image that is not captured automatically but is intentionally captured by the photographer, there is a problem in that it is not possible to perform trimming that takes into account the photographer's intentions.

本発明は、上記問題点に鑑みなされたものであり、撮影者の意図を考慮したトリミングを自動で行うことを可能にするための自動トリミングプログラム、自動トリミング装置及び自動トリミング方法を提供することを目的とする。 The present invention has been made in consideration of the above problems, and aims to provide an automatic trimming program, an automatic trimming device, and an automatic trimming method that enable automatic trimming that takes into account the photographer's intentions.

本発明に係る自動トリミングプログラムは、写真撮影によって取得した画像データについて被写体が所定サイズのテンプレート枠内に収まるように自動でトリミングする処理をコンピュータに実現させるための自動トリミングプログラムであって、前記コンピュータに、対象となる画像データを取得する画像データ取得機能と、画像認識処理により前記画像データに写る所定のオブジェクトを検出する検出機能と、検出した前記オブジェクトのうち、前記テンプレート枠内に必ず収めるべき必須オブジェクトを特定する特定機能と、前記画像データに対して所定規則に基づいて前記テンプレート枠を設定する枠設定機能と、前記必須オブジェクトが前記テンプレート枠内に収まるように前記画像データの拡大縮小処理を実行する拡大縮小機能と、前記テンプレート枠内の前記必須オブジェクトに対する上下左右の余白量の基準を含む所定基準に基づいて、前記テンプレート枠に対する前記画像データの移動処理を実行する移動機能と、確定した位置関係において前記画像データから前記テンプレート枠の内側領域をトリミング画像として出力するトリミング機能とを実現させることを特徴とする。 The automatic trimming program of the present invention is an automatic trimming program for causing a computer to realize a process of automatically trimming image data acquired by photographing so that a subject fits within a template frame of a predetermined size, and is characterized in that the computer realizes an image data acquisition function for acquiring target image data, a detection function for detecting a predetermined object appearing in the image data by image recognition processing, a specification function for specifying a required object that must be included within the template frame from among the detected objects, a frame setting function for setting the template frame based on a predetermined rule for the image data, a scaling function for executing a scaling process for the image data so that the required object fits within the template frame, a movement function for executing a movement process for the image data relative to the template frame based on a predetermined criterion including criteria for the amount of margins above, below, left, and right for the required object within the template frame, and a trimming function for outputting the inner area of the template frame from the image data in the determined positional relationship as a trimmed image.

また、本発明に係る自動トリミングプログラムは、前記特定機能は、前記テンプレート枠内に収まることを許容する許容オブジェクトを特定する機能をさらに備え、前記拡大縮小機能及び前記移動機能では、所定の禁則条件に該当しない範囲において前記許容オブジェクトが枠内に収まることを許容するように処理を実行することを特徴とする。 The automatic trimming program according to the present invention is characterized in that the specification function further includes a function for specifying an allowable object that is allowed to fit within the template frame, and the enlargement/reduction function and the movement function execute processing to allow the allowable object to fit within the frame within a range that does not fall under a specified prohibition condition.

また、本発明に係る自動トリミングプログラムは、前記拡大縮小機能は、前記画像データに最初に設定した初期位置における前記テンプレート枠のサイズよりも所定サイズだけ大きい判定枠を設け、当該判定枠の内側に前記許容オブジェクトが収まっている場合、当該許容オブジェクトを前記テンプレート枠内に収めるように拡大縮小処理を実行することを特徴とする。 The automatic trimming program according to the present invention is also characterized in that the zoom function sets a judgment frame that is a predetermined size larger than the size of the template frame at the initial position that is initially set in the image data, and when the permissible object is within the judgment frame, a zoom process is performed to fit the permissible object within the template frame.

また、本発明に係る自動トリミングプログラムは、前記特定機能は、前記テンプレート枠内に収めるべきでない禁止オブジェクトを特定する機能をさらに備え、前記拡大縮小機能は、所定の禁則条件に該当しない範囲において前記禁止オブジェクトが前記テンプレート枠内に残らないように拡大縮小処理を実行することを特徴とする。 The automatic trimming program according to the present invention is characterized in that the identification function further includes a function for identifying prohibited objects that should not be placed within the template frame, and the scaling function executes a scaling process so that the prohibited objects do not remain within the template frame to the extent that they do not meet a predetermined prohibition condition.

本発明に係る自動トリミング装置は、写真撮影によって取得した画像データについて被写体が所定サイズのテンプレート枠内に収まるように自動でトリミングする処理を行うための自動トリミング装置であって、対象となる画像データを取得する取得部と、画像認識処理により前記画像データに写る所定のオブジェクトを検出する検出部と、検出した前記オブジェクトのうち、前記テンプレート枠内に必ず収めるべき必須オブジェクトを特定する特定部と、前記画像データに対して所定規則に基づいて前記テンプレート枠を設定する枠設定部と、前記必須オブジェクトが前記テンプレート枠内に収まるように前記画像データの拡大縮小処理を実行する拡大縮小部と、前記テンプレート枠内の前記必須オブジェクトに対する上下左右の余白量の基準を含む所定基準に基づいて、前記テンプレート枠に対する前記画像データの移動処理を実行する移動部と、確定した位置関係において前記画像データから前記テンプレート枠の内側領域をトリミング画像として出力するトリミング部とを備えることを特徴とする。 The automatic trimming device according to the present invention is an automatic trimming device for automatically trimming image data acquired by photographing so that a subject fits within a template frame of a predetermined size, and is characterized by comprising an acquisition unit for acquiring target image data, a detection unit for detecting a predetermined object appearing in the image data by image recognition processing, an identification unit for identifying a required object that must be included within the template frame from among the detected objects, a frame setting unit for setting the template frame based on a predetermined rule for the image data, a scaling unit for scaling the image data so that the required object fits within the template frame, a movement unit for moving the image data relative to the template frame based on predetermined criteria including criteria for the amount of blank space above, below, left, and right for the required object within the template frame, and a trimming unit for outputting the inner area of the template frame from the image data in the determined positional relationship as a trimmed image.

本発明に係る自動トリミング方法は、写真撮影によって取得した画像データについて被写体が所定サイズのテンプレート枠内に収まるように自動でトリミングする処理をコンピュータにより実現する自動トリミング方法であって、対象となる画像データを取得する取得手順と、画像認識処理により前記画像データに写る所定のオブジェクトを検出する検出手順と、検出した前記オブジェクトのうち、前記テンプレート枠内に必ず収めるべき必須オブジェクトを特定する特定手順と、前記画像データに対して所定規則に基づいて前記テンプレート枠を設定する枠設定手順と、前記必須オブジェクトが前記テンプレート枠内に収まるように前記画像データの拡大縮小処理を実行する拡大縮小手順と、前記テンプレート枠内の前記必須オブジェクトに対する上下左右の余白量の基準を含む所定基準に基づいて、前記テンプレート枠に対する前記画像データの移動処理を実行する移動手順と、確定した位置関係において前記画像データから前記テンプレート枠の内側領域をトリミング画像として出力するトリミング手順とを含むことを特徴とする。 The automatic trimming method according to the present invention is an automatic trimming method that uses a computer to automatically trim image data acquired by photography so that the subject fits within a template frame of a predetermined size, and is characterized by including an acquisition step for acquiring target image data, a detection step for detecting a predetermined object that appears in the image data by image recognition processing, an identification step for identifying a required object that must be included within the template frame from among the detected objects, a frame setting step for setting the template frame for the image data based on a predetermined rule, a scaling step for scaling the image data so that the required object fits within the template frame, a movement step for moving the image data relative to the template frame based on predetermined criteria including criteria for the amount of blank space above, below, left, and right for the required object within the template frame, and a trimming step for outputting the inner area of the template frame from the image data in the determined positional relationship as a trimmed image.

本発明によれば、必須オブジェクトを全て含み、かつ、適切な余白を設定したトリミングを自動で実行することが可能となる。また、テンプレート枠内に含まれた許容オブジェクトは撮影者の意図に基づいて含まれた被写体であると認定して、撮影者の意図を尊重して枠内に収まることを許容する処理が可能となる。また、判定枠を用いた判定により、撮影者が画像データに含ませたいと意図したと推定される許容オブジェクトをテンプレート枠内に収めることができ、撮影者の意図を尊重したトリミングが可能となる。また、禁止オブジェクトがテンプレート枠内に残らないように拡大縮小処理を実行することで、禁止オブジェクトと設定した対象がテンプレート枠内に残らない自動トリミングが可能となる。 According to the present invention, it is possible to automatically perform trimming that includes all required objects and has appropriate margins. In addition, it is possible to recognize that an allowable object included in the template frame is a subject included based on the photographer's intention, and to allow it to fit within the frame while respecting the photographer's intention. Furthermore, by making a judgment using a judgment frame, it is possible to fit within the template frame an allowable object that is presumed to have been intended by the photographer to be included in the image data, making it possible to perform trimming that respects the photographer's intention. In addition, by performing a zoom process so that prohibited objects do not remain within the template frame, it is possible to perform automatic trimming so that objects set as prohibited objects do not remain within the template frame.

本発明に係る自動トリミング装置１０の構成を表したブロック図である。1 is a block diagram showing a configuration of an automatic trimming device 10 according to the present invention. 本発明に係る自動トリミング装置１０における自動トリミング処理の流れを表したフローチャート図である。FIG. 2 is a flowchart showing the flow of automatic trimming processing in the automatic trimming device 10 according to the present invention. 本発明に係る自動トリミング装置１０における拡大縮小処理の流れを表したフローチャート図である。FIG. 4 is a flowchart showing the flow of enlargement/reduction processing in the automatic trimming device 10 according to the present invention. 本発明に係る自動トリミング装置１０における移動処理の流れを表したフローチャート図である。FIG. 4 is a flowchart showing the flow of movement processing in the automatic trimming device 10 according to the present invention. 本発明に係る自動トリミング装置１０における禁止オブジェクト除外処理の流れを表したフローチャート図である。FIG. 11 is a flowchart showing the flow of prohibited object elimination processing in the automatic trimming device 10 according to the present invention. 本発明に係る自動トリミング装置１０における調整処理の流れを表したフローチャート図である。FIG. 4 is a flowchart showing the flow of adjustment processing in the automatic trimming device 10 according to the present invention. 本発明に係る自動トリミング装置１０において扱う画像データの一例を表した説明図である。1 is an explanatory diagram showing an example of image data handled in an automatic trimming device 10 according to the present invention; 本発明に係る自動トリミング装置１０において画像データに対するオブジェクトの特定及び各種の枠の設定の一例を表した説明図である。1A to 1C are explanatory diagrams showing an example of specifying an object for image data and setting various frames in the automatic trimming device 10 according to the present invention. 本発明に係る自動トリミング装置１０における自動トリミング処理後の画像データとトリミング枠の位置関係の一例を表した説明図である。4 is an explanatory diagram showing an example of the positional relationship between image data and a trimming frame after automatic trimming processing in the automatic trimming device 10 according to the present invention; FIG.

以下、図面を参照しながら、本発明の実施の形態に係る自動トリミング装置の例について説明する。図１は、本発明に係る自動トリミング装置１０の構成を表したブロック図である。図１に示すように、自動トリミング装置１０は、画像データ取得部１１と、検出部１２と、特定部１３と、枠設定部１４と、拡大縮小部１５と、移動部１６と、調整部１７と、トリミング部１８と、記憶部１９とを少なくとも備えている。 Below, an example of an automatic trimming device according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of an automatic trimming device 10 according to the present invention. As shown in FIG. 1, the automatic trimming device 10 includes at least an image data acquisition unit 11, a detection unit 12, an identification unit 13, a frame setting unit 14, a zoom unit 15, a movement unit 16, an adjustment unit 17, a trimming unit 18, and a memory unit 19.

なお、自動トリミング装置１０は、専用マシンとして設計した装置であってもよいが、一般的なコンピュータによって実現可能なものであるものとする。この場合に、自動トリミング装置１０は、一般的なコンピュータが通常備えているであろうＣＰＵ（Central Processing Unit：中央演算処理装置）、メモリ、ハードディスクドライブ等のストレージを具備しているものとする（図示省略）。また、必要に応じてＧＰＵ（Graphics Processing Unit：画像処理装置）を備えるようにしてもよい。また、これらの一般的なコンピュータを本例の自動トリミング装置１０として機能させるためにプログラムよって各種処理が実行されることは言うまでもない。 The automatic trimming device 10 may be a device designed as a dedicated machine, but it is assumed that it can be realized by a general computer. In this case, the automatic trimming device 10 is assumed to have a CPU (Central Processing Unit), memory, hard disk drive, and other storage that would normally be included in a general computer (not shown). It may also have a GPU (Graphics Processing Unit: image processing device) if necessary. Needless to say, various processes are executed by programs to cause these general computers to function as the automatic trimming device 10 of this example.

また、自動トリミング装置１０は、通信ネットワークから独立してスタンドアローンで機能するものであってもよいが、自動トリミング装置１０の機能の一部または全部をサーバ装置に備えさせ、端末装置から通信ネットワークを介して接続して自動トリミング装置１０を利用するようにしてもよい。 The automatic trimming device 10 may function as a stand-alone device independent of a communication network, but some or all of the functions of the automatic trimming device 10 may be provided in a server device, and the automatic trimming device 10 may be used by connecting to the server device via a communication network.

画像データ取得部１１は、対象となる画像データを取得する機能を有する。本例において取得する画像データは、主に、カメラマンなどの撮影者が撮影意図を持って写真撮影を行うことで得られた画像データである。 The image data acquisition unit 11 has a function of acquiring target image data. In this example, the acquired image data is mainly image data obtained by a photographer such as a cameraman taking a photograph with a specific shooting intention.

検出部１２は、画像認識処理により画像データに写る所定のオブジェクトを検出する機能を有する。ここで、所定のオブジェクトとは、人物、動物、花瓶などのオブジェ、家具、人物が所持する物などの付随物など、画像データに含まれる可能性のある様々な物体のことをいう。どのようなオブジェクトを認識することを求めるかを事前に設定して画像認識を行う。画像認識処理は、適切にオブジェクトを検出可能であればどのような手法であってもよいが、例えば、所定のオブジェクトを認識することについてディープラーニングによって予め学習を行ったニューラルネットワーク（学習済モデル）に基づいて画像認識処理を行うことが考えられる。検出部１２は、検出したオブジェクトが占める領域を所定の手法によって区切る、例えば、矩形によって区切ることで、オブジェクトの検出範囲を特定するようにする。またセグメンテーションＡＩを用いてピクセル単位で対象オブジェクトを検出してもよい。 The detection unit 12 has a function of detecting a predetermined object that appears in the image data by image recognition processing. Here, the predetermined object refers to various objects that may be included in the image data, such as people, animals, objects such as vases, furniture, and accessories such as items held by people. Image recognition is performed by setting in advance what kind of object is required to be recognized. The image recognition processing may be performed by any method as long as it can appropriately detect the object. For example, it is possible to perform the image recognition processing based on a neural network (trained model) that has been trained in advance by deep learning to recognize the predetermined object. The detection unit 12 specifies the detection range of the object by dividing the area occupied by the detected object by a predetermined method, for example, by dividing it by a rectangle. In addition, the target object may be detected on a pixel-by-pixel basis using segmentation AI.

特定部１３は、検出したオブジェクトのうち、テンプレート枠内に必ず収めるべき必須オブジェクトを特定する機能を有する。ここで、必須オブジェクトとは、画像データに含まれる場合に必ずテンプレート枠内に収めるべきと予め設定したオブジェクトのことをいう。必須オブジェクトはどのように設定してもよいが、例えば、人物や、人物の所持するバッグ、帽子、髪飾り、衣服などの人物の付随物を必須オブジェクトと設定することが考えられる。 The identification unit 13 has a function of identifying essential objects that must be included within the template frame from among the detected objects. Here, an essential object refers to an object that has been set in advance as one that must be included within the template frame when included in image data. Essential objects may be set in any way, but for example, it is conceivable to set people and accessories of people such as bags, hats, hair accessories, and clothing that are carried by people as essential objects.

また、特定部１３は、テンプレート枠内に収まることを許容する許容オブジェクトを特定する機能を有する。ここで、許容オブジェクトとは、画像データに含まれる場合にテンプレート枠内に収めることが必須ではないがテンプレート枠内に収まることを許容するオブジェクトのことをいう。許容オブジェクトはどのように設定してもよいが、例えば、人物の傍らに設置された大型の花瓶、人物と一緒に写る動物などが考えられる。 The identification unit 13 also has a function of identifying an allowable object that is allowed to fit within the template frame. Here, an allowable object refers to an object that is allowed to fit within the template frame when included in image data, although it is not essential that the object fit within the template frame. The allowable object may be set in any way, but examples include a large vase placed next to a person, an animal that appears with a person, etc.

また、特定部１３は、テンプレート枠内に収めるべきでない禁止オブジェクトを特定する機能を有する。ここで、禁止オブジェクトとは、画像データに含まれる場合にテンプレート枠内に収まることを禁止するオブジェクトのことをいう。禁止オブジェクトはどのように設定してもよいが、例えば、パネル棒、バック紙切れ、引き戸切れ、引き戸前床写り込み、ロール紙写り込み、スタッフ写り込みなどの写真スタジオなどにおける写真撮影で発生する意図しない写り込みが考えられる。 The identification unit 13 also has a function of identifying prohibited objects that should not be placed within the template frame. Here, a prohibited object refers to an object that is prohibited from being placed within the template frame when included in image data. Any prohibited object may be set, but examples of unintended objects that may occur when taking photographs in a photo studio, such as a panel bar, a piece of background paper, a piece of a sliding door, a floor reflected in front of a sliding door, a roll of paper, or a staff member reflected, may be considered.

なお、検出部１２と特定部１３とを機能を分けて説明を行ったが、これらを一連の処理で行う構成であってもよい。例えば、オブジェクトを検出しかつそのオブジェクトの属性を特定することについて予め学習を行った学習済モデルに基づいて処理を行う構成の場合、当該学習済モデルが検出部１２と特定部１３の両方の機能を兼ねることになり、このような構成であってもよい。 Although the detection unit 12 and the identification unit 13 have been described as having separate functions, they may be configured to perform these as a single process. For example, in a configuration in which processing is performed based on a trained model that has previously been trained to detect an object and identify the attributes of that object, the trained model will combine the functions of both the detection unit 12 and the identification unit 13, and such a configuration may be used.

枠設定部１４は、画像データに対して所定規則に基づいてテンプレート枠を設定する機能を有する。ここで、テンプレート枠とは、画像データをトリミングするサイズとして予め設定された所定サイズの枠のことをいう。テンプレート枠は、トリミングを希望するユーザが選択するものであってもよいし、画像データのサイズに基づいて自動で選択されるものであってもよい。テンプレート枠のサイズと画像データが示す画像のサイズとの関係は特に限定されるものではないが、画像データのサイズよりも大きいテンプレート枠を採用すると必ず拡大処理が必要になり画質の劣化が生じてしまうため、画像データのサイズよりも小さいテンプレート枠が選択されることが好ましい。テンプレート枠の設定に関する所定規則はどのようなものであってもよいが、例えば、画像データが示す画像の中心座標とテンプレート枠の中心座標が重なるようにテンプレート枠の初期位置を設定する規則が考えられる。また、被写体である必須オブジェクトの中心座標を求め、当該中心座標とテンプレート枠の中心座標が重なるようにテンプレート枠の初期位置を設定する規則とすることも考えられる。 The frame setting unit 14 has a function of setting a template frame for image data based on a predetermined rule. Here, the template frame refers to a frame of a predetermined size that is set in advance as the size for trimming the image data. The template frame may be selected by a user who wishes to trim, or may be automatically selected based on the size of the image data. The relationship between the size of the template frame and the size of the image indicated by the image data is not particularly limited, but it is preferable to select a template frame smaller than the size of the image data, since using a template frame larger than the size of the image data necessarily requires enlargement processing and causes deterioration of image quality. Any predetermined rule may be used for setting the template frame, but for example, a rule may be considered in which the initial position of the template frame is set so that the center coordinates of the image indicated by the image data and the center coordinates of the template frame overlap. Alternatively, a rule may be considered in which the center coordinates of the required object, which is the subject, are obtained, and the initial position of the template frame is set so that the center coordinates of the required object and the template frame overlap.

拡大縮小部１５は、必須オブジェクトがテンプレート枠内に収まるように画像データの拡大縮小処理を実行する機能を有する。拡大縮小部１５では、必須オブジェクトと特定した全ての領域が完全にテンプレート枠内に収まるまで拡大処理若しくは縮小処理を実行する。ここで、拡大縮小処理は、所定の基準点を中心として実行するものとし、例えば、テンプレート枠の中心座標を基準として拡大縮小処理を実行する。 The scaling unit 15 has a function of executing a scaling process on the image data so that the required objects fit within the template frame. The scaling unit 15 executes a scaling process or a reduction process until all areas identified as required objects fit completely within the template frame. Here, the scaling process is executed with a predetermined reference point as the center, and for example, the scaling process is executed with the center coordinates of the template frame as the reference.

また、拡大縮小部１５においては、さらに、パディング処理を実行するようにしてもよい。ここで、パディング処理とは、テンプレート枠と必須オブジェクトと特定された領域との間に所定の間隔（隙間）が生じるように拡大縮小処理を実行することをいう。所定の間隔は、予め設定したものであればどのような設定であってもよいが、例えば、ピクセル数（画素数）で間隔を指定するものであってもよい。 The scaling unit 15 may further perform padding processing. Here, padding processing refers to performing a scaling process so as to create a predetermined interval (gap) between the template frame and the area identified as the required object. The predetermined interval may be any setting that is set in advance, and may be, for example, a setting that specifies the interval by the number of pixels.

また、拡大縮小部１５における拡大縮小処理には、拡縮率についての制限を設けてもよい。極端に大きな拡縮率による拡大縮小処理は撮影者の意図から離れたトリミングとなる可能性が高いという前提のもと、撮影者の意図を保護する目的で拡縮率を設定することが考えられる。具体的には、元の画像データのオリジナルサイズを拡縮率１００％とした場合に、９２％＜拡縮率＜１１０％の範囲に拡大縮小処理を制限することが考えられる。なお、この拡大縮小処理の制限については、拡大縮小部１５における処理ごとに判定してもよいし、後述する調整部１７において判定するようにしてもよい。またこれら拡縮率の制限を超えた場合、直前の状態を保持してもよいし、初期状態に戻すようにしてもよい。 In addition, the enlargement/reduction processing in the enlargement/reduction unit 15 may be limited in terms of the enlargement/reduction ratio. It is possible to set the enlargement/reduction ratio in order to protect the photographer's intention, under the premise that enlargement/reduction processing with an extremely large enlargement/reduction ratio is likely to result in trimming that is unintended by the photographer. Specifically, if the original size of the original image data is set to a enlargement/reduction ratio of 100%, it is possible to limit the enlargement/reduction processing to a range of 92% < enlargement/reduction ratio < 110%. Note that this limit on the enlargement/reduction processing may be determined for each process in the enlargement/reduction unit 15, or may be determined in the adjustment unit 17 described below. In addition, when these enlargement/reduction ratio limits are exceeded, the previous state may be maintained, or the initial state may be restored.

また、拡大縮小部１５は、画像データに最初に設定した初期位置におけるテンプレート枠のサイズよりも所定サイズだけ大きい判定枠を設け、当該判定枠の内側に許容オブジェクトが収まっている場合、当該許容オブジェクトをテンプレート枠内に収めるように拡大縮小処理を実行する機能を有するようにしてもよい。ここで、判定枠とは、画像データに含まれる許容オブジェクトについて撮影者が必須オブジェクトと一緒に写すことを意図したものであるか否かを判定するための枠のことをいう。テンプレート枠を画像データのサイズよりも小さいものを選択する場合、この判定枠は、テンプレート枠のサイズよりも所定サイズだけ大きいものであり、かつ、画像データよりも所定サイズだけ小さいものとなる。すなわち、テンプレート枠＜判定枠＜画像データとなる。より詳細な例としては、テンプレート枠と画像データとの間の距離を３分割した場合の画像データ側から１／３の距離の位置を判定枠の位置とすることが考えられる。テンプレート枠内に必須オブジェクトを収めるように拡大縮小処理を実行するが、その際、テンプレート枠内に収まらない許容オブジェクトが発生する場合がある。そのような許容オブジェクトが、撮影者が必須オブジェクトと一緒に写すことを意図したものであるならばテンプレート枠内に収めるように調整する必要がある。そこで、判定枠を設定して、判定枠内に収まる許容オブジェクトについては撮影者が必須オブジェクトと一緒に写すことを意図したものであると推定して、拡大縮小処理によってテンプレート枠に収めるようにする。他方、判定枠内に収まらない許容オブジェクトについては、画像データからも被写体の一部がはみ出している場合も多く、撮影者も被写体の一部がはみ出ることを前提で撮影しているものと推定して、テンプレート枠に収める処理を実行しないものとする。 The zoom unit 15 may also have a function of setting a judgment frame that is a predetermined size larger than the size of the template frame at the initial position initially set in the image data, and performing a zoom process to fit the permissible object within the template frame when the permissible object fits inside the judgment frame. Here, the judgment frame refers to a frame for determining whether or not the permissible object included in the image data is intended by the photographer to be photographed together with the mandatory object. When a template frame smaller than the size of the image data is selected, the judgment frame is a predetermined size larger than the size of the template frame and a predetermined size smaller than the image data. That is, the template frame < judgment frame < image data. As a more detailed example, it is possible to set the position of the judgment frame to a position that is 1/3 of the distance from the image data side when the distance between the template frame and the image data is divided into three. The zoom process is performed to fit the mandatory object within the template frame, but at that time, a permissible object that does not fit within the template frame may occur. If such a permissible object is intended by the photographer to be photographed together with the mandatory object, it is necessary to adjust it so that it fits within the template frame. Therefore, a judgment frame is set, and for permissible objects that fit within the judgment frame, it is presumed that the photographer intended to include them together with the required objects, and the process of enlarging or reducing them is used to fit them into the template frame. On the other hand, for permissible objects that do not fit within the judgment frame, since in many cases parts of the subject protrude from the image data, it is presumed that the photographer took the photograph with the assumption that some of the subject would protrude, and the process of fitting them into the template frame is not performed.

また、拡大縮小部１５は、所定の禁則条件に該当しない範囲において禁止オブジェクトがテンプレート枠内に残らないように拡大縮小処理を実行する機能を有するようにしてもよい。特定部１３において特定した禁止オブジェクトがテンプレート枠内に残っている場合、禁止オブジェクトはテンプレート枠から除外したいため、さらに拡大縮小部１５において拡大縮小処理を実行して禁止オブジェクトをテンプレート枠から追い出すようにする。禁則条件とは、例えば、拡縮率の制限の範囲を超えてはいけないなど、禁止オブジェクトを除外する処理の際に犯してはならない条件のことをいう。 The scaling unit 15 may also have a function of executing a scaling process so that prohibited objects do not remain within the template frame within a range that does not meet certain prohibition conditions. If a prohibited object identified by the identification unit 13 remains within the template frame, the prohibited object is to be removed from the template frame, and the scaling unit 15 further executes a scaling process to remove the prohibited object from the template frame. Prohibition conditions refer to conditions that must not be violated when removing prohibited objects, such as not exceeding the range of the scaling ratio limit.

移動部１６は、テンプレート枠内の必須オブジェクトに対する上下左右の余白量の基準を含む所定基準に基づいて、テンプレート枠に対する画像データの移動処理を実行する機能を有する。ここで、移動処理とは、画像データのサイズを変更することなく、テンプレート枠に対する画像データの位置を平行移動によって調整する処理のことをいう。また、移動処理における所定基準とは、移動処理が必要であると判断するための基準のことをいう。所定基準の一例としては、例えば、最低何ピクセル以上余白が必要であるといった余白量の基準、下側余白と上側余白とでは少なくとも１：１．５以上の比率となるように上側余白が多くなければならないといった上下の余白の比率に関する基準、左右の移動量の制限の中で可能な限り被写体中心がテンプレート枠の中央に位置するべきとする基準などが考えられる。また、上下の余白については、写真が全身写真であるのか否かについての判定も必要となる。というのも、被写体の一部が撮影領域外にはみ出している画像データは全身写真ではく、その被写体の一部がはみ出している個所に関しては余白を設ける処理が不要となるからである。また、被写体中心については、必須オブジェクトのみで算出する場合と、テンプレート枠内に収めると判定した許容オブジェクトについても同様に扱って、必須オブジェクトと許容オブジェクトを合わせた全体の被写体中心を基準として算出する場合とが考えられる。左右の移動量の制限については、撮影者の意図を保護する目的で設定するものであり、固定で何ピクセル以上は移動できないという制限としてもよいし、画像データのサイズに基づいて移動可能なピクセル数を設定して制限するものであってもよい。またこれら移動量の制限を超えた場合、直前の状態を保持してもよいし、初期状態に戻すようにしてもよい。なお、拡大縮小部１５と移動部１６の処理順序は前後してもよい。 The moving unit 16 has a function of executing a moving process of image data relative to the template frame based on a predetermined criterion including a criterion for the amount of top, bottom, left and right margins for the required object in the template frame. Here, the moving process refers to a process of adjusting the position of the image data relative to the template frame by parallel movement without changing the size of the image data. In addition, the predetermined criterion in the moving process refers to a criterion for determining that the moving process is necessary. Examples of the predetermined criterion include a margin amount criterion such as a minimum number of pixels of margin required, a criterion regarding the ratio of top and bottom margins such as the upper margin must be larger so that the ratio between the lower margin and the upper margin is at least 1:1.5 or more, and a criterion that the center of the subject should be located as much as possible in the center of the template frame within the limit of the left and right movement amount. In addition, for the top and bottom margins, it is also necessary to determine whether the photo is a full-body photo. This is because image data in which a part of the subject protrudes outside the shooting area is not a full-body photo, and processing to provide margins is not required for the part where a part of the subject protrudes. The subject center may be calculated using only required objects, or may be calculated using the overall subject center including required and allowed objects as a reference, treating allowable objects determined to fit within the template frame in the same way. The limit on the amount of left and right movement is set to protect the photographer's intention, and may be a fixed limit of a certain number of pixels beyond which movement is not permitted, or may be a limit set by setting a number of pixels that can be moved based on the size of the image data. When these movement limits are exceeded, the previous state may be maintained, or the initial state may be restored. The order of processing by the zoom unit 15 and the movement unit 16 may be reversed.

調整部１７は、画像データとテンプレート枠との関係を微調整する機能を有する。拡大縮小部１５や移動部１６での処理を経ることで、必須オブジェクトがテンプレート枠内の適切な位置に収まった状態となっているはずであるが、細部において微調整が必要となる状況が生じる場合がある。例えば、テンプレート枠の端部で画像切れが生じることがある。この調整部１７では、画像切れなどの微調整対象を調整する処理を実行する。また、この調整部１７において、拡縮率の制限や移動量の制限など各種の制限が守られているかを確認する処理を実行するようにしてもよい。 The adjustment unit 17 has a function of fine-tuning the relationship between the image data and the template frame. After undergoing processing in the enlargement/reduction unit 15 and movement unit 16, the required object should be placed in an appropriate position within the template frame, but there may be situations where fine adjustments are required in the details. For example, image clipping may occur at the edge of the template frame. This adjustment unit 17 executes processing to adjust the targets of fine adjustment, such as image clipping. The adjustment unit 17 may also execute processing to check whether various restrictions, such as restrictions on the enlargement/reduction ratio and the amount of movement, are observed.

トリミング部１８は、確定した位置関係において画像データからテンプレート枠の内側領域をトリミング画像として出力する機能を有する。このトリミング部１８における処理は、画像データをテンプレート枠で切り取ってトリミング画像を出力する構成であってもよいし、トリミングを行うための情報としてテンプレート枠に対する画像データの拡縮率及び移動量の情報を出力する構成であってもよい。 The trimming unit 18 has a function of outputting the inner area of the template frame from the image data in the determined positional relationship as a trimmed image. The processing in this trimming unit 18 may be configured to cut the image data with the template frame and output the trimmed image, or may be configured to output information on the enlargement/reduction ratio and movement amount of the image data relative to the template frame as information for trimming.

記憶部１９は、画像データ取得部１１、検出部１２、特定部１３、枠設定部１４、拡大縮小部１５、移動部１６、調整部１７、トリミング部１８などを含む自動トリミング装置１０において行われる様々な処理で必要なデータ及び処理の結果として得られたデータを記憶させる機能を有する。 The memory unit 19 has the function of storing data necessary for various processes performed in the automatic trimming device 10, which includes the image data acquisition unit 11, detection unit 12, identification unit 13, frame setting unit 14, zoom unit 15, movement unit 16, adjustment unit 17, trimming unit 18, etc., as well as data obtained as a result of the processes.

次に、自動トリミング装置１０における自動トリミング処理の流れについて説明する。図２は、本発明に係る自動トリミング装置１０における自動トリミング処理の流れを表したフローチャート図である。この図２に示すように、自動トリミング処理は、自動トリミング装置１０において画像データを取得することによって開始される（ステップＳ１０１）。次に、自動トリミング装置１０は、取得した画像データ中から所定のオブジェクトを検出する（ステップＳ１０２）。次に、自動トリミング装置１０は、検出したオブジェクトの中から必須オブジェクト、許容オブジェクト、禁止オブジェクトなどを特定する（ステップＳ１０３）。次に、自動トリミング装置１０は、画像データに対してテンプレート枠を設定する（ステップＳ１０４）。次に、自動トリミング装置１０は、テンプレート枠内に必須オブジェクト（条件を満たす場合には許容オブジェクトについても同様に）が収まるように拡大縮小処理を実行する（ステップＳ１０５）。次に、自動トリミング装置１０は、テンプレート枠内における必須オブジェクト（条件を満たす場合には許容オブジェクトについても同様に）の位置が適切となるように移動処理を実行する（ステップＳ１０６）。次に、自動トリミング装置１０は、テンプレート枠内に禁止オブジェクトが存在する場合には、禁止オブジェクト除外処理を実行する（ステップＳ１０７）。そして、自動トリミング装置１０は、調整処理を実行する（ステップＳ１０８）。最後に、自動トリミング装置１０は、確定したテンプレート枠と画像データの関係状態に基づいてトリミング処理を実行して（ステップＳ１０９）、自動トリミング処理を終了する。なお、拡大縮小処理（ステップＳ１０５）と移動処理（ステップＳ１０６）の実行順序は入れ替わってもよい。 Next, the flow of the automatic trimming process in the automatic trimming device 10 will be described. FIG. 2 is a flow chart showing the flow of the automatic trimming process in the automatic trimming device 10 according to the present invention. As shown in FIG. 2, the automatic trimming process is started by acquiring image data in the automatic trimming device 10 (step S101). Next, the automatic trimming device 10 detects a predetermined object from the acquired image data (step S102). Next, the automatic trimming device 10 identifies a required object, an allowed object, a prohibited object, etc. from the detected objects (step S103). Next, the automatic trimming device 10 sets a template frame for the image data (step S104). Next, the automatic trimming device 10 performs a zoom process so that the required object (as well as the allowed object if the conditions are met) fits within the template frame (step S105). Next, the automatic trimming device 10 performs a movement process so that the position of the required object (as well as the allowed object if the conditions are met) within the template frame becomes appropriate (step S106). Next, if a prohibited object is present within the template frame, the automatic trimming device 10 executes a prohibited object removal process (step S107). Then, the automatic trimming device 10 executes an adjustment process (step S108). Finally, the automatic trimming device 10 executes a trimming process based on the relationship between the confirmed template frame and the image data (step S109), and ends the automatic trimming process. Note that the order of execution of the enlargement/reduction process (step S105) and the movement process (step S106) may be reversed.

次に、自動トリミング装置１０における拡大縮小処理の流れについて説明する。図３は、本発明に係る自動トリミング装置１０における拡大縮小処理の流れを表したフローチャート図である。必須オブジェクト、許容オブジェクト、禁止オブジェクト等について特定が行われ、画像データに対してテンプレート枠が初期位置に設定された状況において、この図３に示すように、拡大縮小処理は、自動トリミング装置１０において、必須オブジェクトがテンプレート枠内に含まれるように画像データの拡大縮小を実行することによって開始される（ステップＳ２０１）。次に、自動トリミング装置１０は、必須オブジェクトとテンプレート枠との間に所定の間隔が確保されるようにパディング処理を実行する（ステップＳ２０２）。次に、自動トリミング装置１０は、画像データ内に許容オブジェクトが存在するか否かを判定する（ステップＳ２０３）。画像データ内に許容オブジェクトが存在しない場合（Ｓ２０３－Ｎ）、自動トリミング装置１０は、拡大縮小処理を終了する。画像データ内に許容オブジェクトが存在する場合（Ｓ２０３－Ｙ）、自動トリミング装置１０は、画像データに対するテンプレート枠の初期配置の大きさよりも所定サイズだけ大きい判定枠（ただし、判定枠＜画像データ）を設定する（ステップＳ２０４）。そして、自動トリミング装置１０は、判定枠内に許容オブジェクトが収まるか否かを判定する（ステップＳ２０５）。判定枠内に許容オブジェクトが収まらない場合（Ｓ２０５－Ｎ）、自動トリミング装置１０は、拡大縮小処理を終了する。判定枠内に許容オブジェクトが収まる場合（Ｓ２０５－Ｙ）、自動トリミング装置１０は、該当する許容オブジェクトがテンプレート枠内に収まるように拡大縮小を実行して（ステップＳ２０６）、拡大縮小処理を終了する。 Next, the flow of the enlargement/reduction process in the automatic trimming device 10 will be described. FIG. 3 is a flow chart showing the flow of the enlargement/reduction process in the automatic trimming device 10 according to the present invention. In a situation where the required objects, allowed objects, prohibited objects, etc. are specified and the template frame is set to the initial position for the image data, as shown in FIG. 3, the enlargement/reduction process is started by the automatic trimming device 10 enlarging/reducing the image data so that the required objects are included in the template frame (step S201). Next, the automatic trimming device 10 performs padding processing so that a predetermined interval is secured between the required objects and the template frame (step S202). Next, the automatic trimming device 10 judges whether or not the allowed object is present in the image data (step S203). If the allowed object is not present in the image data (S203-N), the automatic trimming device 10 ends the enlargement/reduction process. If the allowed object is present in the image data (S203-Y), the automatic trimming device 10 sets a judgment frame (wherein the judgment frame is smaller than the size of the initial arrangement of the template frame for the image data) by a predetermined size (step S204). Then, the automatic trimming device 10 judges whether the permissible object fits within the judgment frame (step S205). If the permissible object does not fit within the judgment frame (S205-N), the automatic trimming device 10 ends the scaling process. If the permissible object fits within the judgment frame (S205-Y), the automatic trimming device 10 performs scaling so that the permissible object fits within the template frame (step S206), and ends the scaling process.

次に、自動トリミング装置１０における移動処理の流れについて説明する。図４は、本発明に係る自動トリミング装置１０における移動処理の流れを表したフローチャート図である。この図４に示すように、移動処理は、自動トリミング装置１０において、画像データが被写体に関して全身写真であるか否かを判定することによって開始される（ステップＳ３０１）。画像データが全身写真ではない場合（Ｓ３０１－Ｎ）、自動トリミング装置１０は、後述するステップＳ３０４に移行する。画像データが全身写真である場合（Ｓ３０１－Ｙ）、自動トリミング装置１０は、必須オブジェクトの上下において、テンプレート枠との間に所定値以下の間隔しかないか否かを判定する（ステップＳ３０２）。必須オブジェクトテンプレート枠との間に所定値より大きい間隔が確保されている場合（Ｓ３０１－Ｎ）、自動トリミング装置１０は、後述するステップＳ３０４に移行する。必須オブジェクトテンプレート枠との間に所定値以下の間隔しか確保されていない場合（Ｓ３０１－Ｙ）、必須オブジェクトの上下に所定値以上の間隔が設けられるように垂直方向の移動を実行する（ステップＳ３０３）。最後に、必須オブジェクトの被写体中心を判定して、被写体中心がテンプレート枠の中央に近づくように水平方向の移動を実行して（ステップＳ３０４）、移動処理を終了する。 Next, the flow of the movement process in the automatic trimming device 10 will be described. FIG. 4 is a flow chart showing the flow of the movement process in the automatic trimming device 10 according to the present invention. As shown in FIG. 4, the movement process is started by the automatic trimming device 10 by determining whether the image data is a full-body photograph of the subject (step S301). If the image data is not a full-body photograph (S301-N), the automatic trimming device 10 proceeds to step S304, which will be described later. If the image data is a full-body photograph (S301-Y), the automatic trimming device 10 determines whether there is only a predetermined value or less between the template frame above and below the mandatory object (step S302). If there is a space larger than the predetermined value between the mandatory object template frame (S301-N), the automatic trimming device 10 proceeds to step S304, which will be described later. If there is only a predetermined value or less between the mandatory object template frame and the mandatory object template frame (S301-Y), vertical movement is performed so that there is a predetermined value or more between the mandatory object and the template frame (step S303). Finally, the subject center of the required object is determined, and horizontal movement is performed so that the subject center approaches the center of the template frame (step S304), and the movement process ends.

次に、自動トリミング装置１０における禁止オブジェクト除外処理の流れについて説明する。図５は、本発明に係る自動トリミング装置１０における禁止オブジェクト除外処理の流れを表したフローチャート図である。この図５に示すように、禁止オブジェクト除外処理は、自動トリミング装置１０において、テンプレート枠内に禁止オブジェクトが存在するか否かを判定することによって開始される（ステップＳ４０１）。テンプレート枠内に禁止オブジェクトが存在しない場合（Ｓ４０１－Ｎ）、自動トリミング装置１０は、禁止オブジェクト除外処理を終了する。テンプレート枠内に禁止オブジェクトが存在する場合（Ｓ４０１－Ｙ）、自動トリミング装置１０は、禁止オブジェクト（又は、禁止オブジェクトにマージンを加えたもの）をテンプレート枠の枠外に追い出すために拡大処理を実行して（ステップＳ４０２）、禁止オブジェクト除外処理を終了する。 Next, the flow of the prohibited object elimination process in the automatic trimming device 10 will be described. FIG. 5 is a flow chart showing the flow of the prohibited object elimination process in the automatic trimming device 10 according to the present invention. As shown in FIG. 5, the prohibited object elimination process is started by the automatic trimming device 10 determining whether or not a prohibited object exists within the template frame (step S401). If a prohibited object does not exist within the template frame (S401-N), the automatic trimming device 10 ends the prohibited object elimination process. If a prohibited object exists within the template frame (S401-Y), the automatic trimming device 10 executes an enlargement process to push the prohibited object (or the prohibited object plus a margin) out of the template frame (step S402), and ends the prohibited object elimination process.

次に、自動トリミング装置１０における調整処理の流れについて説明する。図６は、本発明に係る自動トリミング装置１０における調整処理の流れを表したフローチャート図である。この図６に示すように、調整処理は、自動トリミング装置１０において、マスク切れが発生しているか否かを判定することによって開始される（ステップＳ５０１）。マスク切れが発生していない場合（Ｓ５０１－Ｎ）、自動トリミング装置１０は、後述するステップＳ３０４に移行する。マスク切れが発生している場合（Ｓ５０１－Ｙ）、自動トリミング装置１０は、欠損領域を埋めるために拡大処理を実行する（ステップＳ５０２）。次に、自動トリミング装置１０は、拡大縮小率及び移動量が制限値の範囲内であるか否かを判定する（ステップＳ５０３）。拡大縮小率又は移動量が制限値の範囲を超えていた場合（Ｓ５０３－Ｎ）、自動トリミング装置１０は、トリミング処理全体を中止して全てを初期値に戻した上で（ステップＳ５０４）、ステップＳ５０５に移行する。拡大縮小率及び移動量が制限値の範囲内である場合（Ｓ５０３－Ｙ）、自動トリミング装置１０は、その時点での拡縮率及び移動量の情報を維持したまま、ステップＳ５０５に移行する。最後に、自動トリミング装置１０は、トリミング情報を出力して（ステップＳ５０５）、調整処理を終了する。 Next, the flow of the adjustment process in the automatic trimming device 10 will be described. FIG. 6 is a flow chart showing the flow of the adjustment process in the automatic trimming device 10 according to the present invention. As shown in FIG. 6, the adjustment process is started by determining whether or not a mask runout has occurred in the automatic trimming device 10 (step S501). If a mask runout has not occurred (S501-N), the automatic trimming device 10 proceeds to step S304, which will be described later. If a mask runout has occurred (S501-Y), the automatic trimming device 10 executes an enlargement process to fill in the missing area (step S502). Next, the automatic trimming device 10 determines whether the enlargement/reduction ratio and the movement amount are within the range of the limit value (step S503). If the enlargement/reduction ratio or the movement amount exceeds the range of the limit value (S503-N), the automatic trimming device 10 stops the entire trimming process, resets everything to the initial value (step S504), and proceeds to step S505. If the enlargement/reduction ratio and movement amount are within the range of the limit value (S503-Y), the automatic trimming device 10 proceeds to step S505 while maintaining the enlargement/reduction ratio and movement amount information at that time. Finally, the automatic trimming device 10 outputs the trimming information (step S505) and ends the adjustment process.

次に、自動トリミング装置１０における自動トリミング処理について、具体例に基づいて説明を行う。図７は、本発明に係る自動トリミング装置１０において扱う画像データの一例を表した説明図である。この図７に示す画像データには、オブジェクトの一例として人物と花が含まれており、また、左下にバック紙切れが発生している様子を表している。 Next, the automatic trimming process in the automatic trimming device 10 will be explained based on a concrete example. FIG. 7 is an explanatory diagram showing an example of image data handled by the automatic trimming device 10 according to the present invention. The image data shown in FIG. 7 includes a person and a flower as examples of objects, and also shows that the background paper has run out at the bottom left.

図８は、本発明に係る自動トリミング装置１０において画像データに対するオブジェクトの特定及び各種の枠の設定の一例を表した説明図である。図７に示す画像データに対して画像認識処理を実行してオブジェクトを特定すると、例えば、この図８に示すように、必須オブジェクトとしての「人物」、許容オブジェクトとしての「花」、禁止オブジェクトとしての「バック紙切れ」がそれぞれ特定されて、例えば、特定された領域をそれぞれ矩形領域として管理している。また、図８に示すように、画像データに対しては、初期位置に配置されたテンプレート枠と、テンプレート枠よりも大きい判定枠が設定される。この図８に示す例では、許容オブジェクトとしての「花」は、初期位置に配置されたテンプレート枠からはみ出しているが、判定枠の範囲内に収まっているため、テンプレート枠の内側に収める許容オブジェクトであると判定することになる。この図８に示す例では、許容オブジェクトとしての「花」をテンプレート枠の内側に収めるために拡大縮小処理を実行するほか、「花」などの許容オブジェクトについても被写体中心の算出に含めるようにしているので、「人物」と「花」の両方を被写体として認定し、被写体中心を「人物」と「花」の全体の中心に定めるようにして移動処理を実行するようにする。なお、許容オブジェクトを被写体中心の算出に含めない場合には、「人物」のみに基づいて被写体中心を算出して、被写体中心が全体の中心にくるように移動処理を実行することになる。 FIG. 8 is an explanatory diagram showing an example of identifying objects for image data and setting various frames in the automatic trimming device 10 according to the present invention. When an image recognition process is performed on the image data shown in FIG. 7 to identify objects, for example, as shown in FIG. 8, a "person" as a required object, a "flower" as an allowed object, and a "piece of paper backing" as a prohibited object are identified, and the identified areas are managed as rectangular areas, for example. Also, as shown in FIG. 8, a template frame arranged at an initial position and a judgment frame larger than the template frame are set for the image data. In the example shown in FIG. 8, the "flower" as an allowed object protrudes from the template frame arranged at the initial position, but is within the range of the judgment frame, so it is determined to be an allowed object to be placed inside the template frame. In the example shown in FIG. 8, a zoom process is performed to fit the "flower" as an allowed object inside the template frame, and allowed objects such as the "flower" are also included in the calculation of the subject center, so that both the "person" and the "flower" are recognized as subjects, and the subject center is set to the center of the entire "person" and "flower" to perform a movement process. If permissible objects are not included in the calculation of the subject center, the subject center will be calculated based on "people" only, and the movement process will be performed so that the subject center is at the center of the whole image.

図９は、本発明に係る自動トリミング装置１０における自動トリミング処理後の画像データとトリミング枠の位置関係の一例を表した説明図である。図８に示す画像データに対して拡大縮小処理及び移動処理を実行した結果が図９に示すテンプレート枠と画像データの関係になる。この図９は、初期配置のテンプレート枠に対して画像データを、拡縮率０．９７（９７％に縮小）、左右方向移動量－２０（左方向に２０ピクセル移動）、上下方向移動量５（上方向に５ピクセル移動）というトリミング情報が得られたことを表している。なお、この図９に示すように、マスク切れは発生しておらず、また、禁止オブジェクトである「バック紙切れ」がテンプレート枠から外れているため問題とならないため、微調整を行う必要がない。 Figure 9 is an explanatory diagram showing an example of the positional relationship between image data and the trimming frame after automatic trimming processing in the automatic trimming device 10 according to the present invention. The result of performing the enlargement/reduction processing and movement processing on the image data shown in Figure 8 is the relationship between the template frame and image data shown in Figure 9. This Figure 9 shows that the trimming information obtained for the image data with respect to the template frame in the initial position is a enlargement/reduction ratio of 0.97 (reduced to 97%), a left/right movement amount of -20 (moved 20 pixels to the left), and a vertical movement amount of 5 (moved 5 pixels upwards). Note that as shown in this Figure 9, no mask cut has occurred, and since the prohibited object "background paper cut" is outside the template frame and does not pose a problem, there is no need to make fine adjustments.

以上のように、本発明に係る自動トリミング装置１０によれば、対象となる画像データを取得し、画像認識処理により画像データに写る所定のオブジェクトを検出し、検出したオブジェクトのうち、テンプレート枠内に必ず収めるべき必須オブジェクトを特定し、画像データに対して所定規則に基づいてテンプレート枠を設定し、必須オブジェクトがテンプレート枠内に収まるように画像データの拡大縮小処理を実行し、テンプレート枠内の必須オブジェクトに対する上下左右の余白量の基準を含む所定基準に基づいて、テンプレート枠に対する画像データの移動処理を実行し、確定した位置関係において画像データからテンプレート枠の内側領域をトリミング画像として出力するようにしたので、必須オブジェクトを全て含み、かつ、適切な余白を設定したトリミングを自動で実行することが可能となる。 As described above, the automatic trimming device 10 according to the present invention acquires target image data, detects predetermined objects appearing in the image data by image recognition processing, identifies essential objects that must be contained within the template frame from among the detected objects, sets a template frame for the image data based on predetermined rules, performs a scaling process on the image data so that the essential objects fit within the template frame, performs a process of moving the image data relative to the template frame based on predetermined criteria including criteria for the amount of margin above, below, left, and right for the essential objects within the template frame, and outputs the area inside the template frame from the image data in the determined positional relationship as a trimming image, making it possible to automatically perform trimming that includes all essential objects and has appropriate margins set.

また、所定の禁則条件に該当しない範囲において許容オブジェクトについても枠内に収まることを許容するようにしたので、テンプレート枠内に存在する許容オブジェクトは撮影者の意図に基づいて含まれた被写体であると認定して、撮影者の意図を尊重して枠内に収めて扱うことが可能となる。 Also, permissible objects are allowed to fit within the frame as long as they do not fall under certain prohibited conditions, so permissible objects that exist within the template frame are recognized as subjects included based on the photographer's intention, and can be treated as fitting within the frame while respecting the photographer's intention.

また、画像データに最初に設定した初期位置におけるテンプレート枠のサイズよりも所定サイズだけ大きい判定枠を設け、当該判定枠の内側に許容オブジェクトが収まっている場合、当該許容オブジェクトをテンプレート枠内に収めるように拡大縮小処理を実行するようにしたので、撮影者が画像データに含ませたいと意図したと推定される許容オブジェクトをテンプレート枠内に収めることができ、撮影者の意図を尊重したトリミングが可能となる。逆に、判定枠からもはみ出した許容オブジェクトは、撮影者も画像データに全て収めるつもりのなかった許容オブジェクトであると推定して、そのような許容オブジェクトはテンプレート枠に収める対象としない。これも撮影者の意図を反映させたトリミング処理であるといえる。 In addition, a judgment frame is set that is a predetermined size larger than the size of the template frame at the initial position initially set in the image data, and if an allowable object falls inside the judgment frame, a zoom process is performed to fit the allowable object within the template frame. This makes it possible to fit within the template frame an allowable object that is presumed to have been intended by the photographer to be included in the image data, making it possible to perform trimming that respects the photographer's intentions. Conversely, an allowable object that extends beyond the judgment frame is presumed to be an allowable object that the photographer did not intend to include in its entirety in the image data, and such an allowable object is not included in the template frame. This can also be said to be a trimming process that reflects the photographer's intentions.

また、テンプレート枠内に収めるべきでない禁止オブジェクトを特定して、所定の禁則条件に該当しない範囲において禁止オブジェクトがテンプレート枠内に残らないように拡大縮小処理を実行するようにしたので、禁止オブジェクトと設定した対象がテンプレート枠内に残らない自動トリミングが可能となる。 In addition, prohibited objects that should not be contained within the template frame are identified, and a scaling process is performed so that prohibited objects do not remain within the template frame to the extent that they do not meet specified prohibition conditions, making it possible to perform automatic trimming so that objects set as prohibited objects do not remain within the template frame.

１０自動トリミング装置
１１画像データ取得部
１２検出部
１３特定部
１４枠設定部
１５拡大縮小部
１６移動部
１７調整部
１８トリミング部
１９記憶部 REFERENCE SIGNS LIST 10 Automatic trimming device 11 Image data acquisition unit 12 Detection unit 13 Identification unit 14 Frame setting unit 15 Enlargement/reduction unit 16 Movement unit 17 Adjustment unit 18 Trimming unit 19 Storage unit

Claims

An automatic cropping program for causing a computer to perform a process of automatically cropping image data acquired by photographing an object so that the object fits within a frame of a predetermined size,
The computer includes:
an image data acquisition function for acquiring target image data;
A detection function of detecting a predetermined object that is preset as a recognition target in image recognition by executing an image recognition process on the image data ;
a specifying function for specifying a required object that is preset as an object that must be included within the frame among the detected objects;
a frame setting function for setting an initial position of the frame with respect to the image data based on a predetermined rule for setting an initial position of the frame with respect to the image data ;
a scaling function for executing a scaling process on the image data so that the required object fits within the frame;
a movement function that executes a movement process of the image data based on a predetermined criterion including criteria for the amount of blank space above, below, left, and right for the required object within the frame, so that the positional relationship of the image data with respect to the frame satisfies the predetermined criterion ;
a trimming function for outputting an inner area of the frame from the image data as a trimmed image in the determined positional relationship between the frame and the image data ;
The specifying function further includes a function of specifying an allowable object that is different from the required object and is preset as an object that is allowed to fit within the frame,
The enlargement/reduction function sets an enlargement determination frame that is a predetermined size larger than the size of the frame at the initial position initially set in the image data, and when the permissible object protrudes from the frame but is contained inside the enlargement determination frame, performs a reduction process on the image data so as to contain the permissible object within the frame.
Auto- cropping program.

An automatic cropping program for causing a computer to perform a process of automatically cropping image data acquired by photographing an object so that the object fits within a frame of a predetermined size,
The computer includes:
an image data acquisition function for acquiring target image data;
A detection function of detecting a predetermined object that is preset as a recognition target in image recognition by executing an image recognition process on the image data ;
a specifying function for specifying a required object that is preset as an object that must be included within the frame among the detected objects;
a frame setting function for setting an initial position of the frame with respect to the image data based on a predetermined rule for setting an initial position of the frame with respect to the image data ;
a scaling function for executing a scaling process on the image data so that the required object fits within the frame;
a movement function that executes a movement process of the image data based on a predetermined criterion including criteria for the amount of blank space above, below, left, and right for the required object within the frame, so that the positional relationship of the image data with respect to the frame satisfies the predetermined criterion ;
a trimming function for outputting an inner area of the frame from the image data as a trimmed image in the determined positional relationship between the frame and the image data ;
The identification function further includes a function of identifying a prohibited object that is preset as an object that should not be placed within the frame,
The enlargement/reduction function executes a process of enlarging or reducing the image data so that the prohibited object is removed from the frame within a range of a predetermined enlargement/reduction ratio limit as a condition for the process of removing the prohibited object.
Auto- cropping program.

An automatic cropping device for automatically cropping image data acquired by photographing an object so that the object fits within a frame of a predetermined size,
An acquisition unit for acquiring target image data;
A detection unit that detects a predetermined object that is set in advance as a recognition target in image recognition by executing an image recognition process on the image data ;
an identification unit that identifies a required object that is preset as an object that must be included within the frame from among the detected objects;
a frame setting unit that sets an initial position of the frame with respect to the image data based on a predetermined rule for setting an initial position of the frame with respect to the image data;
a scaling unit that performs a scaling process on the image data so that the required object fits within the frame;
a moving unit that executes a process of moving the image data based on a predetermined criterion including criteria for the amount of blank space above, below, left, and right for the required object within the frame, so that a positional relationship of the image data with respect to the frame satisfies the predetermined criterion ;
a trimming unit that outputs an inner area of the frame from the image data as a trimmed image in the determined positional relationship between the frame and the image data ,
the specifying unit further includes a function of specifying an allowable object that is different from the required object and is preset as an object that is allowed to fit within the frame,
The enlargement/reduction unit sets an enlargement determination frame that is a predetermined size larger than the size of the frame at the initial position initially set in the image data, and when the permissible object protrudes from the frame but is contained inside the enlargement determination frame, performs a reduction process on the image data so as to contain the permissible object within the frame.
Automatic trimming device.

An automatic cropping device for automatically cropping image data acquired by photographing an object so that the object fits within a frame of a predetermined size,
An acquisition unit for acquiring target image data;
a detection unit that detects a predetermined object that is set in advance as a recognition target in image recognition by executing an image recognition process on the image data ;
an identification unit that identifies a required object that is preset as an object that must be included within the frame from among the detected objects;
a frame setting unit that sets an initial position of the frame with respect to the image data based on a predetermined rule for setting an initial position of the frame with respect to the image data;
a scaling unit that performs a scaling process on the image data so that the required object fits within the frame;
a moving unit that executes a process of moving the image data based on a predetermined criterion including criteria for the amount of blank space above, below, left, and right for the required object within the frame, so that a positional relationship of the image data with respect to the frame satisfies the predetermined criterion ;
a trimming unit that outputs an inner area of the frame from the image data as a trimmed image in the determined positional relationship between the frame and the image data ,
The identification unit further includes a function of identifying a prohibited object that is preset as an object that should not be placed within the frame,
The enlargement/reduction unit performs enlargement/reduction processing of the image data so that the prohibited object is removed from the frame within a range of a predetermined enlargement/reduction ratio limit as a condition for processing to remove the prohibited object.
Automatic trimming device.

An automatic cropping method for automatically cropping image data acquired by photographing an object so that the object fits within a frame of a predetermined size, the method comprising the steps of:
an acquisition procedure for acquiring target image data;
a detection step of detecting a predetermined object, which is preset as a recognition target in image recognition , by executing an image recognition process on the image data ;
a step of identifying a required object that is preset as an object that must be included within the frame from among the detected objects;
a frame setting step of setting an initial position of the frame with respect to the image data based on a predetermined rule for setting an initial position of the frame with respect to the image data;
a scaling step of scaling the image data so that the required object fits within the frame;
a moving procedure for executing a process of moving the image data based on a predetermined criterion including criteria for the amount of blank space above, below, left, and right for the required object within the frame, so that a positional relationship of the image data with respect to the frame satisfies the predetermined criterion ;
a cropping step of outputting an inner area of the frame from the image data as a cropped image in the determined positional relationship between the frame and the image data ,
The specifying step further includes a function of specifying an allowable object that is different from the required object and is preset as an object that is allowed to fit within the frame,
The enlargement/reduction step sets an enlargement determination frame that is a predetermined size larger than the size of the frame at the initial position initially set in the image data, and when the permissible object protrudes from the frame but is contained inside the enlargement determination frame, performs a reduction process on the image data so as to contain the permissible object within the frame.
Auto crop method.

An automatic cropping method for automatically cropping image data acquired by photographing an object so that the object fits within a frame of a predetermined size, the method comprising the steps of:
an acquisition procedure for acquiring target image data;
a detection step of detecting a predetermined object, which is preset as a recognition target in image recognition , by executing an image recognition process on the image data ;
a step of identifying a required object that is preset as an object that must be included within the frame from among the detected objects;
a frame setting step of setting an initial position of the frame with respect to the image data based on a predetermined rule for setting an initial position of the frame with respect to the image data;
a scaling step of scaling the image data so that the required object fits within the frame;
a moving procedure for executing a process of moving the image data based on a predetermined criterion including criteria for the amount of blank space above, below, left, and right for the required object within the frame, so that a positional relationship of the image data with respect to the frame satisfies the predetermined criterion ;
a cropping step of outputting an inner area of the frame from the image data as a cropped image in the determined positional relationship between the frame and the image data ,
The identification step further includes a function of identifying a prohibited object that is preset as an object that should not be placed within the frame,
The enlargement/reduction step enlarges/reduces the image data so that the prohibited object is removed from the frame within a range of a predetermined enlargement/reduction ratio limit as a condition for the process of removing the prohibited object.
Auto crop method.