JP7524712B2 - 情報処理装置、制御方法及びプログラム - Google Patents

Description

本発明は、採点の支援技術に関する。

従来から、生徒のテストの解答に対する採点を支援する技術が知られている。例えば、特許文献１には、解答用紙の解答欄に生徒が記入した筆跡情報を取得し、教師が使用する端末の画面上に表示して正誤判定の入力を受け付ける採点システムが開示されている。また、特許文献２には、電子ペンで記入した解答と、正解とを比較し、解答の正誤判定を行う技術が開示されている。

特開２０１４－１３４８５４号公報 特開２００９－３２２７号公報

採点者が手書きにより記入した正誤等を示す採点用のマーク（採点マーク）が付された解答用紙をスキャンし、採点マークを識別することで得点を自動算出する採点支援が行われている。この場合、複数者による採点マークの手書きパターンとその正解を含む大量の学習データにより機械学習を行うことで、採点マークの識別に用いる識別器を得ることができる。しかしながら、不特定多数の者による手書きパターンの学習データを用いて学習された識別器では、手書きの癖の違いやインクの掠れ等に起因して誤認識が発生する可能性があるため、最終的には人手による確認が必要となり、多大な労力がかかるという問題があった。

本開示は、上記のような課題を解決するためになされたものであり、採点における誤認識の確認や修正を容易に行うことが可能な情報処理装置、制御方法及びプログラムを提供することを主な課題とする。

本発明の１つの観点では、情報処理装置は、答案に記入された設問毎の解答を表す解答情報と、前記解答に対する採点用のマークである採点マークを表す採点情報とを取得する取得部と、各分類との類似度に基づき、前記採点マークの各々が属する分類を識別する識別部と、前記解答情報及び前記採点情報に基づき、前記解答及び当該解答に対する採点マークを表す解答画像と、前記識別部により識別された当該採点マークの識別結果とを並べて識別結果確認画面として一覧表示する表示部と、を有する。この態様によれば、採点者は、目視により簡単に採点マークに誤認識があるか否かを確認することができる。

上記情報処理装置の一態様では、前記表示部は、前記設問毎に、前記設問に対応する前記解答画像と、前記識別結果とを並べて一覧表示する。この態様によれば、採点者は、一覧表示を見ることによって簡単に、答案を構成する複数の設問について採点マークに誤認識があるか否かを確認することができる。

上記情報処理装置の一態様では、前記取得部は、複数の解答者による複数の前記解答情報と、複数の前記採点情報とを取得するものであって、前記表示部は、前記複数の解答者についての、特定の設問に対応する前記解答画像と、前記識別結果とを並べて一覧表示する。この態様によれば、情報処理装置は、例えば特定の設問に対応するクラス全員の解答画像と、その識別結果とを並べて一覧表示することができる。よって、採点者は、一覧表示を見ることによって簡単に、複数の解答者による特定の設問について採点マークに誤認識があるか否かを確認することができる。

上記情報処理装置の一態様では、前記表示部は、前記識別結果確認画面において前記識別結果の修正要求を取得すると、さらに修正画面を表示するものであって、前記情報処理装置は、前記修正画面における入力情報に基づいて、前記識別結果を修正する修正部をさらに有する。この態様によれば、採点者は、識別結果確認画面に表示された一覧から採点マークの誤認識を確認すると、さらに表示される修正画面によって簡単に誤認識を修正することができる。

上記情報処理装置の一態様では、前記分類は、正解を示す正解マークと、不正解を示す不正解マークと、正解と不正解の中間であり、部分点が与えられる中間マークとを含み、前記修正要求は、解答毎に取得できるものであって、前記表示部は、前記修正画面において、前記部分点を指定するための数字を表示する。この態様によれば、採点者は、修正画面において表示された数字により、部分点の誤認識も簡単に修正することができる。

上記情報処理装置の一態様では、前記表示部は、前記部分点を指定するための数字として、前記設問に対する配点より小さい数字のみを表示する。この態様によれば、情報処理装置は、採点者が配点以上の部分点を指定してしまうといったミスを防止することができる。

上記情報処理装置の一態様では、前記表示部は、前記部分点を指定するための数字として、前記設問に対する配点より小さい数字を選択可能な状態で表示し、前記設問に対する配点以上の数字を選択不能な状態で表示する。この態様によれば、情報処理装置は、採点者が配点以上の数字を選択することができないため、配点以上の部分点を指定してしまうといったミスを防止することができる。

上記情報処理装置の一態様では、前記表示部は、前記識別結果確認画面において、前記採点マークが記入された答案の画像である答案画像を併せて表示しており、前記識別部により前記採点マークの識別ができなかった解答について前記修正要求を取得すると、前記答案画像において当該解答を含む所定の範囲を強調表示し、前記範囲の外側にある採点マークが指定されると、当該採点マークと当該解答とを関連付け、当該解答に対応する識別結果として、前記識別部による当該採点マークの識別結果を表示する。この態様によれば、情報処理装置は、例えば、解答から離れた位置に採点マークを記入してしまい、当該採点マークの識別ができなかった場合であっても、採点者の指定によって簡単に当該採点マークと当該解答とを関連付けることができる。

上記情報処理装置の他の一態様では、前記識別部は、複数人による手書きの採点マークの画像と、当該採点マークの前記分類に関する正解データとの複数の組み合わせを学習データとして用いて学習された識別器に基づき、前記採点マークの各々が属する前記分類を識別するものであって、前記識別器は、前記修正要求に対応する採点マークの画像と、前記正解データとして前記修正部が修正した識別結果と、を前記学習データとして学習されている。この態様によれば、情報処理装置は、修正内容が反映された識別器によって精度の高い識別を行うことが可能となる。

本発明の別の観点では、情報処理装置が実行する制御方法であって、答案に記入された設問毎の解答を表す解答情報と、前記解答に対する採点用のマークである採点マークを表す採点情報とを取得し、各分類との類似度に基づき、前記採点マークの各々が属する分類を識別し、前記解答情報及び前記採点情報に基づき、前記解答及び当該解答に対する採点マークを表す解答画像と、当該採点マークの識別結果とを並べて識別結果確認画面として一覧表示する。情報処理装置は、この制御方法を実行することで、採点者が簡単に採点マークに誤認識があるか否かを確認できる識別結果確認画面を表示することができる。

本発明のさらに別の観点では、答案に記入された解答を表す解答情報と、前記解答に対する採点用のマークである採点マークを表す採点情報とを取得する取得部と、各分類との類似度に基づき、前記採点マークの各々が属する分類を識別する識別部と、前記解答情報及び前記採点情報に基づき、前記解答及び当該解答に対する採点マークを表す解答画像と、前記識別部により識別された当該採点マークの識別結果とを並べて識別結果確認画面として一覧表示する表示部としてコンピュータを機能させる。このプログラムをコンピュータにインストールして実行させることで、本発明に係る情報処理装置を構成させることができる。

本発明に係る情報処理装置によれば、採点マークの誤識別の確認及び修正を簡単に行うことができる。

採点システムの概略的な構成を示す。 マーク済答案用紙の一例である。 情報処理装置の機能的な構成を示すブロック図である。 識別結果確認画面の表示処理の概要を示すフローチャートである。 図２に示すマーク済答案用紙に記入された一部の採点マークに対するラベルの付与結果を示す図である。 採点マークと、採点マークに付随する部分点を示す図である。 識別結果確認画面の表示例である。 誤認識の修正における修正画面の表示例である。 変形例に係る採点システムの構成例である。

以下、図面を参照しながら、本発明を実施するのに好適な実施形態について説明する。

［採点システムの構成］
図１は、本実施形態に係る採点システムの概略構成図である。本実施形態に係る採点システムは、教師などのテストの採点者が使用する情報処理装置１と、スキャナ（光学機器）２と、解答済の答案用紙の各解答欄に対して採点者による正誤に関するマーク（「採点マーク」とも呼ぶ。）が付されたマーク済答案用紙６と、を有する。なお、本実施例では、一例として、採点マークは、正解であることを示す正解マークと、不正解であることを示す不正解マークと、正解と不正解の中間であり部分的な点数が与えられることを示す中間マークとに分類されるものとする。そして、採点システムは、マーク済答案用紙６に記入された採点マークを的確に識別することで、解答者の得点の自動算出等を行う。

情報処理装置１は、スキャナ２と有線又は無線により電気的に接続し、スキャナ２がマーク済答案用紙６に対する読取り処理を行った場合に、マーク済答案用紙６をスキャンした画像（「マーク済答案画像Ｉｍ」とも呼ぶ。）をスキャナ２から受信する。そして、情報処理装置１は、マーク済答案画像Ｉｍから採点マークを抽出し、採点マークの各分類との類似度に基づき、抽出した採点マークの分類を識別する。そして、情報処理装置１は、採点マークの識別結果を示す画面（「識別結果確認画面」とも呼ぶ。）を表示する。

図２は、マーク済答案用紙６の一例である。図２に示すように、マーク済答案用紙６には、テストを受ける生徒の生徒番号や氏名を記入する欄や設問に加えて、各設問に対する解答を記入するための解答欄が設けられている。また、マーク済答案用紙６の各解答欄には、対応する設問に対する解答者の解答が記されていると共に、採点者による採点マークが付されている。

なお、図２では、算数の解答用紙の例を示したが、本実施例に係るマーク済答案用紙６は、算数以外の任意の教科の解答を記入するための解答用紙であってもよい。また、マーク済答案用紙６は、複数枚により構成されてもよい。

［情報処理装置の構成］
図３は、情報処理装置１の機能的な構成を示すブロック図である。情報処理装置１は、機能的には、表示部１１と、入力部１２と、記憶部１３と、インターフェース１４と、制御部１５とを備える。これらの各要素は、バスライン１０を介して相互に接続されている。

表示部１１は、制御部１５の制御に基づき、識別結果確認画面などの各種の情報を表示する。表示部１１は、例えば、ディスプレイ又はプロジェクタであってもよく、これらのデバイスに接続するためのインターフェースであってもよい。入力部１２は、情報処理装置１に入力される情報を生成する。入力部１２は、例えば、マウス、ボタン、タッチパネル、カメラ、マイクなどの音声入力装置等であってもよく、これらのデバイスに接続するためのインターフェースであってもよい。インターフェース１４は、スキャナ２と有線又は無線により接続するためのインターフェースであり、スキャナ２から受信したマーク済答案画像Ｉｍを制御部１５に供給する。

記憶部１３は、ＲＡＭ、ＲＯＭ、読み書き可能な不揮発性メモリなどの各種メモリにより構成される。記憶部１３には、制御部１５が実行するプログラムが記憶される。また、記憶部１３は、制御部１５が様々な処理を実行する際の作業メモリとして機能する。

また、記憶部１３は、採点マーク及び採点マークに付随する数字を識別するための識別器に関する情報である識別器情報１６を記憶する。ここで、採点マークに付随する数字とは、例えば、中間マークの際に得点として与えられる部分的な点数（「部分点」とも呼ぶ。）を表す数字である。上述の識別器は、採点マークや部分点を示す画像が入力された場合に、当該採点マークの分類や当該部分点の特定に関する識別結果を出力するように学習された学習モデルである。この学習モデルは、例えば、サポートベクターマシーンやニューラルネットワークなどの機械学習で用いられる任意の学習モデルであってもよい。識別器情報１６は、上述の学習モデルを学習することにより得られた情報である。上述の学習モデルが畳み込みニューラルネットワークなどのニューラルネットワークである場合、識別器情報１６は、例えば、層構造、各層のニューロン構造、各層におけるフィルタ数及びフィルタサイズ、並びに各フィルタの各要素の重みなどの種々のパラメータ情報を含む。

ここで、識別器の学習について補足説明する。識別器は、例えば、複数の者による手書きの採点マークの画像と、当該採点マークの正しい分類を示す正解データとの組合せである学習データを用いて学習される。この学習データには、識別器が識別すべき分類毎に、十分な数の上述の組合せが含まれる。また、同一分類となる採点マークの態様が複数存在する場合には、想定される各態様の採点マークとその正解データとの組み合わせを含んだ学習データを用いて識別器の学習を行う。例えば不正解マークとして「×」を記載する人と「ｖ」（チェックマーク）を記載する人が存在する場合には、各態様の採点マークとその正解データとの組み合わせを含んだ学習データを用いて識別器の学習を行う。識別器の学習は、情報処理装置１により行われてもよく、情報処理装置１以外の装置により実行されてもよい。

さらに、記憶部１３は、マーク済答案画像Ｉｍとしてスキャンされたマーク済答案用紙６の解答者の得点を算出するために必要な情報を記憶してもよい。例えば、記憶部１３は、採点マークが付される各設問の配点情報と、各設問の答案用紙内の配置を示す情報とを、実施されるテスト毎に記憶してもよい。また、記憶部１３は、中間マークにおける部分点の算出ルールをルール情報として記憶してもよい。部分点の算出ルールは、例えば、「配点に対し所定の比率となる」、「小数点以下繰り上げ」、「一律２点」等、設問毎に任意に設定可能である。

また、記憶部１３は、マーク済答案用紙６に記入される採点マークの色情報などの採点マークの抽出に必要な情報を記憶する。

なお、記憶部１３は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。他の例では、記憶部１３は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。この場合、記憶部１３は、複数のサーバ装置から構成されてもよい。

制御部１５は、ＣＰＵ、ＧＰＵなどのプロセッサ（コンピュータ）により構成され、情報処理装置１の各構成要素を制御する。制御部１５は、記憶部１３に記憶されるプログラムに基づき、所定の処理を行う。制御部１５は、「取得部」、「識別部」、「表示部」、「修正部」及びプログラムを実行する「コンピュータ」の一例である。

本実施形態では、制御部１５は、マーク済答案画像Ｉｍをスキャナ２から受信した場合に、識別器情報１６に基づき、マーク済答案画像Ｉｍに含まれる採点マークの各々の分類の識別を行い、識別した分類を示すラベルを各採点マークに付加する。さらに、制御部１５は、中間マークのラベルが付加された採点マークに付随する部分点を特定し、当該中間マークと関連付ける。そして、制御部１５は、マーク済答案画像Ｉｍから切り取った設問毎の画像と、当該画像に含まれる採点マークの識別結果とを一覧にして並べた識別結果確認画面の表示情報を生成し、識別結果確認画面を表示部１１に表示させる。

［識別結果確認画面の表示処理］
次に、識別結果確認画面の表示に関連する処理について説明する。

（１）概要
図４は、識別結果確認画面の表示処理の概要を示すフローチャートである。情報処理装置１は、図４に示すフローチャートの処理を繰り返し実行する。

まず、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得したか否か判定する（ステップＳ１１）。そして、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得したと判定した場合（ステップＳ１１；Ｙｅｓ）、記憶部１３に記憶されている各設問の配置を示す情報に基づいて、取得したマーク済答案画像Ｉｍから設問毎の画像（以下、「設問画像」ともいう。）を切り取る（ステップＳ１２）。設問画像には、例えば、解答欄、解答者が手書きにより記入した解答、採点者が手書きにより記入した採点マーク等が含まれており、設問番号が関連付けられている。なお、設問番号は、大問１の（１）を「１－１」、大問１の（２）を「１－２」のように表記する。

一方、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得していない場合（ステップＳ１１；Ｙｅｓ）、引き続きマーク済答案画像Ｉｍをスキャナ２から取得したか否かの判定を継続する。なお、情報処理装置１は、マーク済答案画像Ｉｍをスキャナ２から取得後直ちにステップＳ１２へ処理を進める代わりに、マーク済答案画像Ｉｍをスキャナ２から取得後、さらに識別結果確認画面の表示要求に関するユーザ入力を検知した場合に、ステップＳ１２へ処理を進めてもよい。さらに、情報処理装置１は、取得したマーク済答案画像Ｉｍから採点マークを抽出する（ステップＳ１３）。この抽出方法については後述する。

次に、情報処理装置１は、ステップＳ１３で抽出した採点マークの各々の分類を識別し、識別した分類を示すラベルを各採点マークに付与する（ステップＳ１４）。この場合、情報処理装置１は、識別器情報１６に基づき構成した識別器に採点マークの画像を入力することで、当該採点マークの分類を示すラベルを取得し、取得したラベルを対象の採点マークに対応付ける。この場合、ラベルは、例えば、正解マーク、不正解マーク、部分点が与えられる中間マークのいずれかを示す情報である。

次に、情報処理装置１は、中間マークを示すラベルが付与された採点マークに付随する部分点の記入があるか否かを判定する（ステップＳ１５）。部分点の記入がある場合（ステップＳ１５；Ｙｅｓ）、情報処理装置１は、部分点を特定し、メタデータとして対象の採点マークに関連付ける（ステップＳ１６）。部分点の特定方法の具体例については、後述する。一方、部分点の記入がない場合（ステップＳ１５；Ｎｏ）、情報処理装置１は、ステップＳ１７へ進む。

そして、情報処理装置１は、ステップＳ１２において切り取った設問画像と、採点マークの識別結果とを設問毎に並べた一覧を含む、識別結果確認画面の表示を行う（ステップＳ１７）。ここで、採点マークの識別結果とは、具体的に、正解マーク「○」、不正解マーク「×」、中間マーク「△」や、特定された部分点等である。この表示例については、図７を参照して後述する。

（２）採点マークの抽出
ここで、図４のステップＳ１３で実行する、マーク済答案画像Ｉｍから採点マークを抽出する処理について説明する。

第１の例では、情報処理装置１は、マーク済答案画像Ｉｍの各画素が有する色情報（画素値）に基づき、採点マークを抽出する。例えば、この場合、情報処理装置１は、採点者が採点マークのチェックに使用するペンの色（例えば赤）の情報を予め記憶しておき、記憶した色と類似する色情報を有する画素を抽出し、抽出した画素のうち隣接する画素同士を同一の採点マークを形成する画素として認識する。そして、情報処理装置１は、同一の採点マークを形成する画素群毎に当該画素群を含む矩形領域を切り取り、切り取った画像から採点マークのマスク画像（採点マークのみを表示した画像）を生成する。

第２の例では、情報処理装置１は、採点者による採点マークのチェックがなされる前の解答済み答案用紙のスキャン画像を予め記憶しておき、当該スキャン画像とステップＳ１１で取得したマーク済答案画像Ｉｍとを、対応する画素毎に画素値の差分値を算出する。そして、情報処理装置１は、差分値が存在する画素のうち隣接する画素同士を同一の採点マークを形成する画素として認識する。その後、情報処理装置１は、同一の採点マークを形成する画素群毎に当該画素群を含む矩形領域を切り取り、切り取った画像から採点マークのマスク画像を生成する。

（３）ラベルの付与
次に、図４のステップＳ１４で実行するラベルの付与の具体例を説明する。

図５は、図２に示すマーク済答案用紙６に記入された一部の採点マークに対するラベルの付与結果を示す図である。図５では、マーク済答案用紙６に記入された採点マークのうち、正解マーク「〇」を示すラベルが付与された採点マーク２１～２５を上段、中間マーク「△」を示すラベルが付与された採点マーク３１及び３２を中段、不正解マーク「×」を示すラベルが付与された採点マーク４１を下段に示している。また、図５では、図２に示すマーク済答案用紙６との対応を分かり易くするため、各採点マークに対して、当該採点マークが付された設問番号を示している。

情報処理装置１は、図２に示すマーク済答案画像Ｉｍをスキャナ２から取得した場合、図４のステップＳ１３に基づき、図５に示される各採点マークを含むマーク済答案画像Ｉｍ内の全ての採点マークを抽出する。そして、情報処理装置１は、抽出した各採点マークの画像（マスク画像）を、識別器情報１６に基づき構成した識別器に入力する。この場合、情報処理装置１は、好適には、識別器に入力する対象となる採点マークの画像を、縦横の大きさが均一となるように拡大縮小することで正規化し、正規化後の採点マークの画像を識別器に入力する。そして、情報処理装置１は、識別器が出力する識別結果に基づき、識別器に入力した採点マークに対してラベルを付与する。なお、識別器がニューラルネットワークに基づく学習モデルである場合には、識別器の出力には、出力した識別結果に対する確からしさを示す確信度の情報が含まれる。

また、情報処理装置１は、マーク済答案用紙６内の設問毎の解答欄の位置を示す情報に基づき、マーク済答案画像Ｉｍ上の各採点マークの位置から、採点マークと設問との対応を認識する。当該設問の設問番号は、メタデータとして当該採点マークに関連付けられる。なお、設問毎の解答欄の位置を示す情報は、例えば記憶部１３等に各設問の配置を示す情報として予め記憶されている。

（４）部分点の特定
次に、図４のステップＳ１５及びＳ１６で実行する部分点の特定の具体例を説明する。

図６は、中間マークを示すラベルが付与された採点マーク３２と、採点マーク３２に付随する部分点４５～４８を示す図である。部分点の書き方は採点者により様々であるが、中間マークである三角の周辺に数字で記入される。具体的には、図６（Ａ）に示すように、部分点４５は採点マーク３２の内側に、部分点４６は採点マーク３２の外側右上に、部分点４７は採点マーク３２の外側左上に、部分点４８は採点マーク３２の外側下部に記入されている。つまり、部分点は、採点マーク３２から所定範囲内、詳しくは図６（Ｂ）に示すように、採点マーク３２が表す三角の重心５１から所定の半径５２の円である破線枠５３の内側に記入されると考えられる。ここで、三角とは、手書きの記号としての三角であり、厳密に三本の直線で囲まれた図形ではない。また、三角の重心とは、手書きの記号としての三角において、各頂点と各対辺の中点を結んだ線が交わるおおよその点である。

これによれば、情報処理装置１は、中間マークを示すラベルを付与すると、対象となる採点マークを特定し、マーク済答案画像Ｉｍから、当該採点マークの重心から所定の半径の円の範囲における画素群を切り取る。情報処理装置１は、切り取った画像から部分点のマスク画像を生成する。さらに、情報処理装置１は、生成した部分点のマスク画像を識別器情報１６に基づき構成した識別器に入力する。そして、情報処理装置１は、識別器が出力する識別結果に基づき、識別器に入力した部分点が示す数字を特定する。

なお、中間マークを記入する際に必ず部分点が記入されるとは限らないため、部分点のマスク画像が生成できない場合や部分点が示す数字が特定できない場合、情報処理装置１は、部分点の記入なしと判定する。

（５）表示例
図７は、識別結果確認画面の表示例である。図７では、情報処理装置１は、識別結果確認画面上にマーク済答案画像Ｉｍを表示すると共に、マーク済答案画像Ｉｍから切り取った設問画像と、抽出した各採点マークに対する識別結果とを設問毎に並べて一覧表示している。

具体的に、情報処理装置１は、設問画像及び識別結果にそれぞれ関連付けられた設問番号毎に、設問画像と識別結果を並べて一覧表示する。識別結果は、抽出した各採点マークに対する識別結果を「○」、「△」、「×」により明示している。採点マークの抽出や識別ができない場合、情報処理装置１は、識別結果を「－」と表示する。このように、識別結果確認画面には、設問番号毎に、マーク済答案画像Ｉｍから切り取った設問画像と、当該設問画像に含まれる採点マークの識別結果とが並んで一覧表示されている。これにより、採点者は、目視により簡単に採点マークの誤認識を確認することができる。

また、中間マークにおいて部分点が特定されている場合、情報処理装置１は、識別結果として「△」と併せて部分点を表示する。これにより、採点者は、採点マークだけではなく、記入した部分点の識別結果も併せて確認することができる。なお、中間マークにおいて部分点が特定されていない場合、情報処理装置１は、当該中間マークが付された設問に対する配点に対して、記憶部１３に記憶されたルール情報に基づき部分点を算出し、識別結果「△」と併せて表示する。これによれば、情報処理装置１が自動的に部分点を算出するため、採点者が中間マークにおける部分点算出ルールを設問毎に把握していなくても、合計得点等を正確に算出することが可能となる。

さらに、情報処理装置１は、対象のテストの配点情報と、採点マークの識別結果とに基づき、解答者の得点（ここでは６４点）を識別結果確認画面上の合計得点欄６１に表示している。なお、解答者の得点は、テスト全体の合計得点に限らず、セクション毎の合計得点を算出し、表示することとしてもよい。例えば、情報処理装置１は、識別結果確認画面において、大問１の（１）～（５）の合計得点をセクション得点欄６２に、大問２の（１）及び（２）の合計得点をセクション得点欄６３に表示している。

この場合、まず、情報処理装置１は、マーク済答案画像Ｉｍに対応するテストを指定するユーザ入力等に基づき、対象のテストの配点情報を記憶部１３等から取得する。なお、情報処理装置１は、マーク済答案画像Ｉｍに含まれる解答欄の配置等に基づき、公知の画像認識処理（例えば、テンプレートマッチング等）を用いて、対象のテストを識別してもよい。そして、情報処理装置１は、設問毎の採点マークの識別結果と、設問毎の配点とに基づき、解答者の得点を算出する。ここで、採点マークの識別結果には、中間マークに付随する部分点も含まれる。なお、情報処理装置１は、採点マークの識別結果が変更された場合には、変更後の識別結果に基づき、点数の再集計を行う。

（６）誤認識の修正
図８は、誤認識の修正における修正画面の表示例である。識別結果確認画面において、採点マークの誤認識を確認した場合、採点者は修正をすることができる。例えば、図７に示す識別結果認識画面において、設問番号１－１の識別結果は正解マーク「○」であるが、実際には中間マーク「△」であった場合、採点者は、識別結果項目６６をクリック又はタップすることにより修正要求を送信する。修正要求を受信すると、図８（Ａ）に示すように、情報処理装置１は、識別結果を修正するためのプルダウンメニュー７１を表示する。採点者は、正しい採点マークを指定することで、簡単に識別結果の誤認識を修正することができる。

なお、採点者がプルダウンメニュー７１において中間マーク「△」を選択した場合、情報処理装置１は、さらに部分点を指定するためのプルダウンメニュー７２を表示する。このとき、プルダウンメニュー７２は、対象となる設問の配点以上の数字は表示しない、又は、選択できないものとする。これにより、中間マークに付随する部分点を選択する際に、採点者が配点以上の数字を選択してしまうといったミスを防止することができる。なお、部分点を指定しない場合、例えばハイフン「－」を選択することとしてもよいし、何も選択もせず別の任意の箇所をクリック又はタップすることで部分点の指定なしとみなしてもよい。

識別結果の誤認識を修正する方法は、上述のように修正画面としてプルダウンメニューを表示する方法に限られるものではなく、図８（Ｂ）に示すように、修正画面としてソフトウェアキーボード７３を表示することとしてもよい。この場合、採点者が誤認識している識別結果項目をクリック又はタップすると、情報処理装置１は、ソフトウェアキーボード７３を表示する。採点者は、正しい採点マークを選択することで、簡単に識別結果の誤認識を修正することができる。また、ソフトウェアキーボード７３における数字は部分点を選択するものであるが、配点以上の数字は非アクティブとなっている。なお、情報処理装置１は、採点者が部分点を選択した場合、自動的に採点マークとして中間マークが指定されたこととしてもよい。

なお、識別結果確認画面において誤認識が修正された場合、情報処理装置１は、修正内容を識別器に反映させることで、より精度の高い識別を行うことが可能となる。例えば、修正要求に対応する、即ち識別結果を修正する採点マークの画像と、当該採点マークの分類に関する正解データとして修正した識別結果と、を組み合わせ、学習データとして識別器が学習することとしてもよい。

（７）範囲外における採点マークと設問の関連付け
情報処理装置１は、マーク済答案用紙６内の設問毎の解答欄の位置を示す情報に基づき、マーク済答案画像Ｉｍの各採点マークの位置から、採点マークと設問との対応を認識している。そのため、例えば図７に示すように、採点者が設問番号１－５の解答欄６７から離れた位置に採点マーク２６を記入した場合、情報処理装置１は、設問番号１－５に対応する採点マークとして採点マーク２６を抽出又は識別することができない。よって、識別結果確認画面において、設問番号１－５の識別結果項目には「‐」が表示される。このような場合、採点者は、識別結果項目６８をクリック又はタップする。すると、情報処理装置１は、識別結果確認画面の左側に表示されているマーク済答案画像Ｉｍにおいて、設問番号１－５の解答欄に破線枠６９を表示させる。そして、採点者が設問番号１－５に対応する採点マーク２６を指定すると、情報処理装置１は、設問番号１－５と、採点マーク２６とを関連付ける。このとき、情報処理装置１は、破線枠６９と採点マーク２６に色を付けて強調するため、採点者は、関連付けた設問と採点マークを容易に認識することができる。そして、情報処理装置１は、関連付けられた採点マーク２６を識別し、識別結果を設問番号１－５の識別結果項目６８に反映させる。

（８）採点者毎の特徴量抽出
情報処理装置１は、各採点マークの画像に対し、任意の特徴量抽出アルゴリズムを適用することで、Ｎ（Ｎは１以上の整数）次元の特徴量（即ち特徴ベクトル）を取得する。この特徴量抽出アルゴリズムは、例えば、形状に関する１又は複数の特徴量を抽出する任意のアルゴリズムであってもよい。また、特徴量抽出アルゴリズムは、ニューラルネットワークなどの機械学習の学習モデルを学習することで得られる特徴量抽出器であってもよい。この場合、情報処理装置１は、学習により得られた特徴量抽出器のパラメータの情報を予め記憶部１３に記憶しておく。これによれば、情報処理装置１は、採点マークを識別する際に特徴ベクトルに基づき、精度の高い識別を行うことが可能となる。

さらに、情報処理装置１は、採点者毎に、各採点マークの画像から特徴量を抽出することとしてもよい。この場合、各採点マークの画像には、採点者を識別する採点者識別情報が関連付けられているものとする。例えば、情報処理装置１は、ステップＳ１１においてマーク済答案画像Ｉｍをスキャナ２から取得するときや、識別結果確認画面の表示要求を取得するときに、採点者識別情報を併せて取得し、メタデータとして採点マークに関連付けることとしてもよい。また、予め記憶部１３に採点者識別情報と、採点する答案用紙とを関連付けて記憶しておき、採点マークが記入された答案用紙から採点者識別情報を特定し、メタデータとして当該採点マークに関連付けることとしてもよい。これによれば、情報処理装置１は、採点者識別情報に基づいて、採点者毎に、各採点マークの画像から特徴量を抽出することができる。また、情報処理装置１は、採点者毎に、手書きの採点マークの画像と、当該採点マークの分類に関する正解データ、即ち識別結果との複数の組み合わせである学習データを作成することができる。識別器が抽出した特徴量や作成した学習データを学習することで、情報処理装置１は、各採点者の手書きの癖等を考慮して識別を行うことが可能となり、より精度の高い識別を行うことができる。

具体的には、「（４）部分点の特定」の欄で述べたように、中間マークに付随する部分点の書き方は採点者により様々であるが、同じ採点者であれば、中間マークである三角のどの位置に部分点を記入するか決まっていることが多い。例えば、中間マークである三角の内側に部分点を記入する採点者であれば、三角の外側に部分点を記入する確率は低い。情報処理装置１は、同じ採点者が記入した採点マーク及びそれに付随する部分点の画像に対し、任意の特徴量抽出アルゴリズムを適用することで、採点者毎の特徴ベクトルを取得する。これによれば、情報処理装置１は、採点者毎の特徴ベクトルに基づき、中間マークである三角のどの位置に部分点を記入するかといった各採点者の手書きの癖を考慮して識別を行うことが可能となり、精度の高い識別が可能となる。

また、上述の例では、部分点を特定する場合、対象となる採点マークの重心から所定の半径の円の範囲における画素群を切り取り、切り取った画像から部分点のマスク画像を生成することとしている。しかし、採点者毎の特徴ベクトルに基づくことで、情報処理装置１は、「対象となる採点マークの内側」等、画素群の探索及び切り取り範囲を狭めることができ、より迅速な識別が可能となる。

［変形例］
次に、上述の実施形態に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施形態に適用してもよい。

（変形例１）
情報処理装置１は、識別結果確認画面に関する表示データを端末に送信するサーバ装置として機能してもよい。

図９は、変形例に係る採点システムの構成例である。図９の例では、情報処理装置１Ａは、通信網９を介し、採点者が使用する表示端末７と接続している。表示端末７は、スキャナ２からマーク済答案画像Ｉｍを取得し、取得したマーク済答案画像Ｉｍを情報処理装置１Ａに送信する。

情報処理装置１Ａは、表示端末７からマーク済答案画像Ｉｍを受信した場合に、図４に示すフローチャートの処理を実行する。この場合、情報処理装置１Ａは、ステップＳ１９の識別結果確認画面の表示処理では、識別結果確認画面の表示データ「Ｄｄ」を生成し、生成した表示データＤｄを表示端末７に送信することで、識別結果確認画面を表示端末７に表示させる。このように、本変形例では、情報処理装置１Ａは、識別結果確認画面の表示データＤｄを送信するサーバ装置として機能する。この場合であっても、情報処理装置１Ａは、採点者が使用する表示端末７に識別結果確認画面を表示させ、採点マークの識別結果の提示及び修正の受付を好適に行うことができる。

（変形例２）
図４のステップＳ１２において、情報処理装置１は、同一採点者が採点マークを付した複数の（例えば、クラス全員分の）マーク済答案用紙６をスキャンした複数のマーク済答案画像Ｉｍから夫々設問画像を切り取ってもよい。また、ステップＳ１３において、情報処理装置１は、当該マーク済答案画像Ｉｍから夫々採点マークを抽出してもよい。この場合、情報処理装置１は、複数のマーク済答案画像Ｉｍから切り取った設問画像と、抽出した複数の採点マークとを対象として、ステップＳ１２、ステップＳ１３及びそれ以降の処理を行う。この場合であっても、情報処理装置１は、識別結果確認画面上にマーク済答案画像Ｉｍを表示すると共に、マーク済答案画像Ｉｍから切り取った設問画像と、抽出した各採点マークに対する識別結果とを設問毎に並べて一覧表示することができる。また、情報処理装置１は、マーク済答案画像Ｉｍを構成する複数の設問について設問番号毎に設問画像と識別結果とを一覧表示するのではなく、１つの設問番号について解答者毎に設問画像と識別結果とを一覧表示することが可能となる。例えば、情報処理装置１は、設問番号１－１について、クラス全員分の設問画像と認識結果とを一覧表示することができる。

（変形例３）
本実施形態では、答案用紙が紙媒体であって、解答者は鉛筆等で解答を記入し、採点者は赤ペン等で採点マークを記入することとしている。しかし、本発明はこれに限定されるものではなく、答案がタブレット等に表示され、解答者はスタイラスペン等で解答を記入し、採点者もスタイラスペン等で採点マークを記入することとしてもよい。ここで、タブレット等とは、板状のコンピュータ端末、ハードウェアのことである。また、スタイラスペン等とは、タブレット等で使用するペン型の入力装置のことである。

この場合、図４のステップＳ１１においてスキャナ２がマーク済答案用紙６に対する読み取り処理を行う必要はなく、情報処理装置１は、解答者がスタイラスペン等で記入した解答のストロークに関する情報を解答ストローク情報として取得し、採点者がスタイラスペン等で記入した採点マークのストロークに関する情報を採点ストローク情報として取得する。なお、ストロークに関する情報には、記入したタブレット上での当該ストロークの位置情報や記入時刻が含まれている。例えば、情報処理装置１は、タブレット等に記入されたストロークに関する情報から、記入時刻に基づいて、解答ストローク情報と、採点ストローク情報とをそれぞれ取得する。

そして、ステップＳ１２において、情報処理装置１は、答案における設問毎の解答欄の位置を示す情報と、解答ストローク情報とに基づいて、各設問に対応する解答の画像を生成する。また、情報処理装置１は、答案における設問毎の解答欄の位置を示す情報と、採点ストローク情報とに基づいて、各設問に対応する採点マークの画像を生成する。そして、情報処理装置は、各設問に対応する解答の画像と採点マークの画像を合成することで、設問画像を生成する。なお、解答欄の位置を示す情報は、例えば、記憶部１３等に予め記憶されている。また、この場合、スキャナ２が読み取り処理を行った場合とは異なり、設問画像には解答欄が含まれていない。

さらに、情報処理装置１は、ステップＳ１４において、生成した採点マークの画像に基づき、当該採点マークの各々の分類を識別し、識別した分類を示すラベルを各採点マークに付与する。この場合、情報処理装置１は、生成した設問画像と、当該採点マークとを対象として、ステップＳ１４以降の処理を行う。

１…情報処理装置
２…スキャナ
６…マーク済答案用紙
１１…表示部
１２…入力部
１３…記憶部
１４…インターフェース
１５…制御部

Claims (11)

1. 答案に記入された設問毎の解答を表す解答情報と、前記解答に対する採点用のマークである採点マークを表す採点情報とを取得する取得部と、
   各分類との類似度に基づき、前記採点マークの各々が属する分類を識別する識別部と、
   前記解答情報及び前記採点情報に基づき、前記解答及び当該解答に対する採点マークを表す解答画像と、前記識別部により識別された当該採点マークの識別結果とを並べて識別結果確認画面として一覧表示する表示部と、
   を有する情報処理装置。
2. 前記表示部は、設問毎に、前記設問に対応する前記解答画像と、前記識別結果とを並べて一覧表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記取得部は、複数の解答者による複数の前記解答情報と、複数の前記採点情報とを取得するものであって、
   前記表示部は、複数の解答者についての、特定の設問に対応する前記解答画像と、前記識別結果とを並べて一覧表示することを特徴とする請求項１に記載の情報処理装置。
4. 前記表示部は、前記識別結果確認画面において前記識別結果の修正要求を取得すると、さらに修正画面を表示するものであって、
   前記情報処理装置は、
   前記修正画面における入力情報に基づいて、前記識別結果を修正する修正部をさらに有することを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記分類は、正解を示す正解マークと、不正解を示す不正解マークと、正解と不正解の中間であり、部分点が与えられる中間マークとを含み、
   前記修正要求は、解答毎に取得できるものであって、
   前記表示部は、前記修正画面において、前記部分点を指定するための数字を表示することを特徴とする請求項４に記載の情報処理装置。
6. 前記表示部は、前記部分点を指定するための数字として、前記設問に対する配点より小さい数字のみを表示する請求項５に記載の情報処理装置。
7. 前記表示部は、前記部分点を指定するための数字として、前記設問に対する配点より小さい数字を選択可能な状態で表示し、前記設問に対する配点以上の数字を選択不能な状態で表示する請求項５に記載の情報処理装置。
8. 前記表示部は、
   前記識別結果確認画面において、前記採点マークが記入された答案の画像である答案画像を併せて表示しており、
   前記識別部により前記採点マークの識別ができなかった解答について前記修正要求を取得すると、前記答案画像において当該解答を含む所定の範囲を強調表示し、
   前記範囲の外側にある採点マークが指定されると、当該採点マークと当該解答とを関連付け、当該解答に対応する識別結果として、前記識別部による当該採点マークの識別結果を表示することを特徴とする請求項４乃至７のいずれか一項に記載の情報処理装置。
9. 前記識別部は、
   複数人による手書きの採点マークの画像と、当該採点マークの前記分類に関する正解データとの複数の組み合わせを学習データとして用いて学習された識別器に基づき、前記採点マークの各々が属する前記分類を識別するものであって、
   前記識別器は、前記修正要求に対応する採点マークの画像と、前記正解データとして前記修正部が修正した識別結果と、を前記学習データとして学習されていることを特徴とする請求項４乃至８のいずれか一項に記載の情報処理装置。
10. 情報処理装置が実行する制御方法であって、
    答案に記入された設問毎の解答を表す解答情報と、前記解答に対する採点用のマークである採点マークを表す採点情報とを取得し、
    各分類との類似度に基づき、前記採点マークの各々が属する分類を識別し、
    前記解答情報及び前記採点情報に基づき、前記解答及び当該解答に対する採点マークを表す解答画像と、当該採点マークの識別結果とを並べて識別結果確認画面として一覧表示する、制御方法。
11. 答案に記入された設問毎の解答を表す解答情報と、前記解答に対する採点用のマークである採点マークを表す採点情報とを取得する取得部と、
    各分類との類似度に基づき、前記採点マークの各々が属する分類を識別する識別部と、
    前記解答情報及び前記採点情報に基づき、前記解答及び当該解答に対する採点マークを表す解答画像と、前記識別部により識別された当該採点マークの識別結果とを並べて識別結果確認画面として一覧表示する表示部
    としてコンピュータを機能させるプログラム。