[go: up one dir, main page]

JP2014170370A - ストレージ制御装置、ストレージ装置およびストレージ制御方法 - Google Patents

ストレージ制御装置、ストレージ装置およびストレージ制御方法 Download PDF

Info

Publication number
JP2014170370A
JP2014170370A JP2013041744A JP2013041744A JP2014170370A JP 2014170370 A JP2014170370 A JP 2014170370A JP 2013041744 A JP2013041744 A JP 2013041744A JP 2013041744 A JP2013041744 A JP 2013041744A JP 2014170370 A JP2014170370 A JP 2014170370A
Authority
JP
Japan
Prior art keywords
data
storage device
rebuild
processing
read
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013041744A
Other languages
English (en)
Other versions
JP6142576B2 (ja
Inventor
Takeyuki Kusunoki
岳之 楠木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2013041744A priority Critical patent/JP6142576B2/ja
Publication of JP2014170370A publication Critical patent/JP2014170370A/ja
Application granted granted Critical
Publication of JP6142576B2 publication Critical patent/JP6142576B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Hardware Redundancy (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】 リビルド処理中にI/O処理の要求があった場合における処理時間の短縮化を図る。
【解決手段】 ストレージ制御装置1は、制御部2を有している。この制御部2は、冗長化構成を構築する複数のメインの記憶装置3,4に関わるリビルド処理を制御する。また、制御部2は、外部からの要求に応じて、メインの記憶装置3,4にデータを書き込む処理、および、メインの記憶装置3,4からデータを読み出し当該データを外部に出力する読み出し処理(つまり、I/O処理)を制御する機能を備えている。さらに、制御部2は、リビルド処理中にI/O処理が要求された場合には、リビルド処理における予備の記憶装置5への書き込み処理と併行してI/O処理を制御する。
【選択図】 図1

Description

本発明は、ストレージ装置(記憶装置)におけるデータ復旧に係る技術に関する。
RAID(Redundant Arrays of Inexpensive Disks)技術を利用したストレージ装置は、複数の記憶装置(ハードディスク装置)を有する。RAIDには、データを各ハードディスク装置に記憶(保持)する手法の違いによる複数の種類がある。
例えば、RAID1と呼ばれる技術を利用したストレージ装置は、複数のハードディスク装置に同じデータを書き込む。このRAID1のストレージ装置は、仮に、1つのハードディスク装置に障害が発生しても、別のハードディスク装置に格納されている同じデータによって、障害が発生したハードディスク装置のデータを復元できる。
また、RAID5と呼ばれる技術を利用したストレージ装置は、データを予め定められた個数のブロック(データブロック)に分けると共に、それら各ブロックのデータに基づいたパリティを計算する。そして、当該ストレージ装置は、各ブロックのデータとパリティを各ハードディスク装置に分散記憶する。当該RAID5のストレージ装置は、仮に、1つのハードディスク装置に障害が発生した場合に、残りのハードディスク装置に記憶されているデータとパリティを利用した計算によって、障害が発生したハードディスク装置のデータを復元できる。
つまり、RAID構成を持つストレージ装置は、一部のハードディスク装置に障害が発生しても、ストレージ装置全体としての機能を維持できる冗長化構成を持つ装置である。
このような冗長化構成を持つストレージ装置は、データ復旧のために次のようなリビルド処理を実行する。例えば、RAID構成を持つストレージ装置は、予備(スペア)のハードディスク装置を備えており、リビルド処理では、その予備のハードディスク装置を利用する。すなわち、ストレージ装置は、正常なハードディスク装置からデータを読み出す。そして、例えばRAID1の場合には、ストレージ装置は、その読み出したデータを予備のハードディスク装置に書き込む。また、例えばRAID5の場合には、ストレージ装置は、前記読み出したデータに基づいた計算によってデータを復旧し、当該復旧したデータを予備のハードディスク装置に書き込む。
ストレージ装置は、上記のようなデータの読み出しから書き込みまでの一連の処理を一つの処理単位とし、当該一連の処理を繰り返し行うことにより、障害が発生したハードディスク装置のデータを予備のハードディスク装置に復旧する。
特開2008−40687号公報 特開平7−200191号公報
ところで、リビルド処理中に、外部からストレージ装置にデータの書き込みが要求される場合や、外部からストレージ装置にデータの読み出しが要求される場合がある。このような場合には、ストレージ装置は、外部からのそのような要求に対する処理(以下、I(Input)/O(Output)処理とも記す)よりもリビルド処理が優先であるという観点から、リビルド処理の前記一連の処理が完了するまでI/O処理を開始しない。
このようにI/O処理を開始するまでに待機時間があるために、リビルド処理中にI/O処理が要求された場合に、ストレージ装置がその要求を受け取ってからI/O処理を終了するまでに要する時間(応答時間)が長くなるという問題が発生する。また、I/O処理を実行する際には、ストレージ装置は、リビルド処理を中断する。このため、ストレージ装置は、リビルド処理に要する処理時間も長くなるという問題が発生する。
なお、特許文献1はデータ復元制御装置に関し、当該引用文献1には、復元データを記憶するスペアディスクを選択する場合に、スペアディスク装置のビジー状態の情報を利用する技術が示されている。また、特許文献2はディスクアレイ装置に関し、当該引用文献2には、データ復元に関わる技術が開示されている。
本発明は上記課題を解決するためになされたものである。すなわち、本発明の主な目的は、リビルド処理中に、ストレージ装置に外部からI/O処理の要求(つまり、データの書き込み要求又は読み出し要求)があった場合に、当該要求に応じた処理およびリビルド処理に要する時間の短縮化を図る技術を提供することである。
上記目的を達成するために、本発明のストレージ制御装置は、
冗長化構成を構築する複数のメインの記憶装置のうちの少なくとも1つの記憶装置のデータを、前記メインの記憶装置とは別の予備の記憶装置を利用して修復するリビルド処理と、外部から受け取ったデータを前記メインの記憶装置に書き込む処理と、前記メインの記憶装置からデータを読み出し外部に出力する読み出し処理とを制御する制御部を有し、
前記制御部は、前記リビルド処理中に前記書き込み処理あるいは前記読み出し処理が要求された場合には、前記要求に応じた前記メインの記憶装置に対する前記書き込み処理あるいは前記読み出し処理が、前記リビルド処理における前記予備の記憶装置へのデータ書き込み処理と併行するように前記各記憶装置を制御する。
また、本発明のストレージ装置は、
冗長化構成を構築する複数のメインの記憶装置と、
前記メインの記憶装置とは別の複数の前記予備の記憶装置と、
上記本発明のストレージ制御装置と
を備える。
ストレージ制御方法は、
冗長化構成を構築する複数のメインの記憶装置のうちの少なくとも1つの記憶装置のデータを、前記メインの記憶装置とは別の予備の記憶装置を利用して修復するリビルド処理と、外部から受け取ったデータを前記メインの記憶装置に書き込む処理と、前記メインの記憶装置からデータを読み出し外部に出力する読み出し処理とを制御する制御部は、前記リビルド処理中に前記書き込み処理あるいは前記読み出し処理が要求された場合には、前記要求に応じた前記メインの記憶装置に対する前記書き込み処理あるいは前記読み出し処理が、前記リビルド処理における前記予備の記憶装置へのデータ書き込み処理と併行するように前記各記憶装置を制御する。
本発明によれば、リビルド処理中に、ストレージ装置に外部からI/O処理の要求(つまり、データの書き込み要求又は読み出し要求)があった場合に、当該要求に応じた処理およびリビルド処理に要する時間の短縮化を図ることができる。
本発明に係るストレージ制御装置の第1実施形態を簡略化して表すブロック図である。 図1に示すストレージ制御装置を備えたストレージ装置の一実施形態を簡略化して表すブロック図である。 本発明に係るストレージ装置の第2実施形態を簡略化して表すブロック図である。 第2実施形態のストレージ装置(ストレージ制御装置)の動作例を表すシーケンス図である。 第2実施形態のストレージ装置(ストレージ制御装置)の別の動作例を表すシーケンス図である。 第2実施形態のストレージ装置(ストレージ制御装置)のさらに別の動作例を表すシーケンス図である。 第2実施形態のストレージ装置(ストレージ制御装置)のさらに別の動作例を表すシーケンス図である。 第2実施形態のストレージ装置(ストレージ制御装置)のさらに別の動作例を表すシーケンス図である。 第2実施形態のストレージ装置(ストレージ制御装置)のさらに別の動作例を表すシーケンス図である。 第2実施形態のストレージ装置(ストレージ制御装置)のさらにまた別の動作例を表すシーケンス図である。
以下に、本発明に係る実施形態を図面を参照しながら説明する。
(第1実施形態)
図1は、本発明に係る第1実施形態のストレージ制御装置の構成を簡略化して表すブロック図である。このストレージ制御装置1は、制御部2を有している。この制御部2は、リビルド処理を制御する機能を備えている。リビルド処理とは、冗長化構成を構築する複数のメインの記憶装置(図1の例では、2台のメインの記憶装置3,4)のうちの少なくとも1つの記憶装置のデータを、メインの記憶装置3,4とは別の予備の記憶装置5を利用して修復する処理である。また、制御部2は、外部からの要求に応じて、メインの記憶装置3,4にデータを書き込む処理と、メインの記憶装置3,4からデータを読み出し当該データを外部に出力する読み出し処理とを制御する機能を備えている。換言すれば、制御部2は、I/O処理を制御する機能を備えている。
さらに、制御部2は、リビルド処理中にI/O処理が要求された場合には、リビルド処理における予備の記憶装置5への書き込み処理と併行してI/O処理を制御する機能を備えている。
この第1実施形態のストレージ制御装置1は、図2に示されるようなストレージ装置10を構成することができる。すなわち、このストレージ装置10は、ストレージ制御装置1と、複数のメインの記憶装置3,4と、複数の予備の記憶装置5,6とを有している。
この第1実施形態におけるストレージ制御装置1およびストレージ装置10は、リビルド処理中にI/O処理が要求された場合に、リビルド処理と併行してI/O処理を制御する。このため、ストレージ制御装置1およびストレージ装置10は、I/O処理の待機時間(つまり、リビルド処理における一つの処理単位の処理が終了するまでI/O処理を開始せずに待機している時間)を削減できる。これにより、ストレージ制御装置1およびストレージ装置10は、リビルド処理中にI/O処理が要求された場合におけるI/O処理の応答時間が長くなるという問題を抑制できる。また、ストレージ制御装置1およびストレージ装置10は、リビルド処理中にI/O処理が要求された場合に、I/O処理を実行するためにリビルド処理を中断しなくて済むので、リビルド処理の処理時間が長くなるという問題も抑制できる。
なお、制御部2は、例えばCPU(Central Processing Unit)により構成される。すなわち、ストレージ制御装置1に備えられているメモリ(記憶媒体)には、ストレージ制御装置1が実行する処理手順を表すプログラム(コンピュータプログラム)が格納されている。制御部2は、メモリからそのプログラムを読み出し、当該プログラムを実行することにより、上記のような機能を実現する。
(第2実施形態)
以下に、本発明に係る第2実施形態を説明する。
図3は、第2実施形態のストレージ装置の構成を簡略化して表すブロック図である。この第2実施形態のストレージ装置20は、制御装置(ストレージ制御装置)21と、複数のディスク装置(記憶装置)22〜25とを有している。
ディスク装置22〜25は、ハードディスク(記憶媒体)を備えた記憶装置である。この第2実施形態では、ディスク装置22〜25のうちのディスク装置22,23は、メインの記憶装置として機能し、ディスク装置24,25は、予備(スペア)の記憶装置として機能する。メインのディスク装置22,23は、RAID1の構成を持つ。つまり、ディスク装置22,23には、同じデータが書き込まれる。
制御装置21は、ディスク装置22〜25の動作を制御する機能を備えている。当該制御装置21は、制御部27と、記憶部28とを備えている。記憶部28は、各種データやプログラム(コンピュータプログラム)を記憶する記憶媒体を備えている。当該記憶部28には、制御装置21が行う処理の処理手順を表すプログラムが記憶されている。また、記憶部28には、リビルド処理の進行状況の情報(データ)を格納する領域が設定されている。さらに、記憶部28には、外部からの要求に応じたI/O処理(データをディスク装置22,23に書き込む処理およびデータをディスク装置22,23から読み出す処理)の処理状況の情報(データ)を格納する領域が設定されている。
制御部27は、例えばCPUにより構成される。当該制御部27は、記憶部28に記憶されているプログラムを読み出し、当該プログラムを実行することによって、次のような機能を実現する。すなわち、制御部27は、機能部として、指示部30と、I/O処理部31と、リビルド処理部32とを有している。
I/O処理部31は、I/O処理を制御する機能を備えている。つまり、I/O処理部31は、データの書き込み要求(I/O(ライト)要求)が外部から入力した場合に、書き込み要求(指示)を書き込み対象のデータと共にディスク装置22,23に出力する。また、I/O処理部31は、データの読み出し要求(I/O(リード)要求)が外部から入力した場合に、読み出し要求(指示)を読み出し対象のデータの情報(例えばアドレス情報)と共にディスク装置22,23に出力する。さらに、I/O処理部31は、読み出されたデータをディスク装置22,23から受け取った場合には、その受け取ったデータを前記読み出し要求を発信した発信元に返信する。
この第2実施形態では、ディスク装置22,23はRAID1構成を構築することから、ディスク装置22,23は、I/O処理部31の要求(指示)によって、同じ書き込み対象のデータを書き込む。また、ディスク装置22,23は、I/O処理部31の要求(指示)によって、読み出し対象のデータを分担して読み出して、I/O処理部31に送信する。なお、この第2実施形態では、I/O処理部31は、指示部30からの情報に基づいて、データの書き込み要求や読み出し要求が外部から入力したことを検知する。また、I/O処理部31は、指示部30を介して、書き込み対象のデータや、読み出し対象のデータの情報(アドレス情報)を受け取る。
リビルド処理部32は、リビルド処理を制御する機能を備えている。リビルド処理とは、メインのディスク装置22,23のうちの一方が故障した場合に、故障したディスク装置のデータを復旧する処理である。この第2実施形態では、リビルド処理は、ディスク装置22,23のうちの正常なディスク装置から設定のデータ量(領域)分のデータを読み出し、当該読み出したデータを復旧データとして予備のディスク装置24,25の一方に書き込む一連の処理を繰り返す。なお、リビルド処理によりデータを書き込む書き込み先としての予備のディスク装置は適宜選択される。
指示部30は、I/O処理部31とリビルド処理部32の動作を制御する機能を備えている。すなわち、指示部30は、データの書き込み要求(I/O(ライト)要求)や読み出し要求(I/O(リード)要求)が外部から入力したことを検知すると、I/O処理を開始する要求(指示)をI/O処理部31に通知する。また、指示部30は、書き込み要求や読み出し要求と共に外部から受け取った情報をI/O処理部31に通知する。このような指示部30の処理によって、I/O処理部31は処理を開始する。
また、指示部30は、リビルド処理が必要であることを検知した場合に、リビルド処理を開始する要求をリビルド処理部32に出力する。これにより、リビルド処理部32はリビルド処理を開始する。
さらに、指示部30は、I/O処理部31から受け取ったI/O処理の処理状況の情報を記憶部28に書き込む機能を備えている。さらにまた、指示部30は、リビルド処理部32から受け取ったリビルド処理の進行状況の情報を記憶部28に書き込む(更新する)機能を備えている。
この第2実施形態では、さらに、指示部30は、リビルド処理中にI/O処理が要求された場合に、次のような処理を実行する。
すなわち、この第2実施形態では、指示部30は、リビルド処理中にI/O処理が要求された場合に、リビルド処理における予備のディスク装置24(25)へのデータ書き込み中にI/O処理を実行することをI/O処理部31に指示する。これにより、I/O処理は、リビルド処理に併行して実行される。
また、この第2実施形態では、指示部30は、リビルド処理中にI/O処理を併行することに因る不具合を防止するために、次のような処理も行う。
つまり、この第2実施形態では、メインのディスク装置22,23は、RAID1を構成するために、同じデータを格納していなければならない。しかしながら、リビルド処理中においては、ディスク装置22,23の一方(つまり、データ復旧中のディスク装置(ここでは、仮にディスク装置22とする))に対し、I/O処理によるデータの書き込み処理は実行できない。このために、リビルド処理中に、I/O処理部31が他方のディスク装置23のみにI/O処理(データの書き込み処理)を実行すると、次のような不具合が生じる。つまり、I/O処理およびリビルド処理が終了したときに、予備のディスク装置24,25に格納されているディスク装置22の復旧データとしてのデータと、ディスク装置23に格納されているデータとが同一ではなくなる。
また、RAID1では、I/O処理部31は、読み出し対象のデータをメインのディスク装置22,23から分担して読み出すことによって、読み出し要求に対する応答時間を短縮できる。しかしながら、リビルド処理中においては、ディスク装置22,23の一方(ここでは、ディスク装置22とする)からデータを読み出すことができないため、読み出し要求に対する応答時間が長くなる虞がある。
この第2実施形態では、指示部30は、上記のような不具合を防止することを考慮した処理を行う。つまり、指示部30は、リビルド処理中にI/O処理を併行する場合には、予備のディスク装置24,25をデータ復旧中のディスク装置(例えばディスク装置22)と見なしたI/O処理が実行されるようにI/O処理部31に情報を通知する。具体的には、リビルド処理中にI/O処理による書き込み処理を併行する場合には、指示部30は、リビルド処理で使用しない予備のディスク装置を表す情報(例えば識別情報)と当該ディスク装置へのデータ書き込み要求とをI/O処理部31に通知する。また、リビルド処理中にI/O処理による読み出し処理を併行する場合には、指示部30は、記憶部28に格納されているリビルド処理の進行状況の情報を参照し、読み出し対象のデータが予備のディスク装置に復旧(格納)されているか否かを判断する。そして、指示部30は、格納されていると判断した場合には、その復旧データを格納している予備のディスク装置を表す情報(例えば識別情報)と当該ディスク装置へのデータ読み出し要求とをI/O処理部31に通知する。
この第2実施形態のストレージ装置20は上記のように構成されている。これにより、このストレージ装置20は次のような効果を得ることができる。つまり、ストレージ装置20は、第1実施形態と同様に、リビルド処理中にI/O処理が要求された場合には、リビルド処理中における予備のディスク装置へのデータ書き込み中にI/O処理を併行して実行する構成を備えている。これにより、ストレージ装置20は、リビルド処理中にI/O処理が要求された場合において、I/O処理の要求を受けてからI/O処理を開始するまでの待機時間を削減できる、換言すれば、I/O処理の応答時間を短縮できる。また、ストレージ装置20は、リビルド処理中にI/O処理が要求された場合において、I/O処理を実行するためにリビルド処理を中断しなくて済むので、リビルド処理の処理時間が長くなることを防止できる。
さらに、この第2実施形態では、ストレージ装置20は、リビルド処理中にI/O処理を併行する場合に、リビルド処理で使用しない予備のディスク装置をデータ復旧中のメインのディスク装置と見なしてI/O処理を実行できる構成を備えている。これにより、ストレージ装置20は、リビルド処理中にI/O処理を併行することに因る不具合を防止できる。
以下に、ストレージ装置20(制御装置21)の具体的な動作例を図4〜図10を参照しながら説明する。
図4は、制御装置21におけるリビルド処理の動作例を表すシーケンス図である。なお、ここでは、メインのディスク装置22,23のうち、一方のディスク装置23が正常であり、他方のディスク装置22が障害発生によってデータ復旧対象の装置であるとする。
例えば、指示部30は、まず、リビルド開始要求をリビルド処理部32に向けて出力する(図4のステップS101)。リビルド処理部32は、その要求を受けて、正常なメインのディスク装置23に向けて、予め定めたデータ量(データ領域)分のデータを読み出すこと(リード)を要求する(ステップS102)。ディスク装置23は、その要求に従ったデータの読み出し処理(リード)を実行する(ステップS103)。この読み出されたデータは、例えば、制御装置21に備えられているメモリに一時的に格納される。
然る後に、ディスク装置23によるデータの読み出し処理(リード)が終了したことをリビルド処理部32が検知すると(ステップS104)、リビルド処理部32は、リビルド処理の進行状況の情報を指示部30に通知(報告)する(ステップS105)。具体的には、リビルド処理部32は、ディスク装置23におけるデータの読み出し領域を表す情報を、指示部30に通知(報告)する。
指示部30は、その情報を受け取ると、受け取った情報をリビルド処理の進行状況情報として記憶部28に書き込む(ステップS106)。その後、指示部30は、予備のディスク装置24,25のうちの一方を、ディスク装置23から読み出したデータを書き込む書き込み先として選択する(割り当て判断する(ステップS107))。そして、指示部30は、そのデータ書き込み先として処理を割り当てられた予備のディスク装置(ここでは、ディスク装置24とする)を表す情報(例えば識別情報)をリビルド処理部32に通知する。
リビルド処理部32は、その通知を受け取ると、データ書き込み先としての予備のディスク装置24に向けて、ディスク装置23から読み出したデータを書き込む処理(ライト)を要求する(ステップS108)。このとき、リビルド処理部32は、ディスク装置23から読み出したデータをディスク装置24に供給する。
ディスク装置24は、リビルド処理部32からの要求を受けて、書き込み処理(ライト)を実行する(ステップS109)。その後、ディスク装置24は、書き込み処理が終了すると、書き込み処理が終了したことをリビルド処理部32に通知する(ステップS110)。これにより、リビルド処理部32は、リビルド処理の進行状況の情報を指示部30に通知(報告)する(ステップS111)。具体的には、リビルド処理部32は、ディスク装置23から予備のディスク装置24に書き込まれたデータ領域を表す情報と、そのデータ領域の書き込み先である予備のディスク装置24を表す情報(識別情報)とを関連付けた情報を指示部30に通知する。指示部30は、その通知を受け取ると、その通知された情報に基づいてリビルド処理の進行状況の情報を記憶部28に書き込む(換言すれば、リビルド処理の進行状況の情報を更新する(ステップS112))。
制御装置21は、リビルド処理として、前記ステップS102〜ステップS112の動作を繰り返し行うことによって、ディスク装置23に格納されている全てのデータを、ディスク装置22の復旧データとして予備のディスク装置24,25に格納する。このようなリビルド処理によって予備のディスク装置24,25に格納されたデータは、リビルド処理完了後、例えば障害発生のディスク装置22に代えて正常な新規のディスク装置が設置された以降に、その新規のディスク装置に書き込まれる。なお、復旧データは、予備のディスク装置24,25に分散して格納される場合がある。この場合には、復旧データは、予備のディスク装置24,25の一方に統合された後に、新規のディスク装置に書き込まれる。
図5は、リビルド処理の読み出し処理(リード)中に、データを読み出す処理(I/O処理)が外部から要求された場合における制御装置21の動作例を表すシーケンス図である。なお、図5では、図4に示す動作と同様な動作を表す部分には、同一の符号(ステップ番号)を付し、図5の動作例の説明において、その重複する部分の動作の説明は省略する。
図5に示す例では、リビルド処理によってメインのディスク装置23がデータの読み出し処理(リード)を実行中に、データを読み出す処理(I/O処理)が外部からストレージ装置20に要求される(ステップS201)。指示部30が、その要求を認識(検知)し、記憶部28に格納されている情報に基づいて、ディスク装置22〜25の処理状況を確認する(ステップS202)。その後、指示部30は、リビルド処理部32からの情報に基づいて、リビルド処理における読み出し処理(リード)が終了したことを検知した以降に、記憶部28に格納されているリビルド処理の進行状況の情報を参照(確認)する(ステップS203)。
そして、指示部30は、その情報に基づいて、外部から要求されている読み出し対象のデータが予備のディスク装置24,25に格納されているか否か、および、格納されている場合には何れの予備のディスク装置に格納されているかを判定する。指示部30は、その判定結果に基づいて、読み出し対象のデータがリビルド処理によって書き込まれている予備のディスク装置があると判断した場合には、予備のディスク装置24,25に次のように処理を割り当てる。つまり、指示部30は、その読み出し対象のデータが書き込まれている一方の予備のディスク装置(ここでは、ディスク装置24とする)をI/O処理に割り当て、他方の予備のディスク装置25をリビルド処理に割り当てると判断する(ステップS204)。そして、指示部30は、リビルド処理部32に向けて、リビルド処理に割り当てられた予備のディスク装置25を表す情報(例えば識別情報)を通知する。リビルド処理部32は、通知された予備のディスク装置25に向けて、ディスク装置23から読み出したデータを書き込む処理(ライト)を要求する(ステップS108)。
また、指示部30は、I/O処理による読み出し処理(リード)を開始する要求をI/O処理部31に通知する(ステップS205)。このとき、指示部30は、読み出し対象のデータを表す情報(例えばアドレス情報)と、I/O処理に割り当てられた予備のディスク装置24を表す情報(識別情報)とをI/O処理部31に通知する。これにより、I/O処理部31は、メインのディスク装置23および予備のディスク装置24のそれぞれに、読み出し対象のデータを表す情報を通知すると共に、読み出す処理(リード)を要求する(ステップS206)。これにより、ディスク装置23,24は、それぞれ、読み出し対象のデータを読み出す(リードする(ステップS207,S208))。
その後、I/O処理部31は、ディスク装置23,24による読み出し処理(リード)が終了したことを検知すると(ステップS209)、実行されたI/O処理の処理内容を表す情報を指示部30に通知(報告)する(ステップS210)。指示部30は、その情報を受け取ると、受け取った情報に基づいてI/O処理の処理状況を表す情報を記憶部28に書き込む(ステップS211)。
図6は、図5と同様にリビルド処理の読み出し処理(リード)中に、データを読み出す処理(I/O処理)が外部から要求された場合における制御装置21の動作例を表すシーケンス図である。ただ、図6では、I/O処理による読み出し対象のデータが予備のディスク装置24,25に格納されていない場合の動作例を表している。なお、図6では、図5に示す動作と同様な動作を表す部分には、同一の符号(ステップ番号)を付し、図6の動作例の説明において、その重複する部分の動作の説明は省略する。
図6に示す動作例では、I/O処理の読み出し対象のデータが予備のディスク装置24,25の何れにも格納されていない。このため、指示部30は、ステップS204での割り当て判断において、ディスク装置24,25にI/O処理は割り当てず、この例では、ディスク装置24にリビルド処理による書き込み処理(ライト)を割り当てると判断する。これにより、I/O処理については、予備のディスク装置からの読み出し処理(リード)は行われず、メインのディスク装置23からの読み出し処理(リード)だけが実行される。また、図6では、リビルド処理による書き込み処理(ライト)は、予備のディスク装置24によって実行される。図6に示されるそれ以外の動作は図5と同様である。
図7は、リビルド処理の読み出し処理(リード)中に、データを書き込む処理(I/O処理)が外部から要求された場合における制御装置21の動作例を表すシーケンス図である。なお、図7では、図4〜図6に示す動作と同様な動作を表す部分には、同一の符号(ステップ番号)を付し、図7の動作例の説明において、その重複する部分の動作の説明は省略する。
すなわち、図7に示す例では、メインのディスク装置23がリビルド処理によるデータの読み出し処理(リード)を実行中に、データを書き込む処理(I/O処理)が書き込み対象のデータと共に外部からストレージ装置20に要求される(ステップS301)。指示部30が、その要求を認識(検知)する(ステップS302)。その後、指示部30は、リビルド処理部32からの情報に基づいて、リビルド処理における読み出し処理(リード)が終了したことを検知した以降に、記憶部28に格納されているリビルド処理の進行状況の情報を参照(確認)する(ステップS303)。
そして、指示部30は、その情報と、例えば予め設定されたリビルド処理によるデータ書き込み先の情報とに基づいて、次に実行されるリビルド処理によるデータの書き込み処理が実行される予備のディスク装置(ここでは、ディスク装置25とする)を確認する。そして、指示部30は、リビルド処理によるデータの書き込み処理が実行されない予備のディスク装置(ここでは、ディスク装置24)をI/O処理によるデータの書き込み処理を実行するディスク装置として割り当てる(ステップS304)。
その後、指示部30は、リビルド処理部32に向けて、リビルド処理に割り当てられた予備のディスク装置25を表す情報(例えば識別情報)を通知する。リビルド処理部32は、通知された予備のディスク装置25に向けて、ディスク装置23から読み出したデータを書き込む処理(ライト)を要求する(ステップS108)。
また、指示部30は、I/O処理による書き込み処理(ライト)を開始する要求をI/O処理部31に通知する(ステップS305)。このとき、指示部30は、書き込み対象のデータと、I/O処理に割り当てられた予備のディスク装置24を表す情報(識別情報)とをI/O処理部31に通知する。これにより、I/O処理部31は、メインのディスク装置23および予備のディスク装置24のそれぞれに、書き込み対象のデータを通知すると共に、書き込み処理(ライト)を要求する(ステップS306)。これにより、ディスク装置23,24は、それぞれ、書き込み対象のデータを書き込む(ライトする(ステップS307,S308))。
その後、ディスク装置23,24は、書き込み処理(ライト)が終了すると、書き込み処理が終了したことをI/O処理部31に通知する(ステップS311,S312)。これにより、I/O処理部31は、実行されたI/O処理の処理内容を表す情報を指示部30に通知(報告)する(ステップS313)。指示部30は、その通知を受け取ると、その通知された情報に基づいてI/O処理の処理状況の情報を記憶部28に書き込む(ステップS314)。
図8は、リビルド処理の書き込み処理(ライト)中に、データを読み出す処理(I/O処理)が外部から要求された場合における制御装置21の動作例を表すシーケンス図である。なお、図8では、図4〜図7に示す動作と同様な動作を表す部分には、同一の符号(ステップ番号)を付し、図8の動作例の説明において、その重複する部分の動作の説明は省略する。
すなわち、図8に示す例では、リビルド処理によって予備のディスク装置24がデータの書き込み処理(ライト)を実行中に、データを読み出す処理(I/O処理)が外部からストレージ装置20に要求される(ステップS401)。指示部30が、その要求を認識(検知)する(ステップS402)。そして、指示部30は、記憶部28に格納されているリビルド処理の進行状況の情報を参照(確認)し、リビルド処理により書き込み処理を実行している予備のディスク装置(ここでは、ディスク装置24とする)を確認する(ステップS403)。
これにより、指示部30は、リビルド処理によるデータの書き込み処理が実行されていない予備のディスク装置(ここでは、ディスク装置25)をI/O処理によるデータの書き込み処理を実行するディスク装置として確定する。そして、指示部30は、I/O処理による読み出し処理(リード)を開始する要求をI/O処理部31に通知する(ステップS404)。このとき、指示部30は、読み出し対象のデータを表す情報(例えばアドレス情報)と、I/O処理に割り当てられた予備のディスク装置25を表す情報(識別情報)とをI/O処理部31に通知する。これにより、I/O処理部31は、メインのディスク装置23および予備のディスク装置25のそれぞれに、読み出し対象のデータを表す情報を通知すると共に、読み出し処理(リード)を要求する(ステップS405)。これにより、ディスク装置23,25は、それぞれ、読み出し対象のデータを読み出す(リードする(ステップS406,S407))。
その後、I/O処理部31は、ディスク装置23,25による読み出し処理(リード)が終了したことを検知すると、実行されたI/O処理の処理内容を表す情報を指示部30に通知(報告)する(ステップS408)。指示部30は、その情報を受け取ると、受け取った情報に基づいてI/O処理の処理状況を表す情報を記憶部28に書き込む(ステップS409)。
図9は、図8と同様にリビルド処理の書き込み処理(ライト)中に、データを読み出す処理(I/O処理)が外部から要求された場合における制御装置21の動作例を表すシーケンス図である。ただ、図9では、I/O処理による読み出し対象のデータが、リビルド処理を実行していない予備のディスク装置25に格納されていない場合の動作例を表している。なお、図9では、図4〜図8に示す動作と同様な動作を表す部分には、同一の符号(ステップ番号)を付し、図9の動作例の説明において、その重複する部分の動作の説明は省略する。
図9に示す動作例では、予備のディスク装置24がリビルド処理を実行している。また、予備のディスク装置25には、I/O処理による読み出し対象のデータが格納されていない。このため、指示部30は、ステップS404において、予備のディスク装置25にI/O処理は割り当てできないと判断する。これにより、I/O処理については、予備のディスク装置からの読み出し処理(リード)は行われず、メインのディスク装置23からの読み出し処理(リード)だけが実行される。図9に示されるそれ以外の動作は図8と同様である。
図10は、リビルド処理の書き込み処理(ライト)中に、データを書き込む処理(I/O処理)が書き込み対象のデータと共に外部から要求された場合における制御装置21の動作例を表すシーケンス図である。なお、図10では、図4〜図9に示す動作と同様な動作を表す部分には、同一の符号(ステップ番号)を付し、図10の動作例の説明において、その重複する部分の動作の説明は省略する。
すなわち、図10に示す例では、予備のディスク装置24がリビルド処理によるデータの書き込み処理(ライト)を実行中に、データを書き込む処理(I/O処理)が外部からストレージ装置20に要求される(ステップS501)。指示部30が、その要求を認識(検知)する(ステップS502)。そして、指示部30は、記憶部28に格納されているリビルド処理の進行状況の情報を参照(確認)し、リビルド処理により書き込み処理を実行している予備のディスク装置(ここでは、ディスク装置24とする)を確認する(ステップS503)。
これにより、指示部30は、リビルド処理によるデータの書き込み処理が実行されていない予備のディスク装置(ここでは、ディスク装置25)をI/O処理によるデータの書き込み処理を実行するディスク装置として確定する。そして、指示部30は、I/O処理による書き込み処理(ライト)を開始する要求をI/O処理部31に通知する(ステップS504)。このとき、指示部30は、書き込み対象のデータと、I/O処理に割り当てられた予備のディスク装置25を表す情報(識別情報)とをI/O処理部31に通知する。これにより、I/O処理部31は、メインのディスク装置23および予備のディスク装置25のそれぞれに、書き込み対象のデータを通知すると共に、書き込み処理(ライト)を要求する(ステップS505)。これにより、ディスク装置23,25は、それぞれ、受け取ったデータを書き込む(ライトする(ステップS506,S507))。
その後、ディスク装置23,25は、書き込み処理(ライト)が終了すると、処理が終了したことをI/O処理部31に通知する(ステップS508,S509)。これにより、I/O処理部31は、ディスク装置23,25による書き込み処理(ライト)が終了したことを検知すると、実行されたI/O処理の処理内容を表す情報を指示部30に通知(報告)する(ステップS510)。指示部30は、その情報を受け取ると、受け取った情報に基づいてI/O処理の処理状況を表す情報を記憶部28に書き込む(ステップS511)。
(第3実施形態)
以下に、本発明に係る第3実施形態を説明する。
この第3実施形態のストレージ装置は、第2実施形態と同様な図3に示されるような構成を有する。この第3実施形態では、指示部30は、次のような機能を備えている。なお、この第3実施形態の説明において、第2実施形態と同様な構成部分には同一符号を付し、その共通部分の重複説明は省略する。
この第3実施形態では、指示部30は、リビルド処理における読み出し処理(リード)中に、データを書き込む処理(I/O処理(ライト))が外部から要求された場合(図7参照)に、割り当て判断を次のように行う。すなわち、リビルド処理によって予備のディスク装置24,25に復旧されたデータは、データの復旧完了後に、復旧されたデータ量が多い方の予備のディスク装置に統合される。このようなデータを統合するために要する時間の短縮化を図ることを考慮すると、データは予備のディスク装置の一方に偏って格納される方がよい。つまり、この場合には、データが予備のディスク装置に同程度のデータ量ずつ格納される場合に比べて、一方(データ量が少ない方)の予備のディスク装置から他方(データ量が多い方)の予備のディスク装置に移す(書き込む)データ量を少なくできる。これにより、データ統合に要する時間の短縮化が図られる。
この第3実施形態では、リビルド処理による書き込み処理(ライト)と、I/O処理による書き込み処理(ライト)とを併行して実行する場合に、指示部30は、それら処理を予備のディスク装置に次のように割り当てる。すなわち、指示部30は、リビルド処理とI/O処理の各書き込み処理が実行された後の予備のディスク装置24,25のデータ量に差が出るように処理を予備のディスク装置24,25に割り当てる。つまり、データ量の多い方の予備のディスク装置のデータ量がより多くなるように、指示部30は、書き込み処理を割り当てる。
具体的には、処理の割り当ては次のパターン1〜4となる。ここで、リビルド処理による書き込み対象のデータ量をdrとし、I/O処理による書き込み対象のデータ量をdiとする。また、予備のディスク装置24に書き込まれているデータ量をD24とし、予備のディスク装置25に書き込まれているデータ量をD25とする。
パターン1:
r>di かつ D24>D25
この場合には、指示部30は、リビルド処理による書き込み処理をディスク装置24に割り当て、I/O処理による書き込み処理をディスク装置25に割り当てる。
パターン2:
r<di かつ D24>D25
この場合には、指示部30は、リビルド処理による書き込み処理をディスク装置25に割り当て、I/O処理による書き込み処理をディスク装置24に割り当てる。
パターン3:
r>di かつ D24<D25
この場合には、指示部30は、リビルド処理による書き込み処理をディスク装置25に割り当て、I/O処理による書き込み処理をディスク装置24に割り当てる。
パターン4:
r<di かつ D24<D25
この場合には、指示部30は、リビルド処理による書き込み処理をディスク装置24に割り当て、I/O処理による書き込み処理をディスク装置25に割り当てる。
この第3実施形態のストレージ装置20は、第2実施形態と同様の構成を備えているので、第2実施形態と同様の効果を得ることができる。そのうえ、ストレージ装置20は、リビルド処理とI/O処理の各書き込み処理が実行される場合に、データ量の多い方の予備のディスク装置のデータ量がより多くなるように、指示部30が書き込み処理を予備のディスク装置24,25に割り当てる。このため、リビルド処理の最終工程として、予備のディスク装置24,25に格納されているデータを統合する際に、ストレージ装置20は、そのデータ統合に要する時間の短縮化を図ることができる。
(その他の実施形態)
なお、本発明は、第1〜第3の実施形態に限定されず様々な実施の形態を採り得る。例えば、第2と第3の実施形態における記憶装置(ディスク装置)は、RAID1構成を有している。これに対し、本発明は、RAID1以外の例えばRAID5等のRAID構成を構築する記憶装置を制御するストレージ制御装置およびそれを備えたストレージ装置に適用することができる。また、本発明は、RAID構成以外の冗長化構成を構築する記憶装置を制御するストレージ制御装置およびそれを備えたストレージ装置にも適用することができる。
また、第2と第3の実施形態では、予備のディスク装置は2台である。これに代えて、予備のディスク装置は3台以上であってもよい。この場合には、例えば、2台の予備のディスク装置を、リビルド処理とI/O処理の一方の処理に割り当て、残りの予備のディスク装置を他方の処理に割り当てるというように、指示部30は、リビルド処理とI/O処理を予備のディスク装置に割り当ててもよい。
この場合には、リビルド処理とI/O処理の少なくとも一方の処理によって、複数台の予備のディスク装置に同じデータが書き込まれることになる。このため、その複数台の予備のディスク装置に重複して書き込まれたデータを読み出す要求が発生した場合には、それら複数台の予備のディスク装置から読み出し対象のデータを分散して読み出すことが可能である。このことにより、上記構成は、処理時間の短縮を図ることができる。
さらに、第2と第3の実施形態では、メインのディスク装置は2台である。これに代えて、ストレージ装置は、メインのディスク装置として3台以上のディスク装置を備えていてもよい。この場合に、メインのディスク装置(例えばRAID1構成)の複数台に障害が発生した場合には、順次、リビルド処理が実行される。
1 ストレージ装置
2,27 制御部
3,4,5,6 記憶装置
10,20 ストレージ装置
21 制御装置
22,23,24,25 ディスク装置
30 指示部
31 I/O処理部
32 リビルド処理部

Claims (7)

  1. 冗長化構成を構築する複数のメインの記憶装置のうちの少なくとも1つの記憶装置のデータを、前記メインの記憶装置とは別の予備の記憶装置を利用して修復するリビルド処理と、外部から受け取ったデータを前記メインの記憶装置に書き込む処理と、前記メインの記憶装置からデータを読み出し外部に出力する読み出し処理とを制御する制御部を有し、
    前記制御部は、前記リビルド処理中に前記書き込み処理あるいは前記読み出し処理が要求された場合には、前記要求に応じた前記メインの記憶装置に対する前記書き込み処理あるいは前記読み出し処理が、前記リビルド処理における前記予備の記憶装置へのデータ書き込み処理と併行するように前記各記憶装置を制御するストレージ制御装置。
  2. 前記制御部は、前記リビルド処理中に前記書き込み処理あるいは前記読み出し処理が要求された場合には、前記要求に応じた前記書き込み処理あるいは前記読み出し処理を前記メインの記憶装置が実行するように前記メインの記憶装置を制御すると共に、リビルド処理を実行していない予備の記憶装置も前記要求に応じた前記書き込み処理あるいは前記読み出し処理を実行するようにその予備の記憶装置を制御する請求項1記載のストレージ制御装置。
  3. 前記制御部は、前記リビルド処理中に前記書き込み処理あるいは前記読み出し処理が要求された場合には、前記リビルド処理の進行状況の情報を取り込み、当該情報に基づいて、前記リビルド処理を実行する前記予備の記憶装置と、前記要求に応じた前記書き込み処理あるいは前記読み出し処理を実行する前記予備の記憶装置とを確定する機能を備えている請求項2記載のストレージ制御装置。
  4. 前記制御部は、前記リビルド処理により複数の前記予備の記憶装置に分散して記憶されたデータを一つの前記予備の記憶装置に統合するように前記予備の記憶装置を制御する機能を有し、
    前記制御部は、前記リビルド処理による書き込み処理を実行する前記予備の記憶装置と、前記要求に応じた前記書き込み処理を実行する前記予備の記憶装置とを確定する場合に、前記複数の予備の記憶装置の中で前記リビルド処理によって書き込まれたデータ量が最も多い前記予備の記憶装置が、前記リビルド処理と前記書き込み処理とのうちの書き込むデータ量が多い方の処理を実行するように前記処理の割り当てを確定する請求項3記載のストレージ制御装置。
  5. 冗長化構成を構築する複数のメインの記憶装置と、
    前記メインの記憶装置とは別の複数の前記予備の記憶装置と、
    請求項1乃至請求項4の何れか一つに記載のストレージ制御装置と
    を備えるストレージ装置。
  6. 前記記憶装置は、ハードディスク装置である請求項5記載のストレージ装置。
  7. 冗長化構成を構築する複数のメインの記憶装置のうちの少なくとも1つの記憶装置のデータを、前記メインの記憶装置とは別の予備の記憶装置を利用して修復するリビルド処理と、外部から受け取ったデータを前記メインの記憶装置に書き込む処理と、前記メインの記憶装置からデータを読み出し外部に出力する読み出し処理とを制御する制御部は、前記リビルド処理中に前記書き込み処理あるいは前記読み出し処理が要求された場合には、前記要求に応じた前記メインの記憶装置に対する前記書き込み処理あるいは前記読み出し処理が、前記リビルド処理における前記予備の記憶装置へのデータ書き込み処理と併行するように前記各記憶装置を制御するストレージ制御方法。
JP2013041744A 2013-03-04 2013-03-04 ストレージ制御装置、ストレージ装置およびストレージ制御方法 Active JP6142576B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013041744A JP6142576B2 (ja) 2013-03-04 2013-03-04 ストレージ制御装置、ストレージ装置およびストレージ制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013041744A JP6142576B2 (ja) 2013-03-04 2013-03-04 ストレージ制御装置、ストレージ装置およびストレージ制御方法

Publications (2)

Publication Number Publication Date
JP2014170370A true JP2014170370A (ja) 2014-09-18
JP6142576B2 JP6142576B2 (ja) 2017-06-07

Family

ID=51692725

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013041744A Active JP6142576B2 (ja) 2013-03-04 2013-03-04 ストレージ制御装置、ストレージ装置およびストレージ制御方法

Country Status (1)

Country Link
JP (1) JP6142576B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138813A1 (ja) * 2017-01-25 2018-08-02 株式会社日立製作所 計算機システム
KR20200100814A (ko) 2018-01-25 2020-08-26 가부시끼가이샤 도시바 Raid 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060236149A1 (en) * 2005-04-14 2006-10-19 Dell Products L.P. System and method for rebuilding a storage disk
JP2006285889A (ja) * 2005-04-05 2006-10-19 Sony Corp データ記憶装置、再構築制御装置、再構築制御方法、プログラム及び記憶媒体
JP2010009442A (ja) * 2008-06-30 2010-01-14 Fujitsu Ltd ディスクアレイシステム、ディスク制御装置及びその再構築処理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006285889A (ja) * 2005-04-05 2006-10-19 Sony Corp データ記憶装置、再構築制御装置、再構築制御方法、プログラム及び記憶媒体
US20060236149A1 (en) * 2005-04-14 2006-10-19 Dell Products L.P. System and method for rebuilding a storage disk
JP2010009442A (ja) * 2008-06-30 2010-01-14 Fujitsu Ltd ディスクアレイシステム、ディスク制御装置及びその再構築処理方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018138813A1 (ja) * 2017-01-25 2018-08-02 株式会社日立製作所 計算機システム
US20190196911A1 (en) * 2017-01-25 2019-06-27 Hitachi, Ltd. Computer system
KR20200100814A (ko) 2018-01-25 2020-08-26 가부시끼가이샤 도시바 Raid 장치

Also Published As

Publication number Publication date
JP6142576B2 (ja) 2017-06-07

Similar Documents

Publication Publication Date Title
CN102081574B (zh) 用于加快系统的唤醒时间的方法和系统
JP6668309B2 (ja) 記憶システム及びその制御方法
US20040133743A1 (en) RAID apparatus and logical device expansion method thereof
US20070113004A1 (en) Method of improving efficiency of capacity of volume used for copy function and apparatus thereof
US20100229033A1 (en) Storage management device, storage management method, and storage system
CN109725827B (zh) 管理存储系统的方法、系统和计算机程序产品
JP6565560B2 (ja) ストレージ制御装置、及び制御プログラム
US10860224B2 (en) Method and system for delivering message in storage system
JP6142576B2 (ja) ストレージ制御装置、ストレージ装置およびストレージ制御方法
JP2011028520A (ja) ディスクアレイ装置及び物理ディスクの復元方法
JP4719801B2 (ja) デバイス管理装置、デバイス初期化方法、デバイス初期化プログラムおよびデバイスシステム
JP5924117B2 (ja) コンピュータ、データ格納方法、データ格納プログラム及び情報処理システム
JP5778872B2 (ja) ストレージシステムおよびデータ管理方法
US9015385B2 (en) Data storage device and method of controlling data storage device
JP6052288B2 (ja) ディスクアレイ制御装置、ディスクアレイ制御方法及びディスクアレイ制御プログラム
CN114281240A (zh) 存储系统及其控制方法
JP6229684B2 (ja) ストレージ装置、ストレージ制御方法、及びストレージ制御プログラム
JP5838652B2 (ja) データコピー処理システム
JP2006318017A (ja) Raid構成変換方法、装置及びプログラム並びにこれを用いたディスクアレイ装置
JP5895911B2 (ja) キャッシュ制御装置及びキャッシュの制御方法、ディスクアレイ装置及びそのコントローラ、並びにコンピュータ・プログラム
JP2012174037A (ja) ディスクアレイ装置及びその制御方法
JPWO2011064811A1 (ja) 情報処理装置、制御プログラムおよび制御方法
JP4831093B2 (ja) ディスクアレイシステム、ディスクアレイ制御方法およびディスクアレイ制御プログラム
JPWO2016001962A1 (ja) ストレージシステム及び記憶制御方法
WO2014069007A1 (ja) 記憶装置およびデータバックアップ方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170411

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170424

R150 Certificate of patent or registration of utility model

Ref document number: 6142576

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150