JPH0424750A - データベース管理処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔概要〕 トランザクションによる追加レコードをデータベースに
格納するヒストリカルなデータ蓄積処理に適したデータ
ベース管理処理方式に関し。

データ収集トランザクションのコンカレンシーを向上さ
せ、かつ蓄積データの一括処理や処理済みデータの削除
を円滑に行うことができるようにすることを目的とし。

追加レコードのログが格納されるセーフログ域と、コミ
ットされたレコードが格納されるバッファ域と、二次記
憶上に設けられるデータベース格納域と、レコードの追
加時に、セーフログ域にそのレコードのログデータを採
取するデータベースアクセス部と、コミット済みのログ
データをセーフログ域から取り出し、バッファ域に格納
するコミットレコード収集部と、バッファ域の内容をト
ランザクションの処理とは非同期にデータベース格納域
に書き出すバッファ制御部とを備え、追加レコードのデ
ィスクロージャを、前記バッファ域への転送で行うよう
に構成する。

〔産業上の利用分野〕

本発明は、トランザクションによる追加レコードをデー
タベースに格納するヒストリカルなデータ蓄積処理に適
したデータベース管理処理方式に関する。

現在、計算機システムの著しい進歩により５例えば（ａ
）多品種少量生産化、Φ）商品のタイムリーな納入、（
Ｃ）在庫や生産設備の無駄の削減、というようなデータ
蓄積処理のユーザニーズを計算機システムで実現する要
求が高まっている。

このようなニーズに応えるためには、データの蓄積／参
照をリアルタイムに行うことが計算機システムに要求さ
れる。

〔従来の技術〕

第９図は従来技術の例を示す。

第９図（イ）は、一般的なデータベース管理システムの
構成を示しており、１０は応用処理部。

１６はバッファプール、１８はデータベース格納域、３
０はデータベース管理部、３１はログ管理部、３２はロ
グ格納域を表す。

応用処理部１０は、ユーザからの一つのまとまった処理
要求を、トランザクションとして処理する。特にデータ
蓄積処理の場合、応用処理部１０は、データペース管理
部３０に対して収集データの格納を要求し、バッファプ
ール１６を介して収集データを、二次記憶上のデータベ
ース格納域１８に格納する。

また、収集データについてのログを、ダウンリカバリの
ために、ログ管理部３１によってログ格納域３２に採取
する。

従来、このようなシステムにおいて、第９図（ロ）に示
すように複数のトランザクションＴＩＴ２が走行すると
き、一般にデータが発生したときからトランザクション
処理が終了するまでの間。

データベース格納域１８のファイルに対するロック制御
を行い、データ間の不整合が発生しないようにしていた
。

例えばトランザクションＴ１は、レコードＲ１の追加を
行ってからトランザクション終了時にそれを有効化する
コミットを行うまでの間、その格納媒体に対するロック
を保持する。したがって他のトランザクションＴ２がレ
コードＲ２を追加しようとしても、ロックの解除待ちと
なり、トランザクションＴ１の処理の終了を待たなけれ
ばならなかった。

なお、コミットとは、トランザクション内で行った更新
、追加、削除などのデータを確定させ。

有効化させる処理のことである。

なお、トランザクションや格納、ログ、ロックなど、デ
ータベース管理についての一般的な技術は、　ＤＡＴＡ
ＢＡＳＥ　ＤＥＳＩＧＮ、　　ＧＩＯＷＩＥＤＥＲＨＯ
ＬＤ　著（ＩＳＢＮ　０−０７−Ｙ６６６３８−５）に
詳しい。

〔発明が解決しようとする課題〕

従来技術では、第９図（ロ）に示すように、データ間の
不整合が発生しないようにするために。

データ蓄積処理の並列性が犠牲となっていた。

これは、従来のデータベースの格納機構には。

いわゆるＢ’　　）リーやハツシュ、ヒープなどがある
が、エントリデータの収集を主として扱う場合に適した
格納機構がないことに起因している。

すなわち、従来の格納機構を、エントリデータの収集を
目的としたシステムに適用すると、データ収集トランザ
クションの高度な同時並行動作ができないという問題が
あった。

また、インデックスによる収集データのアトホックな収
集が難しかったり、蓄積データの一括処理や処理済みデ
ータの削除を行っている時間帯では、データ収集処理が
止まってしまうという問題があった。

そこで、従来はアプリケーションレベルで個別に解決す
ることを試み、データ収集専門の処理と収集データの加
工処理とを分け、またデータベースも分けて、それぞれ
処理する時間帯を決め、この間のバッチ的な転送を行う
などしていた。しかし、このようにアプリケーションレ
ベルで対処するのは、アプリケージジンの開発が難しく
なり。

またシステムの運用も難しいものになるという問題があ
った。

本発明は上記問題点の解決を図り、データ収集トランザ
クションのコンカレンシーを向上させ。

かつ蓄積データの一括処理や処理済みデータの削除を円
滑に行うことができるようにすることを目的としている
。

〔課題を解決するための手段〕

第１図は本発明の原理説明図である。

応用処理部１０は、トランザクションに関するデータ収
集・蓄積処理を行うものである。データベースアクセス
部１１は、応用処理部１０からの要求により、データベ
ースのレコードの追加・更新・検索・削除などの処理を
行う。

セーフログ域１２は、追加レコードのログが格納される
記憶領域である。なお１通常の更新後イメージ・ログや
コミット・ログなどの他のログが混在して格納されても
よい０例えば、高速の不揮発性メモリ内に設けられる。

コミットレコード収集部１３は、コミシト済みのログデ
ータをセーフログ域１２から取り出し。

ボラタイルバッファ域１４に格納する処理を行うもので
ある。ボラタイルバッファ域１４上に格納されたデータ
は、直接または後述するサロゲートマップ１９を介して
アクセス可能であり、アクセス要求元からは２実際のデ
ータベースに格納されたデータと同様に取り扱うことが
できる。

バッファ制御部１５は、従来と同様なバッファ制御を行
うとともに、ボラタイルバッファ域１４の内容をトラン
ザクションの処理とは非同期に。

データベース格納域１８−１または１８−２に書き出す
処理を行う。バッファブール１６は、従来から用いられ
ている一般のデータベースのバッファである。

データベース格納域は、第１のデータベース格納域１８
−１と第２のデータベース格納域１８２とからなり、ヒ
ストリカルな蓄積データが格納される二次記憶上の記憶
領域である。

再構成処理部１７は、データベース格納域１８−１．１
８−２の一方からレコードを読み出し。

削除レコードを廃棄して、他方に有効レコードを詰めて
転記する処理を行うものである。

サロゲートマップ１９は、各レコードを識別する情報と
そのレコードの物理的な格納位置との対応情報を記憶し
、管理するものである。ここでのレコードを識別する情
報は１例えばサロゲートマップ１９のエントリ番号であ
る。

インデックス部２０は９通常のデータベースにおけるイ
ンデックスと同様なものであるが、各しコードをサロゲ
ートマンブ１９のエントリ番号で管理する。したがって
、レコードの物理的な格納位置を変更した場合に、サロ
ゲートマップ１９におけるエントリの格納位置情報を変
更するだけで９インデックス部２０等の変更は不要とな
っている。

これにより、レコードは、ボラタイルバッファ域１４に
存在していても、データベース格納域１８−１または１
８−２に存在しても、インデックス部２０からは同等に
扱うことができるようになっている。

〔作用〕

本発明の基本的なアイデアは、他のトランザクションへ
の収集データ（レコード）のアンロックを意味するディ
スクロージャが、コミット時点以降の適当なタイミング
で行えばよいことに基づいている。すなわち、一般のデ
ータ蓄積処理では。

参照処理のリアルタイム性やデータの読み込みの順序性
を、必ずしもコミット時点を基準として厳密に保証する
必要がないことが多く、それよりも参照処理と追加処理
間および追加処理と追加処理間の並列性に対する要求が
大きいことに着目している。

エントリデータの収集を行うトランザクションの収集デ
ータ以外のアンロックについては、従来と同等の方式で
行ってかまわない。

収集データに関しては、データ追加指示の時点で、従来
の意味の二次記憶に対する直接のデータ追加処理は行わ
ず、セーフログ域１２に蓄えておく、コミット時点また
はコミット後の適当なタイミングで、コミット対象のレ
コードをセーフログ域１２から収集し、ボラタイルバッ
ファ域１４に設定する。コミット処理そのものは、コミ
ット対象レコードの収集で終わってよいが、コミットか
らディスクロージャまでの期間におけるシステムファイ
ルからの回復を行うためのチエツクポイントを取得する
。

ボラタイルバッファ域１４への転送が、これらのレコー
ドの他のトランザクションへのディスクロージャに相当
し、当該レコードに対する格納域の裏付けをとると同時
に、インデックス部２０へのアップグレードを行う。

ボラタイルバッファ域１４の内容は、バッファ制御部１
５により２適当な機会にデータベース格納域」８−１ま
たは１８−２に転送する。システムダウン時において、
ボラタイルバッファ域１４のデータが失われた場合には
、セーフログ域１２からのデータ復旧が可能である。

収集データの一括削除やインデックス部２０を用いた削
除による虫食い状態のデータベース格納域を再利用する
ために、それをデータベース格納域１８−１．１８−２
の２つに分け、再構成処理部１７によって、一方から他
方へのコンプレスを行う、また、サロゲートマップ１９
によって、レコードの物理的な格納位置を浮動状態にし
た管理を可能とする。

本発明は、特にレコード追加要求時の処理に関係してい
るが、更新要求が、レコードの削除処理と追加処理に？
実現されるオプションでも有効であ〔実施例〕 第２図は本発明の一実施例による動作例、第３図および
第４図は本発明の一実施例に係るデータベースアクセス
部の処理フロー、第５図は本発明の一実施例によるコミ
ントレコード収集部の処理フロー、第６図は本発明の一
実施例によるバッファ制御部の処理フロー、第７図は本
発明の一実施例に係る再構成処理部の処理フロー、第８
図は本発明の一実施例による再構成処理説明図を示す。

第２図において、ＴＩ、Ｔ２はレコード追加を主たる目
的としたトランザクションであり、それぞれ応用処理部
１０−１．１０−２で実行される。

本発明では、このようなトランザクションＴＩ。

Ｔ２が同時に動作するとき、トランザクションへの入力
データであるエントリデータのレコードＲ１、Ｒ２の追
加では、直接、二次記憶上のデータベース格納域に書き
込むことはしないで、第２図（イ）に示すように、セー
フログ域１２に、更新後イメージのログとして、追加レ
コードＲ１，Ｒ２の内容を収集する。なお、このような
エントリデータ以外のデータベースの更新データについ
てもセーフログ域１２上にログを採る。なお、ここでは
説明を簡単化するため、その他のデータベースアクセス
で衝突はしていないものとする。

レコードＲ１，Ｒ２の追加については、セーフログ域１
２にログを採るだけであるので、単にセーフログ域１２
への格納のシリアライズのための簡単な制御表ロックを
行うだけでよく、トランザクション間の排他のためのト
ランザクションロックは不要である。したがって、複数
の応用処理部１０−１．１０−２が並行して処理を続け
ることができる。

トランザクションＴ１とＴ２とが、並行に動作する様子
を、第２図（ロ）に示している。

トランザクションＴＩが、レコードＲ１を追加すると、
そのレコードのログがセーフログ域１２に格納される。

トランザクションＴ１の終了処理で、それまでのデータ
操作を有効化するコミットの指示があると、そのコミッ
トログについてもセーフログ域１２に格納される。

トランザクションＴ２が、レコードＲ２を追加しコミッ
トする場合も同様である。トランザクシヨンＴ１のコミ
ット終了まで、トランザクションＴ２の処理が待たされ
ることはない。

コミットされた場合、セーフログ域１２からコミット対
象のレコードのログが収集され、ボラタイルバッファ域
１４に書き出される。ボラタイルバッファ域１４の内容
は、各トランザクションが参照可能である。ボラタイル
バッファ域１４は。

適宜、必要な時点で二次記憶上のデータベース格納域１
８に書き出される。

次に第１図に示すデータベースアクセス部１１の処理に
ついて説明する。

（ａ）　　レコード追加 データベースアクセス部１１によるレコード追加では、
第３図（イ）に示すように、対象レコードをセーフログ
域１２に転送する処理を行う、なお、トランザクション
単位にローカルログバッファを持つようにし、コミット
時にセーフログ域１２に一括転送するようにしてもよい
。

（ｂ）　　レコード更新 データベースアクセス部１１によるレコード更新では、
第３図（ロ）に示すように、更新対象のレコードがボラ
タイルバッファ域１４上にあるか否かを調べ、ボラタイ
ルバッファ域１４上にあれば、そのレコードを更新する
。ボラタイルバッファ域１４上になければ５通常のデー
タベースアクセスにより、データベースバッファ（第１
図に示すバッファプール１６）上でのレコードの更新を
行う。

（Ｃ）　　レコード検索 データベースアクセス部１工によるレコード検索では、
第３図（ハ）に示すように、従来と同様にデータベース
バッファ経由のレコード検索処理を行う、検索対象が見
つかったならば、それを提示する。検索対象が見つから
なかった場合、さらにボラタイルバッファ域１４上のレ
コードを検索する。

同　レコード削除 データベースアクセス部１１によるレコード削除では、
第４図（イ）に示ｔように、ボラタイルバッファ域１４
上に対象レコードがあるか否かを調べ、ボラタイルバッ
ファ域１４上にあれば、そのレコードを削除する。そう
でなければ１通常の格納構造の場合と同様にデータベー
スバッファ上でのレコードの削除を行う。

（ｅ）　　コミシト コミット処理は、それまでのトランザクションによるデ
ータ操作をすべて有効化する処理である。

この処理では、第４図（ロ）に示すように、セーフログ
域１２に採取したログの安定化処理を行う。

具体的には、コミットログを出力し、それ以前のコミッ
ト対象のログを明確化する０本実施例では。

セーフログ域１２は不揮発メモリで構成されているが、
セーフログ域１２が揮発性の場合、この安定化処理で、
不揮発化の処理を行う、その後、トランザクション終了
処理を行う、この終了処理では、必要に応して１本処理
方式によらない通常の方式でアクセスしたデータベース
レコードに対するアンロック処理等を行う。

（ｆ）　　ロールバック ロールバック処理は、それまでのトランザクションによ
るデータ掻作をすべて無効化する処理である。この処理
では、第４図（ハ）に示すように。

セーフログ域１２に採取したログの無効化処理を行う、
具体的には、ロールバックログを出力し。

それ以前の更新後イメージのログが無効であることを明
確化する。または更新後イメージのログを削除する。さ
らに２本処理方式によらない通常のデータベースに対す
る更新などを行っていた場合には、それらのデータベー
スバッファ更新の無効化処理を行い、必要に応じてその
アンロック処理を行う。

第１図に示すコミットレコード収集部１３はコミット済
みレコードの収集を行う、セーフログ域１２には１本処
理方式による追加レコード以外のためのログも含まれて
いる。また、ロールバックによって無効化されたログが
含まれていることもある。そこで、それらのログの中か
ら、コミット済みになっている本処理方式による追加レ
コードのみを収集する。

その処理のため、コミットレコード収集部１３は、第５
図に示す処理■〜■を行う。

■　まず、セーフログ域１２から、それまでのログレコ
ードを取り出す。

■　取り出した各ログレコードについて、それが本処理
方式による追加レコードであって、コミット済みになっ
ているものかどうかを判定する。

そうでない場合には、処理を終了する。

■　本処理方式による追加レコードであって、コミット
済みになっているものを、ボラタイルバッファ域１４に
詰めて格納する。

■　サロゲートマップ１９から空きエントリを確保し、
その番号をレコードの識別情報とするとともに、ボラタ
イルバッファ域１４の格納アドレスをサロゲートマンブ
１９に設定する。

■　コミット済みになっているレコードが、インデック
ス部２０で扱う対象になっている場合には、インデック
ス部２０を更新し、インデックス部２０にレコードの識
別情報を設定する。これらを対象となっている全ログに
ついて行ったならば、処理を終了する。

第１図に示すバッファ制御部１５は２通常のデータベー
スアクセスにおけるバッファブール１６を利用したデー
タベースページの読み込み、書き出し以外に、第６図に
示す処理を行う。

すなわち、バッファ制御部１５は、トランザクションの
処理とは非同期に、レコードの詰まったボラタイルバッ
ファ域１４を、データベース格納域１８−１または１８
−２に書き出す、そしてサロゲートマップ１９における
該当するレコードの物理的な格納位置情報を書き換える
。レコード識別情報の変更はないので、ボラタイルバッ
ファ域１４の書き出しによるインデックス部２０の更新
は不要である。

再構成処理部１７は、システムの負荷が低下したとき２
またはシステム管理者によって任意のときに起動され、
第７図■〜■に示すデータベースの再構成を行う。

■　カレントとなっているデータベース格納域１８−１
，１８−２の一方から、レコードを順に取り出す。

■　取り出したレコードが削除レコードであれば。

それを廃棄し、有効なレコードについて、他方のデータ
ベース格納域１８−２または１８−１上の格納位置を決
定し、レコードを格納する。

■　レコードの物理的な格納位置が変わるのでサロゲー
トマップ１９の該当するエントリの内容を書き換える。

第８図は、この再構成処理の具体例を示している。

データベースの格納域は２例えば第８図に示すように、
データベース格納域１８−１とデータベース格納域１８
−２の２つの領域からなる。サロゲートマップ１９は、
データベース格納域１８−１または１８−２上のレコー
ドの物理的な格納位置およびボラタイルバッファ域１４
上の格納アドレスを指している。

インデックス部２０は、レコードの物理的な格納位置の
情報を持つのではなく、サロゲートマップ１９における
エントリ番号を、レコード識別情報として持つ。すなわ
ち、インデックスとなる各キーｋｅｙｌ、ｋｅｙ２．・
・・に対応して、サロゲートマップ１９上のエントリ番
号１５．Ｉｌｌ、・・・を保持する。

再構成処理部１７による再構成は、第８図に示すように
、データベース格納域１８−１から順番にレコードを取
り出し、有効なレコードＲ１，Ｒ２、・・・だけをデー
タベース格納域１８−２に設定する処理である。データ
ベース格納域１８−１からデータベース格納域１８−２
へレコードを移したならば、サロゲートマップ１９の内
容を１点線の矢印で示すように更新する。

データベース格納域１８−１からのレコードの転記が終
了したならば２次はデータベース格納域１８−２からデ
ータベース格納域１８−１に対するレコードの転記を行
う。

以上のようにエントリデータの収集を専門的に扱うデー
タ構造を想定することにより２次のような処理に適した
構造とすることができる。

（ａ）　　ヒストリカルにオーダエントリのような伝票
の収集を行う。

（ｂ）　　必要に応じて、収集データをインデックス等
でアクセスができるようにカテゴリ分けする。

（Ｃ）　　時系列に沿った集信データの一括処理を行う
。

（ロ）処理済みデータは、原則的には削除される。

なお１以上の実施例では、ボラタイルバッファ域１４に
収集されたコミット済みのレコードを。

他のトランザクションから参照可能としたが、ボラタイ
ルバッファ域１４を単なるＩ１０バッファ的な扱いとし
、データベース格納域１８−１，１８−２に反映された
レコードのみをディスクロージャするようにしてもよい
、実際のオーダエントリ型の適用業務を考えた場合、コ
ミット済みレコードは、必ずすぐに参照できなければな
らないといった要請は少ないからである。

コミット順保証が必要であれば、コミット済みレコード
の収集時にコミットログを参照しながら並べ換えを行う
ことなどにより、保証することが可能である。

また、ユニークなキーを扱わなく、かつ参照整合性を必
ずしも保証しなくてもよい適用業務では。

サロゲートマップ１９を持たなくてもよい。この場合、
データベース格納域１８−１，１８−２におけるある位
置から全レコードをアクセスし、必要なレコードのみを
処理（参照／更新／削除）するような格納構造として使
用する。

〔発明の効果〕

以上説明したように２本発明によれば、オーダエントリ
型のデータ蓄積処理に適したデータベースの格納構造を
実現することができ、データ収集トランザクションの高
度な同時並行動作が可能になる。また、インデックスに
よる収集データのアトホックな訂正、蓄積データの一括
処理、処理済みデータの削除などを、データ収集トラン
ザクションと並行して処理することができるようになる
。

この結果、アプリケーションの開発負担が大幅に削減さ
れ、システムの運用も不必要な制限がなくなるので、容
易に行うことができるようになる。

【図面の簡単な説明】

第１図は本発明の原理説明図。 第２図は本発明の一実施例による動作例、第３図および
第４図は本発明の一実施例に係るデータベースアクセス
部の処理フロー 第５図は本発明の一実施例によるコミットレコード収集
部の処理フロー 第６図は本発明の一実施例によるバッファ制御部の処理
フロー 第７図は本発明の一実施例に係る再構成処理部の処理フ
ロー 第８図は本発明の一実施例による再構成処理説明図。 第９図は従来技術の例を示す。 図中、１０は応用処理部、１１はデータベースアクセス
部、１２はセーフログ域、１３はコミットレコード収集
部、１４はボラタイルバッファ域。 １５はバッファ制御部、１６はバッファプール。 １７は再構成処理部、１８−，１，１８−２はデータベ
ース格納域、１９はサロゲートマ・ンプ、２０はインデ
ックス部を表す。

Claims (1)

1. 【特許請求の範囲】 １、トランザクションによるデータベースに対するアク
   セス処理であって、追加要求によるレコードの追加処理
   または更新要求に伴うレコードの追加処理を扱うデータ
   ベース管理処理方式において、 追加レコードのログが格納されるセーフログ域（１２）
   と、 コミットされたレコードが格納されるバッファ域（１４
   ）と、 二次記憶上に設けられるデータベース格納域（１８−１
   、１８−２）と、 レコードの追加時に、セーフログ域にそのレコードのロ
   グデータを採取するデータベースアクセス部（１１）と
   、 コミット済みのログデータをセーフログ域から取り出し
   、バッファ域に格納するコミットレコード収集部（１３
   ）と、 バッファ域の内容をトランザクションの処理とは非同期
   にデータベース格納域に書き出すバッファ制御部（１５
   ）とを備え、 追加レコードのアンロックに相当する他のトランザクシ
   ョンに対するディスクロージャを、前記バッファ域への
   転送または前記データベース格納域への書き出しで行う
   ようにしたことを特徴とするデータベース管理処理方式
   。 ２、請求項１記載のデータベース管理処理方式において
   、 データベース格納域は、第１のデータベース格納域（１
   ８−１）と第２のデータベース格納域（１８−２）とか
   らなり、 第１または第２の一方のデータベース格納域からレコー
   ドを読み出し、削除レコードを廃棄して、他方のデータ
   ベース格納域に有効レコードを詰めて転記する再構成処
   理部（１７）を備えたことを特徴とするデータベース管
   理処理方式。 ３、請求項２記載のデータベース管理処理方式において
   、 各レコードを識別する情報とそのレコードの物理的な格
   納位置との対応情報を管理するサロゲートマップ（１９
   ）を備えたことを特徴とするデータベース管理処理方式
   。