JP2011141657A - Data processor - Google Patents
Data processor Download PDFInfo
- Publication number
- JP2011141657A JP2011141657A JP2010001203A JP2010001203A JP2011141657A JP 2011141657 A JP2011141657 A JP 2011141657A JP 2010001203 A JP2010001203 A JP 2010001203A JP 2010001203 A JP2010001203 A JP 2010001203A JP 2011141657 A JP2011141657 A JP 2011141657A
- Authority
- JP
- Japan
- Prior art keywords
- data
- cache
- internal memory
- read
- processing apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Memory System Of A Hierarchy Structure (AREA)
Abstract
【課題】内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを調整でき、キャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行えるデータ処理装置を提供すること。
【解決手段】内部メモリをキャッシュとして使用してデータファイルを転送するように構成されたデータ処理装置において、前記内部メモリをダイレクトマッピング方式で制御することを特徴とするもの。
【選択図】図1[PROBLEMS] To adjust the read size when performing data transfer using an internal memory as a cache, to prevent re-reading of data read into the cache, and to easily manage the data read into the cache To provide a data processing apparatus capable of
In a data processing apparatus configured to transfer a data file using an internal memory as a cache, the internal memory is controlled by a direct mapping method.
[Selection] Figure 1
Description
本発明は、データ処理装置に関し、詳しくは、デジタルオシロスコープなどの組み込み機器で内部メモリをキャッシュとして使用するように構成されたデータ処理装置の改良に関するものである。 The present invention relates to a data processing apparatus, and more particularly to an improvement in a data processing apparatus configured to use an internal memory as a cache in an embedded device such as a digital oscilloscope.
たとえばオシロスコープのような組み込み機器では、数十GBを超える大量の波形データが内蔵のハードディスクに保存されている。これら波形データについて画面表示やデータ解析を行うときには、データ容量が数十MB〜数百MBの内部メモリをキャッシュとして使用し、ハードディスクから波形データを読み込む必要がある。 For example, in an embedded device such as an oscilloscope, a large amount of waveform data exceeding several tens of GB is stored in a built-in hard disk. When performing screen display or data analysis on these waveform data, it is necessary to read the waveform data from the hard disk using an internal memory having a data capacity of several tens to several hundreds of MB as a cache.
ところが、ハードディスクに保存された波形データは膨大な量になるため、一度に全ての波形データを内部メモリに読み込むことはできない。そこで、表示や解析に必要な波形データのみを選択的に内部メモリに読み出すことになる。 However, since the waveform data stored in the hard disk becomes enormous, it is impossible to read all the waveform data into the internal memory at once. Therefore, only the waveform data necessary for display and analysis is selectively read out to the internal memory.
図3は、このような組み込み機器に実装されている内蔵ハードディスク内における従来のデータ転送例を示すブロック図である。図3において、内蔵ハードディスク1内に格納されている波形データは、ワークバッファ2→内部メモリ3の経路を経てデータ処理部4に読み出される。
FIG. 3 is a block diagram showing an example of conventional data transfer in a built-in hard disk mounted on such an embedded device. In FIG. 3, the waveform data stored in the internal
内蔵ハードディスク1には、ファイルヘッダの格納領域1aと生データの格納領域1bと圧縮データの格納領域1cが設けられている。
The internal
内部メモリ3の格納領域は、指定された所定の大きさで複数のブロックに分割されていて、図3の例では4つのブロックに分割されている。内部メモリ3の分割されたブロックには使用履歴に基づく優先順位がつけられていて、内部メモリ3上にないデータをハードディスク1のファイルから読み出す場合は、優先順位の低いブロックに読み込まれる。
The storage area of the
特許文献1には、キャッシュミスを減少させてデータ読み出しを高速化でき、データの重複リフィルを防止する技術が説明されている。 Japanese Patent Application Laid-Open No. H10-228561 describes a technique that can reduce cache misses and increase the speed of data reading and prevent data duplication refilling.
図4は、図3の動作説明図である。図4において、(A)は内部メモリ3を示し、4系統の測定チャネルCH1〜4が割り当てられている。(B)は1測定チャネルに割り当てられたキャッシュメモリを示し、4つのブロックが割り当てられている。(C)は内蔵ハードディスク1の内部に格納されている波形データの一例を示している。
FIG. 4 is an explanatory diagram of the operation of FIG. 4A shows the
ところで、波形演算などで必要なデータは、たとえば図4(C)に斜線で塗りつぶして示すように大量なデータのうちの一部分だけである。しかし、従来のデータ転送方式ではデータ読み込みサイズが一義的に決められているため、必要なデータ以外の範囲も読み込まなければならない。 By the way, data necessary for waveform calculation or the like is only a part of a large amount of data as shown by hatching in FIG. However, since the data reading size is uniquely determined in the conventional data transfer method, a range other than the necessary data must be read.
図5も図3の動作説明図であり、読み込みデータが重なっている場合の動作を示すものであって、(A)は内蔵ハードディスク1の内部に格納されている波形データの一例を示し、(B)は1測定チャネルに割り当てられたキャッシュメモリを示している。 FIG. 5 is also a diagram for explaining the operation of FIG. 3, and shows the operation when the read data overlaps. FIG. 5A shows an example of waveform data stored in the internal hard disk 1. B) shows a cache memory allocated to one measurement channel.
図5(A)において、波形演算(最大値、最小値の計算など)に使用する領域A1と波形拡大表示に使用する領域A2との一部が斜線で塗りつぶして示すように重なり合っている。 In FIG. 5A, a region A1 used for waveform calculation (calculation of maximum value, minimum value, etc.) and a region A2 used for waveform enlargement display are overlapped so as to be shaded.
図5(B)において、内蔵ハードディスク1から同じ波形データが、一方A1を波形演算用とし、他方A2を波形拡大表示用として、斜線で塗りつぶして示すように異なる2箇所のブロックに読み込まれている。
In FIG. 5B, the same waveform data is read from the built-in
図5のような状況において、2重に波形データが読み込まれないようにするためには、波形データがどこに読み込まれているのかを細かく管理すればよいが、読み込む波形データが大量であるため管理オーバーヘッドがかかり、パフォーマンスが低下してしまうという新たな問題が発生することになる。 In order to prevent the waveform data from being read twice in the situation as shown in FIG. 5, it is only necessary to finely manage where the waveform data is read. A new problem arises that overhead is added and performance is degraded.
本発明は、これらの問題を解決するものであり、その目的は、内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを調整でき、キャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行えるデータ処理装置を提供することにある。 The present invention solves these problems, and the purpose of the present invention is to adjust the read size when data transfer is performed using the internal memory as a cache, and to reload the data read into the cache. It is an object of the present invention to provide a data processing device that can prevent data and can easily manage data read into a cache.
このような課題を達成するために、本発明のうち請求項1記載の発明は、
内部メモリをキャッシュとして使用してデータファイルを転送するように構成されたデータ処理装置において、
前記内部メモリをダイレクトマッピング方式で制御することを特徴とする。
In order to achieve such a problem, the invention according to
In a data processing apparatus configured to transfer a data file using an internal memory as a cache,
The internal memory is controlled by a direct mapping method.
請求項2記載の発明は、請求項1に記載のデータ処理装置において、
前記データファイルを、前記キャッシュで扱う任意のデータブロックサイズで分割された行方向のライン番号と列方向のタグ番号で管理することを特徴とする。
The invention according to
The data file is managed by a line number in a row direction and a tag number in a column direction divided by an arbitrary data block size handled by the cache.
本発明のデータ処理装置によれば、内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを任意に調整できてキャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行える。 According to the data processing device of the present invention, when performing data transfer using the internal memory as a cache, the read size can be arbitrarily adjusted to prevent re-reading of the data read into the cache, and to the cache. Easy management of the loaded data.
以下、本発明について、図面を用いて詳細に説明する。図1は本発明の一実施例を示すブロック図であり、図3と共通する部分には同一の符号を付けている。 Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of the present invention, and the same reference numerals are given to portions common to FIG.
図1において、内部メモリ3を、大量な波形データファイルのキャッシュとして使用する。なお、キャッシュ3の制御にあたっては、ダイレクトマッピング方式を使用する。キャッシュ3で扱うひとまとまりのデータブロックをラインといい、任意のブロックサイズに分けられる。
In FIG. 1, the
データファイルは、キャッシュ3を分けたときと同じブロックサイズで区切られ、データアドレスが各マス目の中に示したように、先頭から順に、
0、 1、 ・・、n−1、
1・n+0、 1・n+1、 ・・、1・n+n−1、
・・・
(m−1)・n+0、(m−1)・n+1、・・、(m−1)・n−1
と番号付けされている。
The data file is divided by the same block size as when the
0, 1, ..., n-1,
1 ・ n + 0, 1 ・ n + 1, ・ ・ 1, n + n−1,
...
(M-1) .n + 0, (m-1) .n + 1, ..., (m-1) .n-1
Are numbered.
ここで、データアドレスの最下位のラインサイズ分のビットを除いた値がデータファイルのブロック番号と対応し、そのうちのインデックスがライン番号を示し、タグが縦の列のラインブロックのどれが現在キャッシュに格納されているかを示す。 Here, the value excluding the bit corresponding to the lowest line size of the data address corresponds to the block number of the data file, the index of which indicates the line number, and which of the line blocks in the column whose tag is vertical is currently cached Is stored in
図2は、データファイルとキャッシュの関係を示す図1の動作説明図である。図2において、キャッシュ3は4つのブロックに分けられていて、各ブロックには左から順にライン番号L0〜L3が割り当てられている。
FIG. 2 is an operation explanatory diagram of FIG. 1 showing the relationship between the data file and the cache. In FIG. 2, the
内蔵ハードディスク1から読み出されるデータファイルに着目すると、キャッシュ3を分けたときと同じブロックサイズで区切られ、各ブロックには左から順にブロック番号B0〜B12が割り当てられるとともに、左から順に4ブロックをタグ単位としてタグ番号T0〜T3が割り当てられている。
Focusing on the data file read from the built-in
たとえばデータファイルのブロック番号B3が選択されたとき、そのデータはキャッシュ3のライン番号L3にロードされ、タグ番号はT0となる。また、データファイルのブロック番号B4が選択されたとき、そのデータはキャッシュ3のライン番号L0にロードされ、タグ番号はT1となる。
For example, when the block number B3 of the data file is selected, the data is loaded into the line number L3 of the
このような構成において、キャッシュサイズは任意の大きさに変更できるので、読み込むデータの大きさによってキャッシュサイズを調整することができ、波形表示やデータの解析時におけるパフォーマンスの向上が図れる。 In such a configuration, since the cache size can be changed to an arbitrary size, the cache size can be adjusted according to the size of the data to be read, and the performance can be improved during waveform display and data analysis.
また、データファイルはキャッシュ3で分けたときと同じブロックサイズで区切られるとともに、そのブロック単位でキャッシュ3への読み込みが制御されるので、データの重複読み込みを防止できる。
In addition, since the data file is divided by the same block size as that divided by the
キャッシュラインにデータファイルをロードするのにあたり、同時にタグ番号も記録しておくことにより、データアドレスのインデックスが示すラインのタグ番号とデータアドレスのタグを比較するだけで、参照したいデータが内部メモリ上にキャッシュされているか否かを的確に判定できる。 When loading a data file into the cache line, the tag number is recorded at the same time, so that the data to be referred can be stored in the internal memory simply by comparing the tag number of the line indicated by the index of the data address with the tag of the data address. It is possible to accurately determine whether or not it is cached.
なお、上記実施例では、デジタルオシロスコープに内蔵されているハードディスクから大量の波形データをキャッシュに読み込む例について説明したが、各種組み込み機器における各種データファイルのキャッシュへの読み込みにも適用できる。 In the above-described embodiment, an example in which a large amount of waveform data is read into the cache from the hard disk built in the digital oscilloscope has been described. However, the present invention can also be applied to reading various data files into the cache in various embedded devices.
以上説明したように、本発明によれば、内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを調整でき、キャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行えるデータ処理装置が実現でき、大量データのキャッシュへの読み込みに好適である。 As described above, according to the present invention, in performing data transfer using the internal memory as a cache, it is possible to adjust the read size, prevent re-reading of data read into the cache, and A data processing apparatus that can easily manage read data can be realized, and is suitable for reading a large amount of data into a cache.
1 内蔵ハードディスク
3 キャッシュ(内部メモリ)
1 Internal
Claims (2)
前記内部メモリをダイレクトマッピング方式で制御することを特徴とするデータ処理装置。 In a data processing apparatus configured to transfer a data file using an internal memory as a cache,
A data processing apparatus for controlling the internal memory by a direct mapping method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010001203A JP2011141657A (en) | 2010-01-06 | 2010-01-06 | Data processor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010001203A JP2011141657A (en) | 2010-01-06 | 2010-01-06 | Data processor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011141657A true JP2011141657A (en) | 2011-07-21 |
Family
ID=44457469
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010001203A Pending JP2011141657A (en) | 2010-01-06 | 2010-01-06 | Data processor |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011141657A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134650A (en) * | 2019-04-28 | 2019-08-16 | 深圳市腾讯网域计算机网络有限公司 | A kind of file loading method, device, equipment and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08328959A (en) * | 1995-05-31 | 1996-12-13 | Mitsubishi Electric Corp | Disk cache controller |
| JPH09167116A (en) * | 1995-12-01 | 1997-06-24 | Hewlett Packard Co <Hp> | Computer cache system |
| JP2000227865A (en) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | Device and method for recording and reproducing information for segment cache system |
| JP2002361944A (en) * | 2001-06-07 | 2002-12-18 | Hitachi Koki Co Ltd | Control method of inkjet recording apparatus |
| JP2005346215A (en) * | 2004-05-31 | 2005-12-15 | Sony Computer Entertainment Inc | Information processing apparatus and information processing method |
| JP2008107983A (en) * | 2006-10-24 | 2008-05-08 | Nec Electronics Corp | Cache memory |
| JP2008176731A (en) * | 2007-01-22 | 2008-07-31 | Toshiba Corp | Multiprocessor system |
-
2010
- 2010-01-06 JP JP2010001203A patent/JP2011141657A/en active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08328959A (en) * | 1995-05-31 | 1996-12-13 | Mitsubishi Electric Corp | Disk cache controller |
| JPH09167116A (en) * | 1995-12-01 | 1997-06-24 | Hewlett Packard Co <Hp> | Computer cache system |
| JP2000227865A (en) * | 1998-12-03 | 2000-08-15 | Olympus Optical Co Ltd | Device and method for recording and reproducing information for segment cache system |
| JP2002361944A (en) * | 2001-06-07 | 2002-12-18 | Hitachi Koki Co Ltd | Control method of inkjet recording apparatus |
| JP2005346215A (en) * | 2004-05-31 | 2005-12-15 | Sony Computer Entertainment Inc | Information processing apparatus and information processing method |
| JP2008107983A (en) * | 2006-10-24 | 2008-05-08 | Nec Electronics Corp | Cache memory |
| JP2008176731A (en) * | 2007-01-22 | 2008-07-31 | Toshiba Corp | Multiprocessor system |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110134650A (en) * | 2019-04-28 | 2019-08-16 | 深圳市腾讯网域计算机网络有限公司 | A kind of file loading method, device, equipment and storage medium |
| CN110134650B (en) * | 2019-04-28 | 2022-03-25 | 深圳市腾讯网域计算机网络有限公司 | File loading method, device, equipment and storage medium |
| US11907164B2 (en) | 2019-04-28 | 2024-02-20 | Tencent Technology (Shenzhen) Company Limited | File loading method and apparatus, electronic device, and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102584018B1 (en) | Apparatus, system and method for caching compressed data background | |
| KR101580454B1 (en) | Selecting between non-volatile memory units having different minimum addressable data unit sizes | |
| KR102080967B1 (en) | Hybrid storage | |
| US9229876B2 (en) | Method and system for dynamic compression of address tables in a memory | |
| US9251055B2 (en) | Memory system and control method of memory system | |
| KR101891428B1 (en) | Read cache memory | |
| US20160188227A1 (en) | Method and apparatus for writing data into solid state disk | |
| US20150120988A1 (en) | Method of Accessing Data in Multi-Layer Cell Memory and Multi-Layer Cell Storage Device Using the Same | |
| US11379155B2 (en) | System and method for flash storage management using multiple open page stripes | |
| RU2008133604A (en) | METHOD AND DEVICE FOR RECORDING HIGH-SPEED INPUT DATA IN THE MATRIX OF REMEMBERED DEVICES | |
| CN106201331A (en) | Method and apparatus for writing data and storage medium | |
| US20190034121A1 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
| JP2016167195A (en) | Storage device, storage control program, storage control method, and storage system | |
| WO2015087651A1 (en) | Device, program, recording medium, and method for extending service life of memory, | |
| KR20240073166A (en) | Controlled system management based on storage device thermal load | |
| US9286176B1 (en) | Selective skipping of blocks in an SSD | |
| JP2011141657A (en) | Data processor | |
| US20170052899A1 (en) | Buffer cache device method for managing the same and applying system thereof | |
| Le et al. | SMR disks for mass storage systems | |
| JP2014530422A (en) | Method and buffer system for controlling buffer mapping | |
| US20100088458A1 (en) | Operation method of memory | |
| KR102710288B1 (en) | Computing system using bit counter and its computing method | |
| US20160140034A1 (en) | Devices and methods for linked list array hardware implementation | |
| CN105141891A (en) | Alarm-ahead video caching method and device | |
| US11789700B2 (en) | Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131023 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131028 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131127 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20140224 |