[go: up one dir, main page]

JP2011141657A - Data processor - Google Patents

Data processor Download PDF

Info

Publication number
JP2011141657A
JP2011141657A JP2010001203A JP2010001203A JP2011141657A JP 2011141657 A JP2011141657 A JP 2011141657A JP 2010001203 A JP2010001203 A JP 2010001203A JP 2010001203 A JP2010001203 A JP 2010001203A JP 2011141657 A JP2011141657 A JP 2011141657A
Authority
JP
Japan
Prior art keywords
data
cache
internal memory
read
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2010001203A
Other languages
Japanese (ja)
Inventor
Yumiko Amamiya
由美子 雨宮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yokogawa Electric Corp
Original Assignee
Yokogawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yokogawa Electric Corp filed Critical Yokogawa Electric Corp
Priority to JP2010001203A priority Critical patent/JP2011141657A/en
Publication of JP2011141657A publication Critical patent/JP2011141657A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Memory System Of A Hierarchy Structure (AREA)

Abstract

【課題】内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを調整でき、キャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行えるデータ処理装置を提供すること。
【解決手段】内部メモリをキャッシュとして使用してデータファイルを転送するように構成されたデータ処理装置において、前記内部メモリをダイレクトマッピング方式で制御することを特徴とするもの。
【選択図】図1
[PROBLEMS] To adjust the read size when performing data transfer using an internal memory as a cache, to prevent re-reading of data read into the cache, and to easily manage the data read into the cache To provide a data processing apparatus capable of
In a data processing apparatus configured to transfer a data file using an internal memory as a cache, the internal memory is controlled by a direct mapping method.
[Selection] Figure 1

Description

本発明は、データ処理装置に関し、詳しくは、デジタルオシロスコープなどの組み込み機器で内部メモリをキャッシュとして使用するように構成されたデータ処理装置の改良に関するものである。   The present invention relates to a data processing apparatus, and more particularly to an improvement in a data processing apparatus configured to use an internal memory as a cache in an embedded device such as a digital oscilloscope.

たとえばオシロスコープのような組み込み機器では、数十GBを超える大量の波形データが内蔵のハードディスクに保存されている。これら波形データについて画面表示やデータ解析を行うときには、データ容量が数十MB〜数百MBの内部メモリをキャッシュとして使用し、ハードディスクから波形データを読み込む必要がある。   For example, in an embedded device such as an oscilloscope, a large amount of waveform data exceeding several tens of GB is stored in a built-in hard disk. When performing screen display or data analysis on these waveform data, it is necessary to read the waveform data from the hard disk using an internal memory having a data capacity of several tens to several hundreds of MB as a cache.

ところが、ハードディスクに保存された波形データは膨大な量になるため、一度に全ての波形データを内部メモリに読み込むことはできない。そこで、表示や解析に必要な波形データのみを選択的に内部メモリに読み出すことになる。   However, since the waveform data stored in the hard disk becomes enormous, it is impossible to read all the waveform data into the internal memory at once. Therefore, only the waveform data necessary for display and analysis is selectively read out to the internal memory.

図3は、このような組み込み機器に実装されている内蔵ハードディスク内における従来のデータ転送例を示すブロック図である。図3において、内蔵ハードディスク1内に格納されている波形データは、ワークバッファ2→内部メモリ3の経路を経てデータ処理部4に読み出される。   FIG. 3 is a block diagram showing an example of conventional data transfer in a built-in hard disk mounted on such an embedded device. In FIG. 3, the waveform data stored in the internal hard disk 1 is read out to the data processing unit 4 through the path of the work buffer 2 → the internal memory 3.

内蔵ハードディスク1には、ファイルヘッダの格納領域1aと生データの格納領域1bと圧縮データの格納領域1cが設けられている。   The internal hard disk 1 is provided with a file header storage area 1a, a raw data storage area 1b, and a compressed data storage area 1c.

内部メモリ3の格納領域は、指定された所定の大きさで複数のブロックに分割されていて、図3の例では4つのブロックに分割されている。内部メモリ3の分割されたブロックには使用履歴に基づく優先順位がつけられていて、内部メモリ3上にないデータをハードディスク1のファイルから読み出す場合は、優先順位の低いブロックに読み込まれる。   The storage area of the internal memory 3 is divided into a plurality of blocks with a specified predetermined size. In the example of FIG. 3, the storage area is divided into four blocks. Priorities based on the usage history are given to the divided blocks of the internal memory 3, and when data that is not on the internal memory 3 is read from the file on the hard disk 1, it is read into a block with a lower priority.

特許文献1には、キャッシュミスを減少させてデータ読み出しを高速化でき、データの重複リフィルを防止する技術が説明されている。   Japanese Patent Application Laid-Open No. H10-228561 describes a technique that can reduce cache misses and increase the speed of data reading and prevent data duplication refilling.

特開2005−346215号公報JP 2005-346215 A

図4は、図3の動作説明図である。図4において、(A)は内部メモリ3を示し、4系統の測定チャネルCH1〜4が割り当てられている。(B)は1測定チャネルに割り当てられたキャッシュメモリを示し、4つのブロックが割り当てられている。(C)は内蔵ハードディスク1の内部に格納されている波形データの一例を示している。   FIG. 4 is an explanatory diagram of the operation of FIG. 4A shows the internal memory 3, and four measurement channels CH1 to CH4 are assigned. (B) shows a cache memory allocated to one measurement channel, and four blocks are allocated. (C) shows an example of waveform data stored in the internal hard disk 1.

ところで、波形演算などで必要なデータは、たとえば図4(C)に斜線で塗りつぶして示すように大量なデータのうちの一部分だけである。しかし、従来のデータ転送方式ではデータ読み込みサイズが一義的に決められているため、必要なデータ以外の範囲も読み込まなければならない。   By the way, data necessary for waveform calculation or the like is only a part of a large amount of data as shown by hatching in FIG. However, since the data reading size is uniquely determined in the conventional data transfer method, a range other than the necessary data must be read.

図5も図3の動作説明図であり、読み込みデータが重なっている場合の動作を示すものであって、(A)は内蔵ハードディスク1の内部に格納されている波形データの一例を示し、(B)は1測定チャネルに割り当てられたキャッシュメモリを示している。   FIG. 5 is also a diagram for explaining the operation of FIG. 3, and shows the operation when the read data overlaps. FIG. 5A shows an example of waveform data stored in the internal hard disk 1. B) shows a cache memory allocated to one measurement channel.

図5(A)において、波形演算(最大値、最小値の計算など)に使用する領域A1と波形拡大表示に使用する領域A2との一部が斜線で塗りつぶして示すように重なり合っている。   In FIG. 5A, a region A1 used for waveform calculation (calculation of maximum value, minimum value, etc.) and a region A2 used for waveform enlargement display are overlapped so as to be shaded.

図5(B)において、内蔵ハードディスク1から同じ波形データが、一方A1を波形演算用とし、他方A2を波形拡大表示用として、斜線で塗りつぶして示すように異なる2箇所のブロックに読み込まれている。   In FIG. 5B, the same waveform data is read from the built-in hard disk 1 into two different blocks as shown by hatching, with one A1 used for waveform calculation and the other A2 used for waveform enlargement display. .

図5のような状況において、2重に波形データが読み込まれないようにするためには、波形データがどこに読み込まれているのかを細かく管理すればよいが、読み込む波形データが大量であるため管理オーバーヘッドがかかり、パフォーマンスが低下してしまうという新たな問題が発生することになる。   In order to prevent the waveform data from being read twice in the situation as shown in FIG. 5, it is only necessary to finely manage where the waveform data is read. A new problem arises that overhead is added and performance is degraded.

本発明は、これらの問題を解決するものであり、その目的は、内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを調整でき、キャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行えるデータ処理装置を提供することにある。   The present invention solves these problems, and the purpose of the present invention is to adjust the read size when data transfer is performed using the internal memory as a cache, and to reload the data read into the cache. It is an object of the present invention to provide a data processing device that can prevent data and can easily manage data read into a cache.

このような課題を達成するために、本発明のうち請求項1記載の発明は、
内部メモリをキャッシュとして使用してデータファイルを転送するように構成されたデータ処理装置において、
前記内部メモリをダイレクトマッピング方式で制御することを特徴とする。
In order to achieve such a problem, the invention according to claim 1 of the present invention is:
In a data processing apparatus configured to transfer a data file using an internal memory as a cache,
The internal memory is controlled by a direct mapping method.

請求項2記載の発明は、請求項1に記載のデータ処理装置において、
前記データファイルを、前記キャッシュで扱う任意のデータブロックサイズで分割された行方向のライン番号と列方向のタグ番号で管理することを特徴とする。
The invention according to claim 2 is the data processing apparatus according to claim 1,
The data file is managed by a line number in a row direction and a tag number in a column direction divided by an arbitrary data block size handled by the cache.

本発明のデータ処理装置によれば、内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを任意に調整できてキャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行える。   According to the data processing device of the present invention, when performing data transfer using the internal memory as a cache, the read size can be arbitrarily adjusted to prevent re-reading of the data read into the cache, and to the cache. Easy management of the loaded data.

本発明の一実施例を示すブロック図である。It is a block diagram which shows one Example of this invention. 図1の動作説明図である。It is operation | movement explanatory drawing of FIG. 従来のデータ転送例を示すブロック図である。It is a block diagram which shows the example of the conventional data transfer. 図3の動作説明図である。It is operation | movement explanatory drawing of FIG. 図3の他の動作説明図である。FIG. 4 is another operation explanatory diagram of FIG. 3.

以下、本発明について、図面を用いて詳細に説明する。図1は本発明の一実施例を示すブロック図であり、図3と共通する部分には同一の符号を付けている。   Hereinafter, the present invention will be described in detail with reference to the drawings. FIG. 1 is a block diagram showing an embodiment of the present invention, and the same reference numerals are given to portions common to FIG.

図1において、内部メモリ3を、大量な波形データファイルのキャッシュとして使用する。なお、キャッシュ3の制御にあたっては、ダイレクトマッピング方式を使用する。キャッシュ3で扱うひとまとまりのデータブロックをラインといい、任意のブロックサイズに分けられる。   In FIG. 1, the internal memory 3 is used as a cache for a large amount of waveform data files. In controlling the cache 3, a direct mapping method is used. A group of data blocks handled by the cache 3 is called a line and can be divided into arbitrary block sizes.

データファイルは、キャッシュ3を分けたときと同じブロックサイズで区切られ、データアドレスが各マス目の中に示したように、先頭から順に、
0、 1、 ・・、n−1、
1・n+0、 1・n+1、 ・・、1・n+n−1、
・・・
(m−1)・n+0、(m−1)・n+1、・・、(m−1)・n−1
と番号付けされている。
The data file is divided by the same block size as when the cache 3 is divided, and the data address is shown in the squares in order from the top,
0, 1, ..., n-1,
1 ・ n + 0, 1 ・ n + 1, ・ ・ 1, n + n−1,
...
(M-1) .n + 0, (m-1) .n + 1, ..., (m-1) .n-1
Are numbered.

ここで、データアドレスの最下位のラインサイズ分のビットを除いた値がデータファイルのブロック番号と対応し、そのうちのインデックスがライン番号を示し、タグが縦の列のラインブロックのどれが現在キャッシュに格納されているかを示す。   Here, the value excluding the bit corresponding to the lowest line size of the data address corresponds to the block number of the data file, the index of which indicates the line number, and which of the line blocks in the column whose tag is vertical is currently cached Is stored in

図2は、データファイルとキャッシュの関係を示す図1の動作説明図である。図2において、キャッシュ3は4つのブロックに分けられていて、各ブロックには左から順にライン番号L0〜L3が割り当てられている。   FIG. 2 is an operation explanatory diagram of FIG. 1 showing the relationship between the data file and the cache. In FIG. 2, the cache 3 is divided into four blocks, and line numbers L0 to L3 are assigned to the blocks in order from the left.

内蔵ハードディスク1から読み出されるデータファイルに着目すると、キャッシュ3を分けたときと同じブロックサイズで区切られ、各ブロックには左から順にブロック番号B0〜B12が割り当てられるとともに、左から順に4ブロックをタグ単位としてタグ番号T0〜T3が割り当てられている。   Focusing on the data file read from the built-in hard disk 1, it is divided by the same block size as when the cache 3 is divided, and each block is assigned block numbers B0 to B12 in order from the left, and is tagged with 4 blocks in order from the left. Tag numbers T0 to T3 are assigned as units.

たとえばデータファイルのブロック番号B3が選択されたとき、そのデータはキャッシュ3のライン番号L3にロードされ、タグ番号はT0となる。また、データファイルのブロック番号B4が選択されたとき、そのデータはキャッシュ3のライン番号L0にロードされ、タグ番号はT1となる。   For example, when the block number B3 of the data file is selected, the data is loaded into the line number L3 of the cache 3, and the tag number is T0. When the block number B4 of the data file is selected, the data is loaded into the line number L0 of the cache 3, and the tag number is T1.

このような構成において、キャッシュサイズは任意の大きさに変更できるので、読み込むデータの大きさによってキャッシュサイズを調整することができ、波形表示やデータの解析時におけるパフォーマンスの向上が図れる。   In such a configuration, since the cache size can be changed to an arbitrary size, the cache size can be adjusted according to the size of the data to be read, and the performance can be improved during waveform display and data analysis.

また、データファイルはキャッシュ3で分けたときと同じブロックサイズで区切られるとともに、そのブロック単位でキャッシュ3への読み込みが制御されるので、データの重複読み込みを防止できる。   In addition, since the data file is divided by the same block size as that divided by the cache 3 and reading into the cache 3 is controlled in units of blocks, it is possible to prevent redundant reading of data.

キャッシュラインにデータファイルをロードするのにあたり、同時にタグ番号も記録しておくことにより、データアドレスのインデックスが示すラインのタグ番号とデータアドレスのタグを比較するだけで、参照したいデータが内部メモリ上にキャッシュされているか否かを的確に判定できる。   When loading a data file into the cache line, the tag number is recorded at the same time, so that the data to be referred can be stored in the internal memory simply by comparing the tag number of the line indicated by the index of the data address with the tag of the data address. It is possible to accurately determine whether or not it is cached.

なお、上記実施例では、デジタルオシロスコープに内蔵されているハードディスクから大量の波形データをキャッシュに読み込む例について説明したが、各種組み込み機器における各種データファイルのキャッシュへの読み込みにも適用できる。   In the above-described embodiment, an example in which a large amount of waveform data is read into the cache from the hard disk built in the digital oscilloscope has been described. However, the present invention can also be applied to reading various data files into the cache in various embedded devices.

以上説明したように、本発明によれば、内部メモリをキャッシュとして使用してデータ転送を行うのにあたり、読み込みサイズを調整でき、キャッシュに読み込まれているデータの再読み込みを防止できるとともに、キャッシュに読み込まれているデータの管理を容易に行えるデータ処理装置が実現でき、大量データのキャッシュへの読み込みに好適である。   As described above, according to the present invention, in performing data transfer using the internal memory as a cache, it is possible to adjust the read size, prevent re-reading of data read into the cache, and A data processing apparatus that can easily manage read data can be realized, and is suitable for reading a large amount of data into a cache.

1 内蔵ハードディスク
3 キャッシュ(内部メモリ)
1 Internal hard disk 3 Cache (internal memory)

Claims (2)

内部メモリをキャッシュとして使用してデータファイルを転送するように構成されたデータ処理装置において、
前記内部メモリをダイレクトマッピング方式で制御することを特徴とするデータ処理装置。
In a data processing apparatus configured to transfer a data file using an internal memory as a cache,
A data processing apparatus for controlling the internal memory by a direct mapping method.
前記データファイルを、前記キャッシュで扱う任意のデータブロックサイズで分割された行方向のライン番号と列方向のタグ番号で管理することを特徴とする請求項1に記載のデータ処理装置。   The data processing apparatus according to claim 1, wherein the data file is managed by a line number in a row direction and a tag number in a column direction divided by an arbitrary data block size handled by the cache.
JP2010001203A 2010-01-06 2010-01-06 Data processor Pending JP2011141657A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010001203A JP2011141657A (en) 2010-01-06 2010-01-06 Data processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010001203A JP2011141657A (en) 2010-01-06 2010-01-06 Data processor

Publications (1)

Publication Number Publication Date
JP2011141657A true JP2011141657A (en) 2011-07-21

Family

ID=44457469

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010001203A Pending JP2011141657A (en) 2010-01-06 2010-01-06 Data processor

Country Status (1)

Country Link
JP (1) JP2011141657A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134650A (en) * 2019-04-28 2019-08-16 深圳市腾讯网域计算机网络有限公司 A kind of file loading method, device, equipment and storage medium

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08328959A (en) * 1995-05-31 1996-12-13 Mitsubishi Electric Corp Disk cache controller
JPH09167116A (en) * 1995-12-01 1997-06-24 Hewlett Packard Co <Hp> Computer cache system
JP2000227865A (en) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd Device and method for recording and reproducing information for segment cache system
JP2002361944A (en) * 2001-06-07 2002-12-18 Hitachi Koki Co Ltd Control method of inkjet recording apparatus
JP2005346215A (en) * 2004-05-31 2005-12-15 Sony Computer Entertainment Inc Information processing apparatus and information processing method
JP2008107983A (en) * 2006-10-24 2008-05-08 Nec Electronics Corp Cache memory
JP2008176731A (en) * 2007-01-22 2008-07-31 Toshiba Corp Multiprocessor system

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08328959A (en) * 1995-05-31 1996-12-13 Mitsubishi Electric Corp Disk cache controller
JPH09167116A (en) * 1995-12-01 1997-06-24 Hewlett Packard Co <Hp> Computer cache system
JP2000227865A (en) * 1998-12-03 2000-08-15 Olympus Optical Co Ltd Device and method for recording and reproducing information for segment cache system
JP2002361944A (en) * 2001-06-07 2002-12-18 Hitachi Koki Co Ltd Control method of inkjet recording apparatus
JP2005346215A (en) * 2004-05-31 2005-12-15 Sony Computer Entertainment Inc Information processing apparatus and information processing method
JP2008107983A (en) * 2006-10-24 2008-05-08 Nec Electronics Corp Cache memory
JP2008176731A (en) * 2007-01-22 2008-07-31 Toshiba Corp Multiprocessor system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110134650A (en) * 2019-04-28 2019-08-16 深圳市腾讯网域计算机网络有限公司 A kind of file loading method, device, equipment and storage medium
CN110134650B (en) * 2019-04-28 2022-03-25 深圳市腾讯网域计算机网络有限公司 File loading method, device, equipment and storage medium
US11907164B2 (en) 2019-04-28 2024-02-20 Tencent Technology (Shenzhen) Company Limited File loading method and apparatus, electronic device, and storage medium

Similar Documents

Publication Publication Date Title
KR102584018B1 (en) Apparatus, system and method for caching compressed data background
KR101580454B1 (en) Selecting between non-volatile memory units having different minimum addressable data unit sizes
KR102080967B1 (en) Hybrid storage
US9229876B2 (en) Method and system for dynamic compression of address tables in a memory
US9251055B2 (en) Memory system and control method of memory system
KR101891428B1 (en) Read cache memory
US20160188227A1 (en) Method and apparatus for writing data into solid state disk
US20150120988A1 (en) Method of Accessing Data in Multi-Layer Cell Memory and Multi-Layer Cell Storage Device Using the Same
US11379155B2 (en) System and method for flash storage management using multiple open page stripes
RU2008133604A (en) METHOD AND DEVICE FOR RECORDING HIGH-SPEED INPUT DATA IN THE MATRIX OF REMEMBERED DEVICES
CN106201331A (en) Method and apparatus for writing data and storage medium
US20190034121A1 (en) Information processing apparatus, method and non-transitory computer-readable storage medium
JP2016167195A (en) Storage device, storage control program, storage control method, and storage system
WO2015087651A1 (en) Device, program, recording medium, and method for extending service life of memory,
KR20240073166A (en) Controlled system management based on storage device thermal load
US9286176B1 (en) Selective skipping of blocks in an SSD
JP2011141657A (en) Data processor
US20170052899A1 (en) Buffer cache device method for managing the same and applying system thereof
Le et al. SMR disks for mass storage systems
JP2014530422A (en) Method and buffer system for controlling buffer mapping
US20100088458A1 (en) Operation method of memory
KR102710288B1 (en) Computing system using bit counter and its computing method
US20160140034A1 (en) Devices and methods for linked list array hardware implementation
CN105141891A (en) Alarm-ahead video caching method and device
US11789700B2 (en) Information processing device, information processing system, and non-transitory computer-readable storage medium for storing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121204

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131028

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20140224