[go: up one dir, main page]

JP2019193129A5 - - Google Patents

Download PDF

Info

Publication number
JP2019193129A5
JP2019193129A5 JP2018084774A JP2018084774A JP2019193129A5 JP 2019193129 A5 JP2019193129 A5 JP 2019193129A5 JP 2018084774 A JP2018084774 A JP 2018084774A JP 2018084774 A JP2018084774 A JP 2018084774A JP 2019193129 A5 JP2019193129 A5 JP 2019193129A5
Authority
JP
Japan
Prior art keywords
data
communication
dictionary
compressed
common dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP2018084774A
Other languages
Japanese (ja)
Other versions
JP2019193129A (en
Filing date
Publication date
Application filed filed Critical
Priority to JP2018084774A priority Critical patent/JP2019193129A/en
Priority claimed from JP2018084774A external-priority patent/JP2019193129A/en
Publication of JP2019193129A publication Critical patent/JP2019193129A/en
Publication of JP2019193129A5 publication Critical patent/JP2019193129A5/ja
Ceased legal-status Critical Current

Links

Description

また、主記憶装置202は、情報として、フロー情報(図5参照)をフロー情報保存部216に格納し、学習デバイスリスト(図6参照)を学習デバイスリスト保存部217に格納し、学習用データを学習用データ保存部218に格納し、共通辞書(図7参照)を共通辞書保存部219に格納する。 Further, the main storage device 202 stores the flow information (see FIG. 5) as information in the flow information storage unit 216, and stores the learning device list (see FIG. 6) in the learning device list storage unit 217, and is used for learning data. Is stored in the learning data storage unit 218, and the common dictionary (see FIG. 7) is stored in the common dictionary storage unit 219.

共通辞書700は、データ転送装置110によって圧縮される通信で共通して利用される圧縮辞書であって、共通辞書学習部(共通辞書学習プログラム)211による学習期間中、または運用中に作成され、また、更新され、事前に送受信側に展開される。また、共通辞書700は、通信データの圧縮時・展開時にマージされる。その詳細は、後述するが、図7(A)に示すとおりである。 Common dictionary 700 is created a pressure Chijimiji document that is commonly utilized in a communication that is compressed by the data transfer device 110, during the learning period by the common dictionary learning unit (common dictionary learning program) 211, or during operation It is also updated and deployed to the sending and receiving side in advance. Further, the common dictionary 700 is merged when the communication data is compressed and decompressed. The details will be described later, but it is as shown in FIG. 7 (A).

共通辞書学習部211は、端末100−1、100−2の通信先デバイスの通信データから学習用データを保存する学習用データ保存部218から学習用データ(生データ)を取得し、当該学習用データをもとに共通辞書700を作成し、共通辞書保存部219に保存する共通辞書学習機能を実行するものである。その詳細は、後述する。 The common dictionary learning unit 211 acquires learning data (raw data) from the learning data storage unit 218 that stores learning data from the communication data of the communication destination devices of the terminals 100-1 and 100-2, and for the learning. The common dictionary learning function of creating a common dictionary 700 based on the data and storing it in the common dictionary storage unit 219 is executed. The details will be described later.

図7(A)及び(B)は、共通辞書保存部219の共通辞書700及び一時辞書700’の一例を示す図である。 7 (A) and 7 (B) are diagrams showing an example of the common dictionary 700 and the temporary dictionary 700'of the common dictionary storage unit 219.

共通辞書700及び一時辞書700’は、通信データを圧縮するための情報を格納するエントリを含む。
共通辞書700のエントリは、符号key701と対応する記号列Value702、統計値をカウントし、共通辞書700に記憶する統計カウンタ703から構成される。一時辞書700’のエントリは、符号key701’と対応する記号列Value702’から構成される。
The common dictionary 700 and the temporary dictionary 700'include an entry for storing information for compressing communication data.
The entry of the common dictionary 700 is composed of a symbol string Value 702 corresponding to the code key 701, and a statistical counter 703 that counts statistical values and stores them in the common dictionary 700 . The entry of the temporary dictionary 700'composed of the code key701'and the corresponding symbol string Value702'.

Claims (10)

通信デバイスの学習期間における通信データから圧縮用の共通辞書を構築する共通辞書学習部と、
ネットワークへ送信するデータをもとに前記共通辞書へエントリを追加しながら前記送信するデータの圧縮を行う符号化部と、
前記ネットワークを介して受信したデータに含まれる一時辞書と前記圧縮されたデータをもとに前記受信したデータの復号化を行う復号化部と、
前記共通辞書へ追加したエントリを一時辞書として、前記圧縮したデータと共に前記ネットワークへ送信し、前記ネットワークを介して受信した前記一時辞書を含む前記圧縮されたデータを受信する転送制御部と、
を備えることを特徴とするデータ転送装置。
A common dictionary learning unit that builds a common dictionary for compression from communication data during the learning period of the communication device,
An encoding unit that compresses the data to be transmitted while adding an entry to the common dictionary based on the data to be transmitted to the network.
A temporary dictionary included in the data received via the network, a decoding unit that decodes the received data based on the compressed data, and a decoding unit.
A transfer control unit that transmits the entry added to the common dictionary as a temporary dictionary together with the compressed data to the network, and receives the compressed data including the temporary dictionary received via the network.
A data transfer device comprising.
請求項1に記載されたデータ転送装置において、
学習データ選別部をさらに有し、
前記学習データ選別部は、
通信先デバイスごとに、通信パラメータの統計を学習デバイスリスト保存部に記憶し、
該統計値の差が所定の値以下である通信先デバイスが複数ある場合、前記通信先デバイスのうち一部の通信データを学習用の通信データから除外する
ことを特徴とするデータ転送装置。
In the data transfer device according to claim 1,
It also has a learning data selection unit,
The learning data selection unit
For each communication destination device, the statistical values of communication parameters are stored in the learning device list storage unit.
If the communication destination device the difference between those該統meter value is less than the predetermined value is a plurality, the data transfer apparatus characterized by excluding a part of the communication data from the communication data for learning of the communication destination device ..
複数の通信先デバイス間で通信データを、ネットワークを介して転送するデータ転送装置であって、
共通辞書学習部、符号化部、復号化部、転送制御部、を有し、
前記共通辞書学習部は、
前記転送制御部を介して受信した学習期間における通信データのコピーから前記通信データを圧縮するための情報を含む共通辞書を構築し、
前記符号化部は、
前記転送制御部から通信先デバイスのデバイス情報及び通信データを受け、当該通信データをもとに前記共通辞書へエントリを追加し、前記通信先デバイスから送信する前記通信データの圧縮を行い、
前記復号化部は、
前記符号化部にて圧縮された通信データを受信し、当該圧縮された通信データに含まれる一時辞書をもとに当該圧縮されたデータの復号化を行い、
前記転送制御部は、
前記共通辞書に追加したエントリを一時辞書として、前記符号化部にて符号化された圧縮データとともに、前記ネットワークを介して前記通信先デバイスへ送信し、
また、前記復号化部にて復号化された非圧縮データを、前記ネットワークを介して受信した前記一時辞書を含む前記圧縮データを受信する
ことを特徴とするデータ転送装置。
A data transfer device that transfers communication data between multiple communication destination devices via a network.
It has a common dictionary learning unit, encoding unit, decoding unit, and transfer control unit.
The common dictionary learning unit
A common dictionary containing information for compressing the communication data is constructed from a copy of the communication data in the learning period received via the transfer control unit.
The coding unit is
The device information and communication data of the communication destination device are received from the transfer control unit, an entry is added to the common dictionary based on the communication data, and the communication data transmitted from the communication destination device is compressed.
The decoding unit
The communication data compressed by the coding unit is received, and the compressed data is decoded based on the temporary dictionary included in the compressed communication data.
The transfer control unit
The entry added to the common dictionary is used as a temporary dictionary and transmitted to the communication destination device via the network together with the compressed data encoded by the coding unit.
Further, a data transfer device characterized in that the uncompressed data decoded by the decoding unit is received via the network and the compressed data including the temporary dictionary is received.
請求項1又は3に記載されたデータ転送装置において、
前記共通辞書は、前記通信データを圧縮するための情報を格納するエントリを含み、当該エントリは、符号、記号列を含む、前記通信データを圧縮するための情報であり、
前記符号化部は、前記通信データを符号化するとき、当該通信データに記号列が含まれているとき、前記記号列を前記符号に変換し、
前記復号化部は、前記圧縮されたデータを復号化するとき、前記符号を前記記号列に復元する
ことを特徴とすることを特徴とするデータ転送装置。
In the data transfer device according to claim 1 or 3.
The common dictionary includes an entry for storing information for compressing the communication data, and the entry is information for compressing the communication data including a code and a symbol string.
When encoding the communication data, the coding unit converts the symbol string into the code when the communication data contains a symbol string.
The decoding unit is a data transfer device, characterized in that, when decoding the compressed data, the code is restored to the symbol string.
請求項1又は3に記載されたデータ転送装置において、
前記共通辞書学習部は、
前記共通辞書を構築するとき、
通信先デバイスごとに通信パラメータの統計を記憶し、
前記統計値が所定の値以下の場合、
前記通信先デバイスのうち一部の通信データを学習用データから除外する
ことを特徴とするデータ転送装置。
In the data transfer device according to claim 1 or 3.
The common dictionary learning unit
When constructing the common dictionary
Storing the statistical value of the communication parameter for each communication destination device,
If the statistics value is less than a predetermined value,
A data transfer device characterized in that a part of communication data among the communication destination devices is excluded from learning data.
第1ネットワークと第2ネットワークの間に請求項1又は3に記載されたデータ転送装置を設け、複数の端末の間で通信データの転送を可能とするネットワークシステム。 The claim 1 or between the first network and the second network providing the data transfer apparatus according to 3, the network system allowing the transfer of communication data between the plurality of terminals. 通信デバイスの学習期間における通信データから圧縮用の共通辞書を構築する共通辞書学習ステップと、
ネットワークへ送信するデータをもとに前記共通辞書へエントリを追加しながら前記送信するデータの圧縮を行う符号化ステップと、
前記ネットワークを介して受信したデータに含まれる一時辞書と前記圧縮されたデータをもとに前記受信したデータの復号化を行う復号化ステップと、
前記共通辞書へ追加したエントリを一時辞書として、前記圧縮したデータと共に前記ネットワークへ送信し、前記ネットワークを介して受信した前記一時辞書を含む前記圧縮されたデータを受信する転送制御ステップと、
を備えることを特徴とするデータ転送方法。
A common dictionary learning step that builds a common dictionary for compression from communication data during the learning period of the communication destination device,
A coding step that compresses the data to be transmitted while adding an entry to the common dictionary based on the data to be transmitted to the network.
A decoding step that decodes the received data based on the temporary dictionary included in the data received via the network and the compressed data, and
A transfer control step of transmitting the entry added to the common dictionary as a temporary dictionary together with the compressed data to the network, and receiving the compressed data including the temporary dictionary received via the network.
A data transfer method characterized by comprising.
複数の通信先デバイス間で通信データを転送するデータ転送方法であって、
転送制御部を介して受信した学習期間における通信データのコピーから前記通信データを圧縮するための情報を含む共通辞書を構築する共通辞書学習ステップと、
前記転送制御部から通信先デバイスのデバイス情報及び通信データを受け、当該通信データをもとに前記共通辞書へエントリを追加し、前記通信先デバイスから送信する前記通信データを圧縮する符号化ステップと、
前記符号化ステップにて圧縮された通信データを受信し、当該圧縮された通信データに含まれる一時辞書をもとに当該圧縮されたデータを復号化する復号化ステップと、
前記共通辞書に追加したエントリを一時辞書として、前記符号化ステップにて符号化された圧縮データとともに、前記通信先デバイスに送信し、前記復号化ステップにて復号化された非圧縮データを、ネットワークを介して受信した前記一時辞書を含む前記圧縮データを受信する転送制御ステップと、を有する
ことを特徴とするデータ転送方法。
A data transfer method that transfers communication data between multiple communication destination devices.
A common dictionary learning step of constructing a common dictionary containing information for compressing the communication data from a copy of the communication data received via the transfer control unit during the learning period, and
A coding step of receiving device information and communication data of a communication destination device from the transfer control unit, adding an entry to the common dictionary based on the communication data, and compressing the communication data transmitted from the communication destination device. ,
A decoding step that receives the communication data compressed in the coding step and decodes the compressed data based on the temporary dictionary included in the compressed communication data.
The entry added to the common dictionary as a temporary dictionary, together with the compressed data encoded in the encoding step, and transmitted to the communication destination device, the non-compressed data decrypted by the decoding step, Ne A data transfer method comprising: a transfer control step of receiving the compressed data including the temporary dictionary received via a network.
請求項7又は8に記載されたデータ転送方法において、
前記共通辞書は、前記通信データを圧縮するための情報を格納するエントリを含み、当該エントリは、符号、記号列からなり、
前記符号化ステップは、前記通信データを符号化するとき、当該通信データに記号列が含まれているとき、前記記号列を前記符号に変換し、
前記復号化ステップは、前記圧縮された通信データを復号化するとき、前記符号を前記記号列に復元する
ことを特徴とすることを特徴とするデータ転送方法。
In the data transfer method according to claim 7 or 8.
The common dictionary includes an entry for storing information for compressing the communication data, and the entry consists of a code and a symbol string.
When the communication data is encoded, the coding step converts the symbol string into the code when the communication data contains a symbol string.
The decoding step is a data transfer method, characterized in that, when decoding the compressed communication data, the code is restored to the symbol string.
請求項7又は8に記載されたデータ転送方法において、
前記共通辞書学習ステップは、
前記共通辞書を構築するとき、
前記通信先デバイスごとに通信パラメータの統計を記憶するステップ、
前記統計値が所定の値以下の場合、前記通信先デバイスのうち一部の通信データを学習用データから除外するステップを含む
ことを特徴とするデータ転送方法。
In the data transfer method according to claim 7 or 8.
The common dictionary learning step is
When constructing the common dictionary
A step of storing statistical values of communication parameters for each communication destination device,
If the statistics value is less than a predetermined value, the data transfer method which comprises a step of excluding a part of the communication data from the learning data of the communication destination device.
JP2018084774A 2018-04-26 2018-04-26 Data transfer device, data transfer method, and network system including data transfer device Ceased JP2019193129A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2018084774A JP2019193129A (en) 2018-04-26 2018-04-26 Data transfer device, data transfer method, and network system including data transfer device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018084774A JP2019193129A (en) 2018-04-26 2018-04-26 Data transfer device, data transfer method, and network system including data transfer device

Publications (2)

Publication Number Publication Date
JP2019193129A JP2019193129A (en) 2019-10-31
JP2019193129A5 true JP2019193129A5 (en) 2020-12-24

Family

ID=68391048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018084774A Ceased JP2019193129A (en) 2018-04-26 2018-04-26 Data transfer device, data transfer method, and network system including data transfer device

Country Status (1)

Country Link
JP (1) JP2019193129A (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000269822A (en) * 1999-03-12 2000-09-29 Fujitsu Ltd Data compression device and data decompression device
JP2001313673A (en) * 2000-05-01 2001-11-09 Ntt Docomo Inc Packet transmission method, packet relay device and data terminal
US6883035B2 (en) * 2000-11-16 2005-04-19 Telefonaktiebolaget Lm Ericsson (Publ) System and method for communicating with temporary compression tables
JP2006079507A (en) * 2004-09-13 2006-03-23 Matsushita Electric Ind Co Ltd E-mail device
JP5413153B2 (en) * 2009-11-26 2014-02-12 富士通株式会社 Data compression apparatus, data expansion apparatus, data compression program, and data expansion program
CN104283777B (en) * 2013-07-03 2018-08-21 华为技术有限公司 The method and apparatus of message compression
JP6686639B2 (en) * 2016-03-31 2020-04-22 富士通株式会社 Encoding program, encoding device, encoding method, decoding program, decoding device, and decoding method

Similar Documents

Publication Publication Date Title
US8718098B2 (en) Method for compressing and decompressing time stamp and equipment thereof
US20170230485A1 (en) Methods and systems for encoding/decoding files and transmissions thereof
US8300959B2 (en) Transport stream structure of image data having additional information inserted, and method and apparatus for transmission and reception thereof
KR20160074530A (en) Apparatus for transmitting broadcast signal, apparatus for receiving broadcast signal, method for transmitting broadcast signal and method for receiving broadcast signal
US10015285B2 (en) System and method for multi-stream compression and decompression
US20140006016A1 (en) Voice signal encoding and decoding method, device, and codec system
US20060115164A1 (en) Rice lossless compression module
JP2021072540A (en) Image encoding device, decoding device, transmission system, and control method for the same
CN105791527A (en) Method and device for transmitting address book of mobile terminal
KR20150126858A (en) Entropy modifier and method
US20150341651A1 (en) Jpeg file format based encoding and decoding method in mobile apparatus and device thereof
US8131091B2 (en) Method and apparatus for compressing text and image
CN109982091A (en) A kind of processing method and processing device of image
JP2019193129A5 (en)
CN111274950B (en) Feature vector data encoding and decoding method, server and terminal
US8446299B2 (en) Method and device for encoding and decoding of data in unique number values
GB2391736A (en) Encoding method wherein an LPS is encoded using either CODEMPS or CODELPS
CN117201797A (en) Remote sensing image data processing method, device, equipment and storage medium
KR101948403B1 (en) Communication system with coding mechanism and method of operation thereof
US20050013438A1 (en) Method for ciphering a compressed audio or video stream preserving the coding syntax
KR101890365B1 (en) Method and apparatus for error detection in compressed data
JP2016034118A (en) STREAM GENERATION DEVICE, RECEPTION DEVICE, AND PROGRAM THEREOF
CN118945237B (en) Method and apparatus for data compression and decompression
JPH10341345A (en) Image data processing system
Dhanawe et al. Hiding file on Android Mobile and Sending APK file through whats app using Steganography and Compression techniques