JP3957460B2 - 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム - Google Patents
伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム Download PDFInfo
- Publication number
- JP3957460B2 JP3957460B2 JP2001005960A JP2001005960A JP3957460B2 JP 3957460 B2 JP3957460 B2 JP 3957460B2 JP 2001005960 A JP2001005960 A JP 2001005960A JP 2001005960 A JP2001005960 A JP 2001005960A JP 3957460 B2 JP3957460 B2 JP 3957460B2
- Authority
- JP
- Japan
- Prior art keywords
- compression
- transmission
- moving image
- transmission header
- header
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000007906 compression Methods 0.000 title claims description 391
- 230000006835 compression Effects 0.000 title claims description 391
- 230000005540 biological transmission Effects 0.000 title claims description 302
- 238000000034 method Methods 0.000 claims description 28
- 230000002401 inhibitory effect Effects 0.000 claims 3
- 230000006837 decompression Effects 0.000 description 23
- 238000001514 detection method Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 10
- 230000005764 inhibitory process Effects 0.000 description 7
- 238000011084 recovery Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000007907 direct compression Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
- H04N21/643—Communication protocols
- H04N21/6437—Real-time Transport Protocol [RTP]
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Description
【発明の属する技術分野】
本発明は、伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システムに関し、特に、データ誤りや欠落などに起因した画像品質の低下を改善しようとしたものである。
【0002】
【従来の技術】
テレビ会議やVOD(ビデオオンデマンド)などの画像配信システムなど、画像を伝送する装置の開発や普及が進むとともに、画像の圧縮符号化についての国際標準として、ITU−T勧告のH.261、H.262、及び、H.263や、ISOのMPEGなどが定められてきた。これらの国際標準では、フレーム内符号化とフレーム間符号化によって符号化しているという特徴がある。
【0003】
インターネットなどの回線を利用してこれらの符号化による画像の圧縮データを実時間で伝送するために、インターネットの標準である、IETFのRFC(Request For Comment)は、インターネットにおけるリアルタイムプロトコル(RTP)をRFC1889(A Transport Protocol for Rea1−Time Applications)で規定している。また、RFC2508(Compressing IP/UDP/RTP Headers for Low−Speed Serial links)は、低速なシリアル回線を利用してリアルタイムデータを伝送するために、画像データに付与して伝送する伝送プロトコルのヘッダ(IPヘッダ、UDPヘッダ及びRTPヘッダ)を圧縮して使用帯域を削減する方法について記述している。
【0004】
この伝送プロトコルのヘッダ圧縮を用いた、従来の動画像伝送方法について説明する。端末の利用者がダイアルアップサーバにシリアル接続をし、ダイヤルアッブサーバが接続しているIPネットワークを通じて、動画像の配信サーバにアクセスし、配信サーバから動画像のデータを取得し、リアルタイムに再生するシステムを例に説明する。
【0005】
配信サーバ等の動画像データを送出する装置は、動画像データを送出する際に、H.263やMPEG−4によって圧縮符号化された符号化データに、RTPヘッダ、UDPヘッダ、IPヘッダを付与し、IPパケットとしてIPネットワークに送出する。
【0006】
IPネットワークに送出されたパケットは、IPルーティングに従って受信側とシリアル回線で接続しているダイアルアップルータに届けられる。ダイアルアップルータに組み込まれた伝送プロトコルのヘッダ圧縮手段によって、ダイヤルアップルータに届けられたRTPヘッダ等が含まれるパケット(後述する図7参照)中のRTPヘッダ、UDPヘッダ及びIPヘッダが圧縮される。
【0007】
ヘッダ圧縮されたパケットは、シリアル回線を介して端末に届けられる。端末では、ヘッダ圧縮されたパケットをヘッダ伸長手段が元のパケットに伸長して、H.263やMPEG−4などの復号化手段に与えられ、動画像データが再生される。
【0008】
図2は、従来の伝送ヘッダの圧縮伸長システムの構成を示すブロック図であり、図2(A)は伝送ヘッダ圧縮装置800の構成を示し、図2(B)は伝送ヘッダ伸長装置900の構成を示し、図2(C)は伝送ヘッダ圧縮装置800及び伝送ヘッダ伸長装置900のシステムでの位置関係を示している。
【0009】
伝送ヘッダ圧縮装置800及び伝送ヘッダ伸長装置900は、図2(C)に示すように、伝送路を挟んで対向している。
【0010】
伝送ヘッダ圧縮装置800において、伝送ヘッダ圧縮手段801は、IPネットワークから到来したIPパケットの各ヘッダ情報data(n)と前のパケットの各ヘッダ情報data(n−1)との差分情報Δ(n)(=data(n)−data(n−1))や、この差分情報Δ(n)と前のパケットの差分情報Δ(n−1)との差分情報ΔΔ(n)(=Δ(n)−Δ(n−1))を、ヘッダ情報data(n)の圧縮ヘッダ情報とし、元のヘッダを再構成したパケットをシリアル伝送手段802へ与える。シリアル伝送手段802は、シリアル回線用の通信手順を用い、対向する伝送ヘッダ伸長装置900のシリアル受信手段901へとデータ(伝送ヘッダ圧縮パケット)を送出する。
【0011】
シリアル受信手段901は、所定の通信手順により受信したデータ(伝送ヘッダ圧縮パケット)を伝送ヘッダ伸長手段902に与える。伝送ヘッダ伸長手段902は、前のパケットのヘッダ情報data(n−1)や差分情報Δ(n−1)を保持し、与えられた差分情報Δ(n)と、差分情報の差分情報ΔΔ(n)とを元に、圧縮ヘッダを元のヘッダ情報data(n)へと伸長する。
【0012】
また、上述した伝送ヘッダ圧縮手段801は、ヘッダ圧縮したパケット毎に通し番号を付与し、送信データと共に送出する。伝送ヘッダ伸長手段902は、この通し番号が連続していないときに伝送路中におけるパケットの損失を検知する。また、伝送ヘッダ伸長手段902は、パケット中のチェックサムが正しくないときは受け取ったパケットを破棄する。
【0013】
伝送中の損失や、伝送ヘッダ伸長手段902における破棄によってパケットが損失されると、伝送ヘッダ伸長手段902は、それ以降に受け取ったパケットのヘッダを伸長することができず、次にヘッダ圧縮していないパケットが到着するまで受け取ったパケットを破棄しつづけることになる。すなわち、同期の回復のため、伝送ヘッダ圧縮手段801では、定期的に伝送ヘッダを圧縮せずに送出している。
【0014】
【発明が解決しようとする課題】
ここで、H.263やMPEG−4などによる動画像符号化を行った動画像データを前述の伝送ヘッダ圧縮手段801を使って伝送する場合を検討する。
【0015】
これらの動画像符号化では、フレーム間符号化(インター符号化)を行っているため、伝送路中の損失などによって一度復号できないフレームが出現すると、フレーム内符号化(イントラ符号化)による画像を受け取るまで、以降のフレームにおいても正しく画像を復号することができなくなる。そこで、定期的にフレーム内符号化によって符号化を行っている。
【0016】
ここで、ヘッダ圧縮を用いて伝送するとき、伝送路でパケットが一度失われると、その後、伝送プロトコルのヘッダが非圧縮であるパケットを受け取って伝送プロトコルのヘッダを正しく伸長し、かつ、フレーム内符号化の動画像データを受け取るまで、伝送ヘッダ伸長装置900の下流側に位置する動画像復号化装置は画像を復号することができない。
【0017】
図3は、伝送ヘッダが非圧縮であるタイミングと、画像データがフレーム内符号化であるタイミングを図示したものである。
【0018】
横の直線は時間軸を示し、上から順に伝送ヘッダが非圧縮であるタイミング(1)、伝送する画像データがフレーム内符号化であるタイミング(2)を縦線の目盛りで示した。
【0019】
ここで、直線(3)の目盛り(3a)におけるパケットが伝送路中のエラーなどで損失したとする。伝送ヘッダが圧縮されていないパケットが目盛り(1b)で到着するまで、圧縮された伝送ヘッダを伸長することができず、伝送ヘッダ伸長手段902は受信パケットを破棄し続ける。
【0020】
目盛り(1b)以降は、伝送ヘッダを正しく伸長し、伝送パケットを出力するが、後段の図示しない動画像復号化装置では、参照する画像データが欠落しているため、正しく画像を復号することができず、目盛り(2c)のフレーム内符号化の画像データが到着するまで、正しく画像を再生することができない。すなわち、目盛り(3a)でエラーが発生すると、区間(4)で示す間、正しい画像を再生することができない。
【0021】
さらに、目盛り(3a)のエラーに続き、目盛り(3b)でエラーが発生すると、伝送ヘッダ非圧縮のパケットを目盛り(1c)で受け取り、伝送ヘッダの伸長が可能になった後、目盛り(2d)でフレーム内符号化の画像データを動画像復号化装置が受け取るまで、つまり、区間(5)の間、正しい画像の再生をすることができない。
【0022】
また、伝送ヘッダ伸長装置900がさらに伝送路に出力をする場合において、伝送ヘッダが正しく伸長されれば、動画像復号化装置が正しい画像の再生に利用できない画像データでも、伝送ヘッダ伸長装置900はデータを伝送路に出力するので、無駄な帯域を使用することになる。
【0023】
そのため、適宜、フレーム間符号化された動画像データをデータ部に含む、しかも伝送ヘッダが圧縮されているパケットが、伝送路におけるエラーなどによって損失した場合にも、正しい画像を復号できるように回復するまでの時間を短縮できる、また、動画像の復号に使うことのできないパケットによって伝送帯域が占有されることを軽減できる伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システムが望まれている。
【0024】
【課題を解決するための手段】
かかる課題を解決するため、本発明の伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システムにおいては、伝送ヘッダ圧縮装置が伝送ヘッダの圧縮を禁止するタイミングと、動画像符号化装置がフレーム内符号化方式を適用したタイミングとを同期化させた。
【0025】
【発明の実施の形態】
(A)第1の実施形態
以下、本発明による伝送ヘッダ圧縮装置及び動画像伝送システムの第1の実施形態を図面を参照しながら詳述する。
【0026】
なお、この第1の実施形態及び後述する各実施形態共に、ネットワーク(伝送プロトコル)等の種類は限定されるものではないが、以下では、ネットワークの種類を特定して説明する。
【0027】
第1の実施形態は、IPネットワークより受信したRTPのパケットをヘッダ圧縮し、シリアル回線などによって端末に送出する伝送ヘッダ圧縮装置において、動画像データのヘッダ情報からRTPパケットに含まれるデータがフレーム内符号化による動画像データか否かを判定し、フレーム内符号化が使われていると判定したら、伝送パケットのヘッダを圧縮せず、使われていないと判定したら伝送パケットのヘッダを圧縮してシリアル回線に送出し、シリアル回線上でのエラーからの回復を速めようとしたものである。
【0028】
(A−1)第1の実施形態の構成
図1は、第1の実施形態の伝送ヘッダ圧縮装置100の構成を示すブロック図である。
【0029】
なお、第1の実施形態の伝送ヘッダ圧縮装置100の上流側には、図示しない動画像符号化装置が設けられている。また、第1の実施形態の伝送ヘッダ圧縮装置100も、伝送路を挟んで、図示しない伝送ヘッダ伸長装置と接続しているものである(上記図2(C)参照)。さらに、伝送ヘッダ伸長装置の下流側には、図示しない動画像復号化装置が設けられている。
【0030】
図1において、第1の実施形態の伝送ヘッダ圧縮装置100は、伝送ヘッダ圧縮手段101と、シリアル伝送手段102と、圧縮・非圧縮制御手段103と、イントラ検知手段104とを有する。
【0031】
イントラ検知手段104は、IPネットワークからのIPパケットを受け取り、パケットにおけるIP、UDP、RTP、動画像データのそれぞれのヘッダ情報を読み取り、受信パケットがフレーム内符号化(イントラ符号化)による符号化データをデータ部に含む場合には圧縮・非圧縮制御手段103にその旨を通知し、受信パケットがフレーム間符号化(インター符号化)による符号化データをデータ部に含む場合には圧縮・非圧縮制御手段103にその旨を通知するものである。なお、受信パケットがフレーム間符号化による符号化データをデータ部に含む場合には、パケットの受信だけを通知するようにしても良い。すなわち、圧縮・非圧縮制御手段103が受信パケットのデータ部に含まれている符号化データがフレーム内符号化(イントラ符号化)かフレーム間符号化(インター符号化)のいずれによるものであるかを認識できるように通知するものであれば良い。
【0032】
イントラ検知手段104は、伝送ヘッダ圧縮手段101に対しては、受信パケットをそのまま引き渡す。
【0033】
圧縮・非圧縮制御手段103は、イントラ検知手段104からの通知内容に基づき、受信パケットがフレーム内符号化による符号化データを含むことを認識した場合には、伝送ヘッダ圧縮手段101にヘッダ圧縮を禁止する圧縮制御信号を与え、受信パケットがフレーム間符号化による符号化データを含むことを認識した場合には、伝送ヘッダ圧縮手段101にヘッダ圧縮を許可する圧縮制御信号を与えるものである。
【0034】
なお、圧縮・非圧縮制御手段103は、伝送ヘッダ圧縮手段101にヘッダ圧縮を禁止する圧縮制御信号だけを与え、伝送ヘッダ圧縮手段101は、圧縮制御信号が与えられないときには圧縮を許可しているとして処理するようにしても良い。
【0035】
伝送ヘッダ圧縮手段101は、ヘッダ圧縮を許可する圧縮制御信号が圧縮・非圧縮制御手段103から与えられているときは、従来の伝送ヘッダ圧縮手段801とほぼ同様に機能し、伝送ヘッダを圧縮したパケット(又は伝送ヘッダを圧縮しないパケットをシリアル伝送手段102に与える。一方、伝送ヘッダ圧縮手段101は、ヘッダ圧縮を禁止する圧縮制御信号を圧縮・非圧縮制御手段103から受け取ったときには、パケットを非圧縮で(圧縮することなく)シリアル伝送手段102に与える。
【0036】
シリアル伝送手段102は、従来のシリアル伝送手段802とほぼ同様にして、伝送ヘッダ圧縮手段101から受け取ったパケットをシリアル回線に出力するものである。
【0037】
(A−2)第1の実施形態の動作
次に、第1の実施形態の伝送ヘッダ圧縮装置100の動作を説明する。
【0038】
IPネットワークから到来したIPパケットは、イントラ検知手段104に入力される。
【0039】
ここで、その受信パケットが、データ部にフレーム内符号化(イントラ符号化)された動画像データを含むものであると、その旨がイントラ検知手段104から圧縮・非圧縮制御手段103に通知され、これにより、圧縮を禁止する圧縮制御信号が伝送ヘッダ圧縮手段101に与えられる。そのため、イントラ検知手段104から伝送ヘッダ圧縮手段101に与えられた受信パケットは、その伝送ヘッダが、圧縮されることなく、シリアル伝送手段102に与えられ、シリアル回線に送出される。
【0040】
これに対して、イントラ検知手段104に入力された受信パケットが、データ部にフレーム間符号化(インター符号化)された動画像データを含むものであると、圧縮・非圧縮制御手段103は、イントラ検知手段104からの通知に基づき、圧縮を許可する圧縮制御信号を伝送ヘッダ圧縮手段101に与える。これにより、受信パケットは、伝送ヘッダ圧縮手段101によって、圧縮許可状態の圧縮又は非圧縮が施され、その処理後のパケットが、シリアル伝送手段102に与えられてシリアル回線に送出される。
【0041】
ここで、伝送ヘッダ圧縮手段101は、圧縮許可状態では、常時、受信パケットの伝送ヘッダを圧縮するようにしても良く、また、内蔵するカウンタやタイマの計数値等に基づいて、圧縮許可状態でも、所定周期等で非圧縮のパケットをシリアル伝送手段102に出力するようにしても良い。前者の場合であっても、圧縮・非圧縮制御手段103から圧縮を禁止する圧縮制御信号が与えられたときには、非圧縮のパケットがシリアル伝送手段102から送出されるので、シリアル伝送手段102からは、適当な間隔をもって(フレーム内符号化の周期等)、非圧縮のパケットが送出されることになる。
【0042】
(A−3)第1の実施形態の効果
第1の実施形態の伝送ヘッダ圧縮装置及び動画像伝送システムによれば、伝送ヘッダ伸長装置へは、データ部の動画像データがフレーム内符号化されたデータである場合には、伝送ヘッダが圧縮されていないパケットが送出されるので、伝送ヘッダ伸長装置に至る伝送路におけるエラーなどによってパケットが損失した場合でも、圧縮伝送ヘッダを伸長できるタイミングと、動画像を正しい画像に復号できるタイミングとが整合し、これにより、動画像を復号できるように回復するまでの時間を短縮でき、また、動画像の復号に使うことのできないパケットによって、伝送ヘッダ伸長装置及び動画像復号化装置間の伝送帯域が無駄に占有されることを軽減することができる。
【0043】
以下、従来とのタイミングの比較によって、上記効果が発揮されていることを明らかにする。
【0044】
図4は、第1の実施形態の効果を説明するためのタイミングチャートであり、従来に係る図3のタイミングチャートと対応しているものである。図4において、横の直線は時間軸を示し、上から順に伝送ヘッダが非圧縮であるタイミング(6)と、伝送する動画像データがフレーム内符号化であるタイミング(7)とを、縦線の目盛りで示している。
【0045】
図3に示したように、従来では、伝送ヘッダの非圧縮のタイミングと、フレーム内符号化データがパケットに挿入されているタイミングとは無関係であり、その結果、パケットの損失時などに、正しい動画像を再生できるようになるまでの回復にはかなりの時間がかかっていた。
【0046】
今、従来例と同様に、直線(8)の目盛り(8a)におけるパケットが伝送路中のエラーなどで損失したとする。伝送ヘッダ非圧縮であるパケットが目盛り(6b)で到着するまで、圧縮された伝送ヘッダを伸長することができず、伝送ヘッダ伸長手段(図2の符号902参照)は、パケットを破棄し続け、その結果、動画像復号化装置には画像データが届けられない。
【0047】
しかしながら、第1の実施形態の場合には、目盛り(6b)において非圧縮の伝送ヘッダを含むパケットを受け取ると、以降のデータを正しく出力することができ、さらに、同じタイミングにおいてフレーム内符号化のデータを伝送しているので、最終的にパケットを受け取る動画像復号化装置に、フレーム内符号化データを届けることができ、正しい画像を再生させることができる。この回復に要する区間は区間(9)であり、従来例(図3)での同じ状況の回復にかかる区間(4)よりかなり短い。
【0048】
また、目盛り(8a)だけでなく、目盛り(8b)におけるパケットが損失したとする。この場合において、回復時点を始期とする区間(10)でのパケット(群)は、正しい動画像の再生に使用される。目盛り(8b)以降、目盛り(6c)におけるパケットを受け取るまでは(区間(11))、伝送ヘッダ伸長手段はパケットを破棄するが、目盛り(6c)以降のパケットは、上述したように、正しい動画像の復号に使用されるため、画像の再生が可能となる。従来例(図3)での同じ状況と比較した場合、従来では、区間(5)のパケットは全て動画像の復号に利用できないが、第1の実施形態の場合には、動画像の復号に利用できないパケット区間は区間(9)及び(11)であり、上述した区間(5)よりかなり短い。
【0049】
(B)第2の実施形態
次に、本発明による伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システムの第2の実施形態を図面を参照しながら詳述する。
【0050】
第2の実施形態は、伝送ヘッダ圧縮装置が動画像符号化装置と協働して、従来の課題を解決しようとしたものである。
【0051】
(B−1)第2の実施形態の構成
図5は、第2の実施形態の動画像符号化装置500及び伝送ヘッダ圧縮装置200の構成を示すブロック図である。
【0052】
ここで、動画像符号化装置500は、動画像符号化手段501及び伝送ヘッダ付与手段502を有し、伝送ヘッダ圧縮装置200は、伝送ヘッダ圧縮手段201、シリアル伝送手段202、圧縮・非圧縮制御手段203及び圧縮・非圧縮判定手段204を有する。
【0053】
なお、この第2の実施形態の場合、伝送ヘッダ圧縮装置200が動画像符号化装置500と直接接続されている場合を想定している。
【0054】
第2の実施形態において、動画像符号化手段501は、入力された動画像データを、1画像を縦横に複数に分割した所定大きさの領域(例えば、いわゆるマクロブロックやブロック)毎に、フレーム内符号化又はフレーム間符号化を適用して圧縮し、圧縮後の動画像データを伝送ヘッダ付与手段502に与えるものである。
【0055】
伝送ヘッダ付与手段502は、動画像符号化手段501からの動画像データに、伝送ヘッダを付与してパケットとして完成させて、伝送ヘッダ圧縮装置200に送出するものである。なお、以上のように、符号化後の動画像データに伝送ヘッダを付与したものをパケットと呼んでいる。
【0056】
この第2の実施形態の場合、動画像符号化手段501は、以上のような公知の機能に加え、1画像中におけるフレーム内符号化を適用した領域の割合(図5ではイントラ割合と表記している)を、伝送ヘッダ圧縮装置200に通知する機能をも担っている。
【0057】
伝送ヘッダ圧縮装置200において、圧縮・非圧縮判定手段204は、動画像符号化装置500から、イントラ割合の通知を受け取ると、そのイントラ割合が閾値割合を超えているか否かを判定し、超えていれば、圧縮・非圧縮制御手段203に対して、イントラ割合通知と並行して動画像符号化装置500から到来しているパケットのデータ部がフレーム内符号化である旨を通知する。
【0058】
ここで、閾値割合は、一部の領域にフレーム間符号化されているデータが含まれていても、全体がフレーム内符号化されているとみなすものであるので、かなりの高率に選定されている。
【0059】
なお、圧縮・非圧縮判定手段204を省略し、圧縮・非圧縮判定手段204の機能を動画像符号化装置500側(例えば動画像符号化手段501)に持たせ、動画像符号化装置500から直接圧縮・非圧縮制御手段203に全体がフレーム内符号化とみなせるか否かを通知させるようにしても良い。
【0060】
また、動画像符号化装置500からのイントラ割合の通知を実行せず、圧縮・非圧縮判定手段204が受信したパケットから、イントラ割合を検知するものであっても良い。
【0061】
圧縮・非圧縮制御手段203は、圧縮・非圧縮判定手段204からフレーム内符号化であるという通知を受けると、圧縮を禁止する圧縮制御信号を伝送ヘッダ圧縮手段201に出力し、一方、フレーム内符号化であるという通知が与えられていない状況では圧縮を許可する圧縮制御信号を伝送ヘッダ圧縮手段201に継続して出力する。
【0062】
伝送ヘッダ圧縮手段201は、圧縮・非圧縮制御手段203からの圧縮制御信号が圧縮を禁止しているときには、動画像符号化装置500から到来したパケットの伝送ヘッダを圧縮することなく、シリアル伝送手段202に与えるものである。また、伝送ヘッダ圧縮手段201は、圧縮・非圧縮制御手段203からの圧縮制御信号が圧縮を許可しているときには、動画像符号化装置500から到来したパケットの伝送ヘッダを、自手段201での圧縮・非圧縮の規則に従って、圧縮又は非圧縮し、処理後のパケットをシリアル伝送手段202に与えるものである。
【0063】
なお、伝送ヘッダ圧縮手段201が、常時は自動的に圧縮を許可する状態での圧縮処理(非圧縮の場合もある)を行い、圧縮・非圧縮制御手段203からの圧縮制御信号が圧縮を禁止しているときには強制的に圧縮を禁止するようにしても良い。この場合には、圧縮・非圧縮制御手段203は、圧縮を禁止する圧縮制御信号だけを出力することとなる。
【0064】
シリアル伝送手段202は、所定の通信手順に従って、伝送ヘッダ圧縮手段201からのパケットをシリアル回線に送出するものである。
【0065】
(B−2)第2の実施形態の動作
次に、第2の実施形態の動画像符号化装置500及び伝送ヘッダ圧縮装置200の動作を説明する。
【0066】
動画像符号化装置500において、伝送対象の動画像データは、動画像符号化手段501によって、領域毎にフレーム内符号化又はフレーム間符号化され、その符号化後の動画像データに対し、伝送ヘッダ付与手段502によって伝送ヘッダが付与されてパケットが形成され、そのパケットが伝送ヘッダ圧縮装置200に与えられる。また、動画像符号化手段501は、フレーム内符号化した領域の割合であるイントラ割合を求め、このイントラ割合も伝送ヘッダ圧縮装置200に与えられる。
【0067】
伝送ヘッダ圧縮装置200においては、動画像符号化装置500から通知されたイントラ割合が閾値割合を超えているか否かが、圧縮・非圧縮判定手段204によって判定される。
【0068】
ここで、イントラ割合が閾値割合を超えている場合には、動画像符号化装置500からのパケットがフレーム内符号化に係る旨が、圧縮・非圧縮判定手段204から圧縮・非圧縮制御手段203に通知される。これにより、圧縮・非圧縮制御手段203から伝送ヘッダ圧縮手段201に圧縮を禁止する圧縮制御信号が与えられ、動画像符号化装置500からのパケットは、その伝送ヘッダが圧縮されることなく、伝送ヘッダ圧縮手段201を通過してシリアル伝送手段202に与えられ、シリアル伝送手段202によってシリアル回線に送出される。
【0069】
これに対して、動画像符号化装置500から通知されたイントラ割合が閾値割合以下の場合には、圧縮・非圧縮判定手段204によってそのことが認識され、その結果、伝送ヘッダ圧縮手段201は、圧縮を許可されている通常状態を維持する。これにより、動画像符号化装置500からのパケットは、伝送ヘッダ圧縮手段201によって、圧縮許可状態の圧縮又は非圧縮が施され、その処理後のパケットが、シリアル伝送手段202に与えられてシリアル回線に送出される。
【0070】
(B−3)第2の実施形態の効果
この第2の実施形態によれば、動画像符号化装置500によって動画像データを、一部の領域でフレーム内符号化するような場合でも、フレーム内符号化した領域の割合が高い場合には、その動画像データを含むパケットの伝送ヘッダは圧縮されず、この場合には、第1の実施形態で詳述したとほぼ同様な効果を奏することができる。
【0071】
(C)第3の実施形態
次に、本発明による伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システムの第3の実施形態を図面を参照しながら詳述する。
【0072】
第3の実施形態も、第2の実施形態と同様に、伝送ヘッダ圧縮装置が動画像符号化装置と協働して、従来の課題を解決しようとしたものである。しかしながら、第2の実施形態が、伝送ヘッダ圧縮装置が動画像符号化装置の直後の後段に設けられているのに対して、第3の実施形態は、動画像符号化装置と伝送ヘッダ圧縮装置とはIPネットワークを介して接続されているという相違がある。
【0073】
(C−1)第3の実施形態の構成
図6は、第3の実施形態の動画像符号化装置600及び伝送ヘッダ圧縮装置300の構成を示すブロック図である。
【0074】
ここで、動画像符号化装置600は、動画像符号化手段601、伝送ヘッダ付与手段602、圧縮・非圧縮判定手段603、非圧縮通知パケット生成手段604及びIPパケット伝送手段605を有する。また、動画像符号化装置600が送出したIPパケットがIPネットワークを介して与えられる、伝送ヘッダ圧縮装置300は、伝送ヘッダ圧縮手段301、シリアル伝送手段302、圧縮・非圧縮制御手段303及びIPパケット受信手段304を有する。
【0075】
動画像符号化手段601は、第2の実施形態の動画像符号化手段501と同様に、動画像符号化処理と、イントラ割合の通知処理とを行うものであり、符号化処理後の動画像データを伝送ヘッダ付与手段602に与え、イントラ割合を圧縮・非圧縮判定手段603に通知するものである。
【0076】
伝送ヘッダ付与手段602は、動画像符号化手段601から受け取った動画像データに伝送ヘッダを付与して、図7に示すようなフォーマットに従っているIPパケットを形成してIPパケット伝送手段605に与えるものである。
【0077】
圧縮・非圧縮判定手段603は、動画像符号化手段601から通知されたイントラ割合を閾値割合と比較し、その結果である圧縮判定信号を非圧縮通知パケット生成手段604に与えるものである。
【0078】
ここで、圧縮・非圧縮判定手段603は、通知されたイントラ割合が閾値割合を超えているときに、動画像符号化手段601から伝送ヘッダ付与手段602への動画像データがフレーム内符号化によるものであることを示す圧縮判定信号を出力すると共に、通知されたイントラ割合が閾値割合以下のときに、動画像データがフレーム内符号化によらないものであることを示す圧縮判定信号を出力するようにしても良く、また、通知されたイントラ割合が閾値割合を超えているときに、動画像データがフレーム内符号化によるものであることを示す圧縮判定信号を出力し、通知されたイントラ割合が閾値割合以下のときには、圧縮判定信号を出力しないものであっても良い。後述する動作説明では後者として行う。
【0079】
非圧縮通知パケット生成手段604は、圧縮・非圧縮判定手段603からの圧縮判定信号に基づき、非圧縮通知パケットを適宜形成してIPパケット伝送手段605に与えるものである。
【0080】
ここで、非圧縮通知パケット生成手段604は、圧縮・非圧縮判定手段603からの圧縮判定信号の内容に応じ、圧縮を禁止する非圧縮通知パケット又は圧縮を許可する非圧縮通知パケットを生成するものであっても良く、また、圧縮・非圧縮判定手段603からの圧縮判定信号がフレーム内符号化を示している場合にのみ、圧縮を禁止する非圧縮通知パケットを生成するものであっても良い。後述する動作説明では後者として行う。
【0081】
IPパケット伝送手段605は、伝送ヘッダ付与手段602からのIPパケットと、非圧縮通知パケット生成手段604からの非圧縮通知パケットとを一緒にIPネットワークへ送出するものである。例えば、図7に示すフォーマットに従うIPパケットにおける動画像データ19の後段に非圧縮通知パケットをつなげて出力する。
【0082】
以上のようにして、動画像符号化装置600から出力されたIPパケット(及び非圧縮通知パケット)は、IPネットワークを介して、伝送ヘッダ圧縮装置300に到達する。
【0083】
伝送ヘッダ圧縮装置300において、IPパケット受信手段304は、IPネットワークからのIPパケットを受け取り、受け取ったIPパケットに非圧縮通知パケットが含まれている場合には、非圧縮通知パケットの内容(非圧縮通知)を圧縮・非圧縮制御手段303を与えるものである。また、IPパケット受信手段304は、受け取ったIPパケットに非圧縮通知パケットが含まれていない場合には、そのIPパケットをそのまま伝送ヘッダ圧縮手段301に与え、受け取ったIPパケットに非圧縮通知パケットが含まれている場合には、そのIPパケットから非圧縮通知パケットを除去して伝送ヘッダ圧縮手段301に与えるものである。
【0084】
ここで、IPパケット受信手段304は、非圧縮通知パケットの内容が非圧縮(圧縮禁止;フレーム内符号化によること)を指示しているときのみ、圧縮・非圧縮制御手段303に通知するものであっても良く、また、非圧縮(圧縮禁止)、圧縮(圧縮許可)共に、圧縮・非圧縮制御手段303に通知するものであっても良い。
【0085】
この第3の実施形態においても、伝送ヘッダ圧縮手段301、シリアル伝送手段302及び圧縮・非圧縮制御手段303の機能は、上述した第2の実施形態の対応要素と同様であるので、その説明は省略する。
【0086】
(C−2)第3の実施形態の動作
次に、第3の実施形態の動画像符号化装置600及び伝送ヘッダ圧縮装置300の動作を説明する。
【0087】
動画像符号化装置600において、伝送対象の動画像データは、動画像符号化手段601によって、領域毎にフレーム内符号化又はフレーム間符号化され、その符号化後の動画像データに対し、伝送ヘッダ付与手段602によって伝送ヘッダが付与されてIPパケットが形成され、そのIPパケットがIPパケット伝送手段605に与えられる。また、動画像符号化手段601は、フレーム内符号化した領域の割合であるイントラ割合を求め、このイントラ割合が圧縮・非圧縮判定手段603に与えられる。
【0088】
これにより、イントラ割合が閾値割合を超えているか否かが、圧縮・非圧縮判定手段603によって判定される。
【0089】
ここで、イントラ割合が閾値割合を超えている場合には、圧縮判定信号が圧縮・非圧縮判定手段603から非圧縮通知パケット生成手段604に与えられ、これにより、非圧縮通知パケット生成手段604によって非圧縮通知パケットが生成され、この非圧縮通知パケットが、IPパケット伝送手段605において、IPパケットに含むようにされてIPネットワークに送出される。
【0090】
これに対して、イントラ割合が閾値割合以下の場合には、圧縮・非圧縮判定手段603から圧縮判定信号が出力されず、その結果、非圧縮通知パケット生成手段604による非圧縮通知パケットの生成も行われず、IPパケット伝送手段605は、伝送ヘッダ付与手段602からのIPパケットをそのままIPネットワークに送出する。
【0091】
IPネットワークからIPパケットが到来すると、伝送ヘッダ圧縮装置300のIPパケット受信手段304によって、そのIPパケットに非圧縮通知パケットが含まれているかが判定される。
【0092】
非圧縮通知パケットが含まれていると、IPパケット受信手段304からは、その非圧縮通知パケットが除去されたIPパケットが伝送ヘッダ圧縮手段301に与えられ、また、非圧縮が圧縮・非圧縮制御手段303に通知される。これにより、圧縮・非圧縮制御手段303から伝送ヘッダ圧縮手段301に圧縮を禁止する圧縮制御信号が与えられ、IPパケットは、その伝送ヘッダが圧縮されることなく、伝送ヘッダ圧縮手段301を通過し、シリアル伝送手段302によってシリアル回線に送出される。
【0093】
一方、受信したIPパケットに非圧縮通知パケットが含まれていないと、IPパケット受信手段304からそのIPパケットが伝送ヘッダ圧縮手段301に与えられるが、圧縮・非圧縮制御手段303には何らの通知も与えられない。その結果、伝送ヘッダ圧縮手段301は、圧縮を許可されている通常状態を維持する。これにより、IPパケットは、伝送ヘッダ圧縮手段301によって、圧縮許可状態の圧縮又は非圧縮が施され、その処理後のパケットが、シリアル伝送手段302に与えられてシリアル回線に送出される。
【0094】
(C−3)第3の実施形態の効果
上記第3の実施形態によれば、動画像符号化装置600及び伝送ヘッダ圧縮装置300がIPネットワークを介して接続するシステムであっても、上述した第2の実施形態と同様な効果を奏することができる。
【0095】
(D−4)第4の実施形態
次に、本発明による伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システムの第4の実施形態を図面を参照しながら詳述する。
【0096】
上述した第1〜第3の実施形態は、適用されている動画像符号化方式に応じて、伝送ヘッダの圧縮禁止、圧縮許可を制御するものであった。これに対して、第4の実施形態は、伝送ヘッダの圧縮、非圧縮に応じて、適用する動画像符号化方式を制御するものである。
【0097】
(D−1)第4の実施形態の構成
図8は、第4の実施形態の動画像符号化装置700及び伝送ヘッダ圧縮装置400の構成を示すブロック図である。
【0098】
図8において、動画像符号化装置700は、動画像符号化手段701及び伝送ヘッダ付与手段702を有する。また、伝送ヘッダ圧縮装置400は、伝送ヘッダ圧縮手段401、シリアル伝送手段402及び圧縮・非圧縮制御手段403を有する。
【0099】
この第4の実施形態の動画像符号化手段701も、動画像データに対して動画像符号化を施して処理後の動画像データを伝送ヘッダ付与手段702に与えるものであるが、伝送ヘッダ圧縮装置400から非圧縮を指示する圧縮制御信号が到来したときには、強制的にフレーム内符号化を適用するものである。
【0100】
ここで、圧縮制御信号の到来時に強制的にフレーム内符号化方式を適用する動画像データのフレームは、到来時点での処理対象のフレームであっても良く、また、その次のフレームなど所定数だけ後のフレームであっても良い。
【0101】
伝送ヘッダ付与手段702は、符号化された動画像データに伝送ヘッダを付与し、形成されたパケットを伝送ヘッダ圧縮装置400に送出するものである。
【0102】
伝送ヘッダ圧縮装置400において、圧縮・非圧縮制御手段403は、例えば、タイマやカウンタを内蔵し、動画像符号化装置700からのパケットの所定個数毎に1回ずつ圧縮禁止(非圧縮)を示す圧縮制御信号を出力するものである。なお、圧縮を指示する圧縮制御信号を出力するようにしても良く、出力しないようにしても良く、少なくとも圧縮禁止(非圧縮)を示す圧縮制御信号は出力する。また、圧縮・非圧縮制御手段403は、図示しない伝送ヘッダ伸長装置からのデータ誤り通知信号が与えられたときに、圧縮禁止(非圧縮)を示す圧縮制御信号を出力するようにしても良い。
【0103】
このような圧縮制御信号は、伝送ヘッダ圧縮手段401に与えられるだけでなく、上述したように、動画像符号化装置700の動画像符号化手段701にも与えられる。
【0104】
なお、圧縮・非圧縮制御手段403は、伝送ヘッダ圧縮手段401に圧縮禁止(非圧縮)を示す圧縮制御信号を与える場合において、その与えるタイミングより所定時間だけ前に圧縮禁止(非圧縮)を示す圧縮制御信号を動画像符号化装置700に与えるようにしても良い。例えば、所定時間としては、動画像符号化手段701が圧縮制御信号に基づいて強制的にフレーム内符号化方式を適用し、その符号化による動画像データを含むパケットが伝送ヘッダ圧縮手段401に到達するのに要する時間を適用することができる。
【0105】
第4の実施形態の伝送ヘッダ圧縮手段401は、圧縮禁止(非圧縮)を示す圧縮制御信号が与えられたときには、動画像符号化装置700からのパケットの伝送ヘッダを圧縮することなく、シリアル伝送手段402に与えるものである。また、伝送ヘッダ圧縮手段401は、圧縮を示す圧縮制御信号が与えられたとき、又は、圧縮禁止(非圧縮)を示す圧縮制御信号が与えられていないときに、動画像符号化装置700からのパケットの伝送ヘッダを圧縮してシリアル伝送手段402に与えるものである。
【0106】
なお、上述した第1〜第3の実施形態の説明では、伝送ヘッダ圧縮手段101〜301が、動画像符号化装置からのパケットの所定個数毎に1回ずつの圧縮禁止(非圧縮)の決定機能を担うように記載したが、第4の実施形態では、そのような決定機能を圧縮・非圧縮制御手段403を有するとして説明しているので注意を要する。
【0107】
シリアル伝送手段402は、既述した第1〜第3の実施形態の対応要素と同様な機能を担うものである。
【0108】
なお、図8では、動画像符号化装置700及び伝送ヘッダ圧縮装置400がネットワークを介することなく接続している場合を示しているが、動画像符号化装置700及び伝送ヘッダ圧縮装置400がネットワークを介して接続されているもの(第3の実施形態参照)であっても良い。
【0109】
(D−2)第4の実施形態の動作
次に、第4の実施形態の動画像符号化装置700及び伝送ヘッダ圧縮装置400の動作を説明する。
【0110】
伝送ヘッダ圧縮装置400においては、圧縮・非圧縮制御手段403によって、伝送ヘッダを圧縮しないタイミングが決定され、そのタイミングにおいて、非圧縮を示す圧縮制御信号が伝送ヘッダ圧縮手段401、及び、動画像符号化装置700の動画像符号化手段701に与えられる。
【0111】
動画像符号化装置700において、符号化対象の動画像データは、動画像符号化手段701によって、符号化対象の動画像データの内容や、所定の周期等に基づいて、フレーム内符号化方式又はフレーム間符号化方式が適用されて符号化されるが、伝送ヘッダ圧縮装置400から非圧縮を指示する圧縮制御信号が与えられたときには、自装置での適用方式の決定方法に優先させ、符号化対象の動画像データはフレーム内符号化方式によって符号化される。
【0112】
伝送ヘッダ圧縮装置400からの圧縮制御信号に基づいた符号化を実行したか否かに拘わらず、符号化された動画像データには、伝送ヘッダ付与手段702によって伝送ヘッダが付与されてパケットが生成され、そのパケットが伝送ヘッダ圧縮装置400に与えられる。
【0113】
このようなパケットは、伝送ヘッダ圧縮装置400の伝送ヘッダ圧縮手段401に与えられる。伝送ヘッダ圧縮手段401には、上述したように、圧縮・非圧縮制御手段403から、適宜、非圧縮(圧縮禁止)を指示する圧縮制御信号が与えられ、パケットの受信時において、非圧縮(圧縮禁止)を指示する圧縮制御信号が与えられていれば、受信パケットが伝送ヘッダ圧縮手段401をそのまま通過し、非圧縮(圧縮禁止)を指示する圧縮制御信号が与えられていなければ、受信パケットは、伝送ヘッダ圧縮手段401によってその伝送ヘッダが圧縮される。そして、圧縮又は非圧縮のパケットがシリアル伝送手段402からシリアル回線に送出される。
【0114】
(D−3)第4の実施形態の効果
上記第4の実施形態によれば、伝送ヘッダの圧縮とほぼ同時に、動画像符号化手段701がフレーム内符号化をするので、シリアル回線でのパケット損失等があっても、図示しない動画像復号化装置での再生動画像の画質劣化からの回復を速めることができる。
【0115】
(E)他の実施形態
上記各実施形態においても、種々変形実施形態に言及したが、さらに、以下に例示するような変形実施形態を挙げることができる。
【0116】
第1の実施形態においては、イントラ検知手段104は動画像データのヘッダ情報からフレーム内符号化であることを検知しているが、動画像データの構文を解釈して、フレーム内符号化をしている領域の割合(イントラ割合)を認識し、イントラ割合が閾値を越えたらフレーム内符号化のデータと同様に非圧縮動作するようにしても良い。例えば、動画像データにおいては、領域毎にフレーム内符号化を適用しているかフレーム間符号化を適用しているかを捉えることができる情報も含まれている。
【0117】
また、上記各実施形態においては、フレーム内符号化をするか否かによって伝送ヘッダの圧縮、非圧縮を制御しているが、動画像データの同期をとるためのデータであるか否かを、例えば、動画像データのヘッダ情報から得て、伝送ヘッダの圧縮、非圧縮を制御することもできる。この場合も、間接的には、フレーム内符号化を認識していることになる。例えば、動画像データが欠落した際のエラー伝搬を防止すべく、一定周期等でいわゆるリフレッシュ(強制的なフレーム内符号化方式の適用)を行っており、リフレッシュの動画像データで示す情報が含まれていれば、伝送ヘッダを非圧縮とする。
【0118】
さらに、上記各実施形態では、伝送ヘッダを強制的に非圧縮とするのは、所定周期やフレーム内符号化であることを検出したときであったが、さらに、図示しない伝送ヘッダ伸長装置から正しくデータを受け取れなかったことを通知された場合にも非圧縮とするようにしても良い。なお、伝送ヘッダ伸長装置は、正しくデータを受け取った場合、受け取れなかった場合共に、その情報を伝送ヘッダ圧縮装置に送出するものであっても良い。
【0119】
さらにまた、上記第1〜第3の実施形態においては、フレーム内符号化を適用していることを検知するものを示したが、逆に、フレーム間符号化を適用していることを検知し、圧縮、非圧縮を制御するようにしても良い。この場合であっても、フレーム間符号化を適用していることを検知することは、フレーム内符号化を適用していることを検知することと等価であり、特許請求の範囲の表現は、この場合を含むものである。
【0120】
また、第1〜第3の実施形態におけるフレーム内符号化を適用していることに基づいて、伝送ヘッダを非圧縮とするという技術思想と、第4の実施形態における伝送ヘッダを非圧縮にすることに基づいて、強制的にフレーム内符号化を適用するという技術思想とは、どちらか一方のみを適用しても良いだけでなく、組み合わせて適用することもできる。
【0121】
圧縮対象の伝送ヘッダは、ヘッダの全てであってもその一部であっても良い。例えば、図7に示すIPヘッダ15、UDPヘッダ16、RTPヘッダ17及び画像ヘッダ18の全てが圧縮対象の場合であっても、その一部が圧縮対象の場合であっても本発明を適用することができる。なお、データ本体の後にフッタを有し、フッタが圧縮対象となっている場合にも、本発明を適用することができる。特許請求の範囲の「ヘッダ」の用語はこのようなフッタをも含む概念とする。
【0122】
【発明の効果】
本発明の伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システムによれば、伝送ヘッダ圧縮装置が伝送ヘッダの圧縮を禁止するタイミングと、動画像符号化装置がフレーム内符号化方式を適用したタイミングとを同期化させたので、伝送ヘッダが圧縮されているパケットが、伝送路におけるエラーなどによって損失した場合にも、正しい動画像を復号できるように回復するまでの時間を短縮でき、また、動画像の復号に使うことのできないパケットによって伝送帯域が占有されることを軽減できる。
【図面の簡単な説明】
【図1】第1の実施形態の伝送ヘッダ圧縮装置の構成を示すブロック図である。
【図2】従来の伝送ヘッダの圧縮伸長システムの構成を示すブロック図である。
【図3】従来の課題を説明するためのタイミングチャートである。
【図4】第1の実施形態の効果を説明するためのタイミングチャートである。
【図5】第2の実施形態の動画像符号化装置及び伝送ヘッダ圧縮装置の構成を示すブロック図である。
【図6】第3の実施形態の動画像符号化装置及び伝送ヘッダ圧縮装置の構成を示すブロック図である。
【図7】IPパケットのフォーマットを示す説明図である。
【図8】第4の実施形態の動画像符号化装置及び伝送ヘッダ圧縮装置の構成を示すブロック図である。
【符号の説明】
100、200、300、400…伝送ヘッダ圧縮装置、
101、201、301、401…伝送ヘッダ圧縮手段、
102、202、302、402…シリアル伝送手段、
103、203、303、403…圧縮・非圧縮制御手段、
104…イントラ検知手段、
204、603…圧縮・非圧縮判定手段、
304…IPパケット受信手段、
500、600、700…動画像符号化装置、
501、601、701…動画像符号化手段、
502、602、702…伝送ヘッダ付与手段、
604…非圧縮通知パケット生成手段、
605…IPパケット伝送手段。
Claims (3)
- フレーム内符号化方式又はフレーム間符号化方式に従って符号化されている動画像データに伝送ヘッダが付与された動画像伝送信号が与えられ、その伝送ヘッダを圧縮して又はそのまま出力する伝送ヘッダ圧縮装置において、
上記動画像データは、1画像を縦横に分割した領域毎に、適用する符号化方式が定められるものであり、
受信した上記動画像伝送信号における動画像データにフレーム内符号化が適用されているか否かを判定し、フレーム内符号化が適用されているときに、伝送ヘッダの圧縮を禁止する圧縮禁止手段を有し、当該圧縮禁止手段は、受信した上記動画像伝送信号における動画像データから得たフレーム内符号化を適用している領域の割合が、閾値割合を超えているときに、受信した上記動画像伝送信号における動画像データにフレーム内符号化が適用されていると判定する
ことを特徴とした伝送ヘッダ圧縮装置。 - 符号化対象の動画像データをフレーム内符号化方式又はフレーム間符号化方式に従い符号化し、符号化された動画像データに伝送ヘッダを付与した動画像伝送信号を出力する、後段に、その伝送ヘッダを圧縮して又はそのまま出力する伝送ヘッダ圧縮装置が設けられている動画像符号化装置において、
上記動画像データは、1画像を縦横に分割した領域毎に、適用する符号化方式が定められるものであり、
フレーム内符号化方式の適用状況に応じ、伝送ヘッダの圧縮を禁止するか否かの判定に供する専用情報を形成し、上記伝送ヘッダ圧縮装置へ与える圧縮禁止判定用情報通知手段を有し、当該圧縮禁止判定用情報通知手段は、フレーム内符号化を適用している領域の割合を、上記専用情報とする
ことを特徴とする動画像符号化装置。 - 符号化対象の動画像データをフレーム内符号化方式又はフレーム間符号化方式に従い符号化し、符号化された動画像データに伝送ヘッダを付与した動画像伝送信号を出力する動画像符号化装置と、動画像伝送信号が与えられ、その伝送ヘッダを圧縮して又はそのまま出力する伝送ヘッダ圧縮装置とを有する動画像伝送システムにおいて、
上記動画像符号化装置として、請求項2に記載のものを適用すると共に、
上記伝送ヘッダ圧縮装置として、上記動画像符号化装置から与えられた専用情報であるフレーム内符号化を適用している領域の割合が閾値割合を超えているときに、受信した上記動画像伝送信号における動画像データにフレーム内符号化が適用されていると判定し、受信した上記動画像伝送信号の伝送ヘッダの圧縮を禁止する圧縮禁止手段を有するものを適用した
ことを特徴とする動画像伝送システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005960A JP3957460B2 (ja) | 2001-01-15 | 2001-01-15 | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム |
| US09/963,556 US6973132B2 (en) | 2001-01-15 | 2001-09-27 | Transmission header compressor not compressing transmission headers attached to intra-frame coded moving-picture data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001005960A JP3957460B2 (ja) | 2001-01-15 | 2001-01-15 | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007101816A Division JP4525697B2 (ja) | 2007-04-09 | 2007-04-09 | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002218459A JP2002218459A (ja) | 2002-08-02 |
| JP3957460B2 true JP3957460B2 (ja) | 2007-08-15 |
Family
ID=18873923
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001005960A Expired - Fee Related JP3957460B2 (ja) | 2001-01-15 | 2001-01-15 | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6973132B2 (ja) |
| JP (1) | JP3957460B2 (ja) |
Families Citing this family (73)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8391482B2 (en) * | 2001-05-04 | 2013-03-05 | Hewlett-Packard Development Company, L.P. | Signal format that facilitates easy scalability of data streams |
| US6816616B2 (en) * | 2001-05-31 | 2004-11-09 | Webex Communications, Inc. | Header compression for image data stream |
| SE521600C2 (sv) | 2001-12-04 | 2003-11-18 | Global Ip Sound Ab | Lågbittaktskodek |
| JP4649091B2 (ja) * | 2002-01-30 | 2011-03-09 | 株式会社エヌ・ティ・ティ・ドコモ | 通信端末、サーバ装置、中継装置、放送通信システム、放送通信方法及びプログラム |
| US7398325B2 (en) * | 2003-09-04 | 2008-07-08 | International Business Machines Corporation | Header compression in messages |
| JP4203036B2 (ja) * | 2005-04-11 | 2008-12-24 | 株式会社東芝 | 動画像復号装置とこの装置を備えた移動体端末 |
| US8223840B2 (en) * | 2005-04-27 | 2012-07-17 | Nec Corporation | Image decoding method of decoding hierarchy-encoded image data in respective hierarchies, and a device thereof |
| US8798053B2 (en) * | 2007-06-18 | 2014-08-05 | Telefonaktiebolaget L M Ericsson (Publ) | Header compression in wireless links |
| US8866920B2 (en) | 2008-05-20 | 2014-10-21 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| EP2289235A4 (en) | 2008-05-20 | 2011-12-28 | Pelican Imaging Corp | RECORDING AND PROCESSING IMAGES BY MONOLITHIC CAMERA ARRANGEMENT WITH HETEROGENIC IMAGE TRANSFORMER |
| US11792538B2 (en) | 2008-05-20 | 2023-10-17 | Adeia Imaging Llc | Capturing and processing of images including occlusions focused on an image sensor by a lens stack array |
| WO2011063347A2 (en) | 2009-11-20 | 2011-05-26 | Pelican Imaging Corporation | Capturing and processing of images using monolithic camera array with heterogeneous imagers |
| EP2362653A1 (en) * | 2010-02-26 | 2011-08-31 | Panasonic Corporation | Transport stream packet header compression |
| CN103004180A (zh) | 2010-05-12 | 2013-03-27 | 派力肯影像公司 | 成像器阵列和阵列照相机的架构 |
| US8878950B2 (en) | 2010-12-14 | 2014-11-04 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using super-resolution processes |
| US8305456B1 (en) * | 2011-05-11 | 2012-11-06 | Pelican Imaging Corporation | Systems and methods for transmitting and receiving array camera image data |
| WO2013003276A1 (en) | 2011-06-28 | 2013-01-03 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| US20130265459A1 (en) | 2011-06-28 | 2013-10-10 | Pelican Imaging Corporation | Optical arrangements for use with an array camera |
| US20130070060A1 (en) | 2011-09-19 | 2013-03-21 | Pelican Imaging Corporation | Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion |
| WO2013049699A1 (en) | 2011-09-28 | 2013-04-04 | Pelican Imaging Corporation | Systems and methods for encoding and decoding light field image files |
| EP2817955B1 (en) | 2012-02-21 | 2018-04-11 | FotoNation Cayman Limited | Systems and methods for the manipulation of captured light field image data |
| US9210392B2 (en) | 2012-05-01 | 2015-12-08 | Pelican Imaging Coporation | Camera modules patterned with pi filter groups |
| WO2014005123A1 (en) | 2012-06-28 | 2014-01-03 | Pelican Imaging Corporation | Systems and methods for detecting defective camera arrays, optic arrays, and sensors |
| US20140002674A1 (en) | 2012-06-30 | 2014-01-02 | Pelican Imaging Corporation | Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors |
| EP4567495A3 (en) | 2012-08-21 | 2025-09-10 | Adeia Imaging LLC | Systems and methods for parallax detection and correction in images captured using array cameras |
| CN104685513B (zh) | 2012-08-23 | 2018-04-27 | 派力肯影像公司 | 根据使用阵列源捕捉的低分辨率图像的基于特征的高分辨率运动估计 |
| WO2014043641A1 (en) | 2012-09-14 | 2014-03-20 | Pelican Imaging Corporation | Systems and methods for correcting user identified artifacts in light field images |
| EP4307659A1 (en) | 2012-09-28 | 2024-01-17 | Adeia Imaging LLC | Generating images from light fields utilizing virtual viewpoints |
| WO2014078443A1 (en) | 2012-11-13 | 2014-05-22 | Pelican Imaging Corporation | Systems and methods for array camera focal plane control |
| WO2014130849A1 (en) | 2013-02-21 | 2014-08-28 | Pelican Imaging Corporation | Generating compressed light field representation data |
| US9374512B2 (en) | 2013-02-24 | 2016-06-21 | Pelican Imaging Corporation | Thin form factor computational array cameras and modular array cameras |
| US9638883B1 (en) | 2013-03-04 | 2017-05-02 | Fotonation Cayman Limited | Passive alignment of array camera modules constructed from lens stack arrays and sensors based upon alignment information obtained during manufacture of array camera modules using an active alignment process |
| WO2014138695A1 (en) | 2013-03-08 | 2014-09-12 | Pelican Imaging Corporation | Systems and methods for measuring scene information while capturing images using array cameras |
| US8866912B2 (en) | 2013-03-10 | 2014-10-21 | Pelican Imaging Corporation | System and methods for calibration of an array camera using a single captured image |
| US9521416B1 (en) | 2013-03-11 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for image data compression |
| US9106784B2 (en) | 2013-03-13 | 2015-08-11 | Pelican Imaging Corporation | Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing |
| WO2014164550A2 (en) | 2013-03-13 | 2014-10-09 | Pelican Imaging Corporation | System and methods for calibration of an array camera |
| US9888194B2 (en) | 2013-03-13 | 2018-02-06 | Fotonation Cayman Limited | Array camera architecture implementing quantum film image sensors |
| US9519972B2 (en) | 2013-03-13 | 2016-12-13 | Kip Peli P1 Lp | Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies |
| US9578259B2 (en) | 2013-03-14 | 2017-02-21 | Fotonation Cayman Limited | Systems and methods for reducing motion blur in images or video in ultra low light with array cameras |
| WO2014153098A1 (en) | 2013-03-14 | 2014-09-25 | Pelican Imaging Corporation | Photmetric normalization in array cameras |
| US9497370B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Array camera architecture implementing quantum dot color filters |
| US9633442B2 (en) | 2013-03-15 | 2017-04-25 | Fotonation Cayman Limited | Array cameras including an array camera module augmented with a separate camera |
| US9445003B1 (en) | 2013-03-15 | 2016-09-13 | Pelican Imaging Corporation | Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information |
| US10122993B2 (en) | 2013-03-15 | 2018-11-06 | Fotonation Limited | Autofocus system for a conventional camera that uses depth information from an array camera |
| JP2016524125A (ja) | 2013-03-15 | 2016-08-12 | ペリカン イメージング コーポレイション | カメラアレイを用いた立体撮像のためのシステムおよび方法 |
| US9497429B2 (en) | 2013-03-15 | 2016-11-15 | Pelican Imaging Corporation | Extended color processing on pelican array cameras |
| WO2015048694A2 (en) | 2013-09-27 | 2015-04-02 | Pelican Imaging Corporation | Systems and methods for depth-assisted perspective distortion correction |
| EP3066690A4 (en) | 2013-11-07 | 2017-04-05 | Pelican Imaging Corporation | Methods of manufacturing array camera modules incorporating independently aligned lens stacks |
| WO2015074078A1 (en) | 2013-11-18 | 2015-05-21 | Pelican Imaging Corporation | Estimating depth from projected texture using camera arrays |
| US9426361B2 (en) | 2013-11-26 | 2016-08-23 | Pelican Imaging Corporation | Array camera configurations incorporating multiple constituent array cameras |
| US10089740B2 (en) | 2014-03-07 | 2018-10-02 | Fotonation Limited | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images |
| US9247117B2 (en) | 2014-04-07 | 2016-01-26 | Pelican Imaging Corporation | Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array |
| US9521319B2 (en) | 2014-06-18 | 2016-12-13 | Pelican Imaging Corporation | Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor |
| KR20170063827A (ko) | 2014-09-29 | 2017-06-08 | 포토네이션 케이맨 리미티드 | 어레이 카메라들의 동적 교정을 위한 시스템들 및 방법들 |
| US9942474B2 (en) | 2015-04-17 | 2018-04-10 | Fotonation Cayman Limited | Systems and methods for performing high speed video capture and depth estimation using array cameras |
| US10482618B2 (en) | 2017-08-21 | 2019-11-19 | Fotonation Limited | Systems and methods for hybrid depth regularization |
| DE112020004391B4 (de) | 2019-09-17 | 2024-08-14 | Intrinsic Innovation Llc | Systeme und Verfahren zur Oberflächenmodellierung unter Verwendung von Polarisationsmerkmalen |
| CA3157194C (en) | 2019-10-07 | 2023-08-29 | Boston Polarimetrics, Inc. | Systems and methods for augmentation of sensor systems and imaging systems with polarization |
| KR102558903B1 (ko) | 2019-11-30 | 2023-07-24 | 보스턴 폴라리메트릭스, 인크. | 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법 |
| EP4081933A4 (en) | 2020-01-29 | 2024-03-20 | Intrinsic Innovation LLC | SYSTEMS AND METHODS FOR CHARACTERIZING OBJECT POSE DETECTION AND MEASUREMENT SYSTEMS |
| WO2021154459A1 (en) | 2020-01-30 | 2021-08-05 | Boston Polarimetrics, Inc. | Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images |
| US11953700B2 (en) | 2020-05-27 | 2024-04-09 | Intrinsic Innovation Llc | Multi-aperture polarization optical systems using beam splitters |
| US12069227B2 (en) | 2021-03-10 | 2024-08-20 | Intrinsic Innovation Llc | Multi-modal and multi-spectral stereo camera arrays |
| US12020455B2 (en) | 2021-03-10 | 2024-06-25 | Intrinsic Innovation Llc | Systems and methods for high dynamic range image reconstruction |
| US11954886B2 (en) | 2021-04-15 | 2024-04-09 | Intrinsic Innovation Llc | Systems and methods for six-degree of freedom pose estimation of deformable objects |
| US11290658B1 (en) | 2021-04-15 | 2022-03-29 | Boston Polarimetrics, Inc. | Systems and methods for camera exposure control |
| US12067746B2 (en) | 2021-05-07 | 2024-08-20 | Intrinsic Innovation Llc | Systems and methods for using computer vision to pick up small objects |
| US12175741B2 (en) | 2021-06-22 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for a vision guided end effector |
| US12340538B2 (en) | 2021-06-25 | 2025-06-24 | Intrinsic Innovation Llc | Systems and methods for generating and using visual datasets for training computer vision models |
| US12172310B2 (en) | 2021-06-29 | 2024-12-24 | Intrinsic Innovation Llc | Systems and methods for picking objects using 3-D geometry and segmentation |
| US11689813B2 (en) | 2021-07-01 | 2023-06-27 | Intrinsic Innovation Llc | Systems and methods for high dynamic range imaging using crossed polarizers |
| US12293535B2 (en) | 2021-08-03 | 2025-05-06 | Intrinsic Innovation Llc | Systems and methods for training pose estimators in computer vision |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5541852A (en) * | 1994-04-14 | 1996-07-30 | Motorola, Inc. | Device, method and system for variable bit-rate packet video communications |
| FI107680B (fi) * | 1999-12-22 | 2001-09-14 | Nokia Oyj | Menetelmä videokuvien lähettämiseksi, tiedonsiirtojärjestelmä, lähettävä videopäätelaite ja vastaanottava videopäätelaite |
| WO2002035847A2 (en) * | 2000-10-27 | 2002-05-02 | Polycom Israel Ltd. | Apparatus and method for improving the quality of video communication over a packet-based network |
-
2001
- 2001-01-15 JP JP2001005960A patent/JP3957460B2/ja not_active Expired - Fee Related
- 2001-09-27 US US09/963,556 patent/US6973132B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20020094027A1 (en) | 2002-07-18 |
| JP2002218459A (ja) | 2002-08-02 |
| US6973132B2 (en) | 2005-12-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3957460B2 (ja) | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム | |
| ES2339743T3 (es) | Codificacion de video. | |
| CN101175213B (zh) | 视频源编码的方法和设备以及视频源解码的方法和设备 | |
| KR100761181B1 (ko) | 시스템 디코더 장치 및 패킷 데이터의 수정 방법 | |
| KR100960282B1 (ko) | 비디오 부호화 | |
| EP1501228A1 (en) | Encoded packet transmission/reception method, device thereof, and program | |
| JP4525697B2 (ja) | 伝送ヘッダ圧縮装置、動画像符号化装置及び動画像伝送システム | |
| JP4252017B2 (ja) | 符号化ストリーム中継装置、その方法及びプログラム | |
| JP4956849B2 (ja) | 画像復号装置およびパケット損失補償方法 | |
| CN100562106C (zh) | 运动图像通信装置、运动图像通信系统及运动图像通信方法 | |
| HK1114494B (en) | Method and apparatus for video source encoding, and method and apparatus for video source decoding | |
| HK1136125A (en) | Video coding | |
| HK1136125B (en) | Video coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040914 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060926 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070206 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070508 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070508 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100518 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140518 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |