[go: up one dir, main page]

KR20150035699A - 송신/수신 장치, 방법, 부호화/복호화 장치 - Google Patents

송신/수신 장치, 방법, 부호화/복호화 장치 Download PDF

Info

Publication number
KR20150035699A
KR20150035699A KR1020147035423A KR20147035423A KR20150035699A KR 20150035699 A KR20150035699 A KR 20150035699A KR 1020147035423 A KR1020147035423 A KR 1020147035423A KR 20147035423 A KR20147035423 A KR 20147035423A KR 20150035699 A KR20150035699 A KR 20150035699A
Authority
KR
South Korea
Prior art keywords
layer
picture
image data
data
layers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147035423A
Other languages
English (en)
Other versions
KR102161863B1 (ko
Inventor
게이지 유자와
데루히코 스즈키
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20150035699A publication Critical patent/KR20150035699A/ko
Application granted granted Critical
Publication of KR102161863B1 publication Critical patent/KR102161863B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234327—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into layers, e.g. base layer and one or more enhancement layers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440227—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by decomposing into layers, e.g. base layer and one or more enhancement layers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

고 프레임 주파수의 서비스를 용이하게 실현한다. 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류한다. 각 계층의 화상 데이터를, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화한다. 이 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신한다. 1개의 프로그램 또는 1개의 파일을 송신하는 것만으로, 다양한 프레임 주파수에 대응한 서비스를 제공할 수 있어, 운영 비용의 삭감이 가능해진다. 수신측에서는, 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화할 수 있어, 자신의 재생 능력에 적합한 프레임 주파수로 재생이 가능하게 되어, 수신기의 보급 촉진이 효과적으로 된다.

Description

송신/수신 장치, 방법, 부호화/복호화 장치{TRANSMISSION/RECEPTION DEVICE, METHOD, AND CODING/DECODING DEVICE}
본 발명은, 송신 장치, 송신 방법, 부호화 장치, 수신 장치, 수신 방법 및 복호화 장치에 관한 것으로, 특히, 고 프레임 주파수의 서비스를 가능하게 하는 송신 장치 등에 관한 것이다.
압축 동화상을, 방송, 인터넷 등에서 서비스할 때, 수신기의 능력에 따라 재생 가능한 프레임 주파수의 상한이 제한된다. 따라서, 서비스측은 보급되어 있는 수신기의 재생 능력을 고려하여, 저 프레임 주파수의 서비스만으로 제한하거나, 고저 복수의 서비스를 동시 제공하거나 할 필요가 있다.
수신기는, 고 프레임 주파수의 서비스에 대응하기 위해서는, 고비용으로 되어 보급의 저해 요인으로 된다. 초기에 저 프레임 주파수의 서비스 전용의 저렴한 수신기만 보급되어 있어, 장래 서비스측이 고 프레임 주파수의 서비스를 개시할 경우, 새로운 수신기가 없으면 전혀 시청 불가능하며, 서비스 보급의 저해 요인으로 된다.
H.264/AVC(Advanced Video Coding)(비특허문헌 1 참조) 등의 동화상 압축 방식은, 일반적으로 이하의 3종류의 픽처를 포함한다.
I 픽처: 자신 스스로 복호 가능
P 픽처: 자신과, I 픽처와 다른 P 픽처의 참조로 복호 가능
B 픽처: 자신과, I 픽처, P 픽처 및 다른 B 픽처의 참조로 복호 가능
이 성질을 이용하여, 예를 들어 I 픽처, P 픽처만 재생하는 등, 어느 정도의 프레임 씨닝 재생은 가능하다. 그러나, 이 방법으로는, 세밀한 씨닝 재생이 곤란하여, 실용적인 서비스로서 이용하기는 어렵다.
ITU-T H.264(06/2011) Advanced video coding for generic audiovisual services
본 발명의 목적은, 고 프레임 주파수의 서비스의 용이한 실현을 도모하는 데 있다.
본 발명의 개념은,
동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 계층 분류부와,
상기 분류된 각 계층의 화상 데이터를 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
상기 생성된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
상기 화상 부호화부는,
피참조 픽처가 자기 계층 및 자기 계층보다도 하위의 계층에 소속되도록 부호화하는 송신 장치에 있다.
본 발명에 있어서, 계층 분류부에 의해, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류된다. 화상 부호화부에 의해, 각 계층의 화상 데이터가 부호화되고, 이 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림이 생성된다. 이 경우, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된다.
송신부에 의해, 전술한 비디오 스트림을 포함하는 소정 포맷의 컨테이너가 송신된다. 예를 들어, 컨테이너는, 디지털 방송 규격으로 채용되고 있는 트랜스포트 스트림(MPEG-2 TS)이어도 된다. 또한, 예를 들어 컨테이너는, 인터넷의 배신 등에서 사용되는 MP4, 혹은 그 이외의 포맷의 컨테이너이어도 된다.
이와 같이 본 발명에 있어서는, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되어 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림이 송신되는 것이다. 그로 인해, 1개의 프로그램 또는 1개의 파일을 송신하는 것만으로, 다양한 프레임 주파수에 대응한 서비스를 제공할 수 있어, 운영 비용의 삭감이 가능해진다.
또한, 수신측에서는, 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화할 수 있고, 자신의 재생 능력에 적합한 프레임 주파수로 재생이 가능하게 되어, 수신기의 보급 촉진이 효과적으로 된다. 여기서, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화되어 있으며, 수신기에서는, 소정 계층보다도 상위의 계층 복호화를 행할 필요가 없어, 자신의 재생 능력을 효과적으로 사용할 수 있게 된다.
또한, 본 발명에 있어서, 예를 들어 화상 부호화부는, 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고, 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가하는 식으로 되어도 된다. 이 경우, 수신측에서는, 계층 식별 정보에 기초하여, 소정 계층 이하의 계층의 부호화 화상 데이터를 선택적으로 취출하는 것을 양호하게 행할 수 있다.
또한, 본 발명에 있어서, 예를 들어 계층 분류부는, 최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 이 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록, 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 식으로 되어도 된다. 이 경우, 계층을 하나 올릴 때마다 프레임 주파수가 2배로 되므로, 수신측에서는, 최하위 계층의 픽처의 프레임 주파수 정보만으로, 각 계층에 있어서의 프레임 주파수를 용이하게 인식할 수 있게 된다.
또한, 본 발명에 있어서, 컨테이너에 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보를 삽입하는 정보 삽입부를 더 구비하는 식으로 되어도 된다. 예를 들어, 각 정보를, 컨테이너의 레이어, 혹은 비디오의 레이어에 삽입하는 식으로 되어도 된다. 이 경우, 수신측에서는, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보를, 용이하게 취득할 수 있게 된다.
또한, 본 발명에 있어서, 예를 들어 정보 삽입부는, 각 정보를 비디오의 레이어에 삽입할 때, 컨테이너의 레이어에, 비디오의 레이어에 각 정보의 삽입이 있는지 여부를 식별하는 식별 정보를 더 삽입하는 식으로 되어도 된다. 이 경우, 수신측에서는, 비디오 스트림을 복호화하지 않고, 이 비디오 스트림에, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보가 삽입되어 있는지 여부를 알 수 있게 된다.
또한, 본 발명에 있어서, 예를 들어 부호화된 각 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림을 생성하는 식으로 되어도 된다. 이 경우, 예를 들어 컨테이너의 레이어에, 각 계층의 비디오 스트림을 식별하기 위한 스트림 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는 식으로 되어도 된다. 이 경우, 수신측에서는, 스트림 식별 정보에 기초하여, 소정 계층 이하의 계층의 부호화 화상 데이터의 선택적인 취출을 양호하게 행할 수 있다.
또한, 본 발명의 다른 개념은,
동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부와,
상기 수신된 컨테이너에 포함되는 상기 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화하고, 각 픽처의 화상 데이터를 얻는 화상 복호화부와,
상기 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를 상기 소정 계층의 픽처의 프레임 주파수로 조정하는 재생 속도 조정부를 구비하는 수신 장치에 있다.
본 발명에 있어서, 수신부에 의해, 소정 포맷의 컨테이너가 수신된다. 이 컨테이너에는, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림이 포함되어 있다. 예를 들어, 컨테이너는, 디지털 방송 규격으로 채용되어 있는 트랜스포트 스트림(MPEG-2 TS)이어도 된다. 또한, 예를 들어 컨테이너는, 인터넷의 배신 등에서 사용되는 MP4, 혹은 그 이외의 포맷의 컨테이너이어도 된다.
화상 복호화부에 의해, 컨테이너에 포함되는 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터가 취출되어 복호화되고, 각 픽처의 화상 데이터가 얻어진다. 그리고, 재생 속도 조정부에 의해, 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도가 소정 계층의 픽처의 프레임 주파수로 조정된다.
예를 들어, 컨테이너에는, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보가 삽입되어 있으며, 컨테이너에 삽입되어 있는 각 정보와 자신의 복호 능력에 기초하여, 화상 복호화부에 있어서의 복호화 계층을 제어하고, 재생 속도 조정부에 있어서의 화상 재생 속도를 제어하는 제어부를 더 구비하는 식으로 되어도 된다.
이와 같이 본 발명에 있어서는, 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화할 수 있고, 자신의 재생 능력에 적합한 프레임 주파수로 재생이 가능해진다. 또한, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화되어 있으며, 소정 계층보다도 상위 계층의 복호화를 행할 필요가 없어, 자신의 재생 능력을 효과적으로 사용할 수 있게 된다.
또한, 본 발명에 있어서, 예를 들어 컨테이너에는, 부호화된 각 계층의 화상 데이터를 갖는 단일의 상기 비디오 스트림이 포함되고, 부호화된 각 계층의 화상 데이터에는, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가되어 있으며, 화상 복호화부는, 계층 식별 정보에 기초하여, 단일의 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화하는 식으로 되어도 된다. 이 경우, 컨테이너에 부호화된 각 계층의 화상 데이터를 갖는 단일의 상기 비디오 스트림이 포함되는 경우이더라도, 소정 계층 이하의 계층의 부호화 화상 데이터의 선택적인 취출을 양호하게 행할 수 있다.
또한, 본 발명에 있어서, 예를 들어 컨테이너에는, 부호화된 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림이 포함되고, 컨테이너의 레이어에는, 각 계층의 비디오 스트림을 식별하기 위한 스트림 식별 정보가 삽입되어 있으며, 화상 부호화부는, 스트림 식별 정보에 기초하여, 선택적으로 소정 계층 이하의 계층의 비디오 스트림으로부터 부호화 화상 데이터를 취출하여 복호화하는 식으로 되어도 된다. 이 경우, 컨테이너에 부호화된 각 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림이 포함되는 경우이더라도, 소정 계층 이하의 계층의 부호화 화상 데이터의 선택적인 취출을 양호하게 행할 수 있다.
본 발명에 의하면, 고 프레임 주파수의 서비스를 용이하게 실현할 수 있게 된다.
도 1은, 실시 형태로서의 TV 송수신 시스템의 구성예를 나타내는 블록도이다.
도 2는, TV 송수신 시스템을 구성하는 TV 송신기의 구성예를 나타내는 블록도이다.
도 3은, 계층 분류 및 화상 부호화의 일례를 나타내는 도면이다.
도 4는, 계층 식별 정보(temporal_id)의 배치 위치를 설명하기 위한 도면이다.
도 5는, FPS 디스크립터(fps_descriptor)의 배치 위치를 설명하기 위한 도면이다.
도 6은, FPS 디스크립터의 구조예(Syntax)를 나타내는 도면이다.
도 7은, 액세스 유닛의 "SEIs"의 부분에 SEI 메시지로서 삽입하는 FPS 인포(fps_info)의 구조예와, PMT의 배하에 배치되는 FPS 이그지스트 디스크립터(fps_exist_descriptor)의 구조예(Syntax)를 나타내는 도면이다.
도 8은, TV 송수신 시스템을 구성하는 TV 수신기의 구성예를 나타내는 블록도이다.
도 9는, 동일 PID이며, 또한 PMT의 배하에 FPS 디스크립터(fps_descriptor)가 배치되는 경우의 송신 처리 수순의 일례를 나타내는 흐름도이다.
도 10은, 동일 PID이며, 또한 PMT의 배하에 FPS 디스크립터(fps_descriptor)가 배치되어 있는 경우의 수신 처리 수순의 일례를 나타내는 흐름도이다.
도 11은, 동일 PID이며, 또한 FPS 인포(fps_info)의 SEI 메시지를 부가하는 경우의 송신 처리 수순의 일례를 나타내는 흐름도이다.
도 12는, 동일 PID이며, 또한 FPS 인포(fps_info)의 SEI 메시지가 부가되어 있는 경우의 수신 처리 수순의 일례를 나타내는 흐름도이다.
도 13은, 화상 부호화에 있어서 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림을 생성하는 경우에 각 계층을 다른 PID에 의해 할당하는 것을 나타내는 도면이다.
도 14는, PMT의 배하에 배치되는 스트럭처 디스크립터(structure_descriptor)의 구조예(Syntax)를 나타내는 도면이다.
도 15는, 화상 부호화에 있어서 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림을 생성하는 경우에, FPS 인포(fps_info)의 SEI 메시지를 사용하는 예를 나타내는 도면이다.
도 16은, 다른 PID이며, 또한 PMT의 배하에 FPS 디스크립터(fps_descriptor)가 배치되는 경우의 송신 처리 수순의 일례를 나타내는 흐름도이다.
도 17은, 다른 PID이며, 또한 PMT의 배하에 FPS 디스크립터(fps_descriptor)가 배치되어 있는 경우의 수신 처리 수순의 일례를 나타내는 흐름도이다.
도 18은, 다른 PID이며, 또한 FPS 인포(fps_info)의 SEI 메시지를 부가하는 경우의 송신 처리 수순의 일례를 나타내는 흐름도이다.
도 19는, 다른 PID이며, 또한 FPS 인포(fps_info)의 SEI 메시지가 부가되어 있는 경우의 수신 처리 수순의 일례를 나타내는 흐름도이다.
도 20의 (a)는, 동일 PID(PES), 또한 PMT에 구조 기술, (b)는, 동일 PID(PES), 또한 SEI에 구조 기술, (c)는 다른 PID(PES), 또한 PMT에 구조 기술, (d) 다른 PID(PES), 또한 SEI에 구조 기술의 4가지 방법에 있어서의 부가 정보를 비교하여 나타내는 도면이다.
도 21은, 계층 분류 및 화상 부호화의 다른 예를 설명하기 위한 도면이다.
도 22는, 계층 분류 및 화상 부호화의 다른 예를 설명하기 위한 도면이다.
도 23은, 계층 분류 및 화상 부호화의 다른 예를 설명하기 위한 도면이다.
이하, 발명을 실시하기 위한 구체적인 내용(이하, 「실시 형태」라 함)에 대하여 설명한다. 또한, 설명은 이하의 순서로 행한다.
1. 실시 형태
2. 변형예
<1. 실시 형태>
[TV 송수신 시스템]
도 1은, 실시 형태로서의 TV(Television) 송수신 시스템(10)의 구성예를 나타내고 있다. 이 TV 송수신 시스템(10)은, TV 송신기(100)와, TV 수신기(200)를 갖는 구성으로 되어 있다.
TV 송신기(100)는, 컨테이너로서의 트랜스포트 스트림 TS를 방송파에 실어 송신한다. 이 트랜스포트 스트림 TS에는, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 각 계층의 화상 데이터의 부호화 데이터를 갖는 단일의 비디오 스트림이 포함된다. 이 경우, 예를 들어 H.264/AVC 등의 부호화가 실시되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된다.
이 경우, 최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류된다. 이러한 분류에서는, 계층을 하나 올릴 때마다 프레임 주파수가 2배로 되므로, 수신측에서는, 최하위 계층의 픽처의 프레임 주파수 정보만으로, 각 계층에 있어서의 프레임 주파수를 용이하게 인식할 수 있게 된다.
부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가된다. 이 실시 형태에 있어서는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별 정보(temporal_id)가 배치된다. 이와 같이 계층 식별 정보가 부가됨으로써, 수신측에서는, 소정 계층 이하의 계층의 부호화 화상 데이터를 선택적으로 취출하는 것을 양호하게 행할 수 있다.
트랜스포트 스트림 TS에, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보가 삽입된다. 이들 정보는, 트랜스포트 레이어 혹은 비디오 레이어에 삽입된다. 예를 들어, 이들 정보는, 프로그램 맵 테이블(PMT: Program Map Table)의 배하의 비디오 엘리멘터리 루프의 배하의 기술자(記述子)에 삽입된다. 또한, 예를 들어 이들 정보는, 액세스 유닛의 "SEIs"의 부분에 SEI 메시지로서 삽입된다. 이와 같이 프레임 주파수 정보 및 계층 수 정보가 삽입됨으로써, 수신측에서는, 이들 정보를 용이하게 취득하는 것이 가능해진다.
TV 수신기(200)는, TV 송신기(100)로부터 방송파에 실려 보내져 오는 전술한 트랜스포트 스트림 TS를 수신한다. TV 수신기(200)는, 이 트랜스포트 스트림 TS에 포함되는 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 부호화하고, 각 픽처의 화상 데이터를 취득하여 화상 재생을 행한다. 이 경우, 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도는, 소정 계층의 픽처의 프레임 주파수에 합치하도록 조정된다.
트랜스포트 스트림 TS에, 전술한 바와 같이, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보가 삽입되어 있다. TV 수신기(200)에서는, 이들 정보와 자신의 복호 능력에 기초하여, 복호화 계층이 제어되고, 또한 화상 재생 속도가 제어된다.
[TV 송신기의 구성예]
도 2는, TV 송신기(100)의 구성예를 나타내고 있다. 이 TV 송신기(100)는, 원 동화상 데이터 공급부(101)와, 복호 장치(102)와, 계층 분류부(103)와, 화상 부호화부(104)와, 음성 부호화부(105)와, 다중화부(106)와, 부가 정보 발생부(107)와, 변조/송신 안테나부(108)를 갖고 있다.
원 동화상 데이터 공급부(101)는, 예를 들어 HDD(Hard Disk Drive) 등에 업무용으로 적절한 압축 형식으로 저장되어 원 동화상 데이터(화상 데이터, 음성 데이터)를 취출하고, 복호 장치(102)에 공급한다. 복호 장치(102)는, 원 동화상 데이터를 복호하고, 비압축 화상 데이터 및 비압축 음성 데이터를 출력한다.
계층 분류부(103)는, 비압축 화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류한다. 예를 들어, 도시한 바와 같이, 제1 계층, 제2 계층, 제3 계층의 3계층으로 분류한다. 여기서, 계층 분류부(103)는 최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록 분류한다.
화상 부호화부(104)는, 분류된 각 계층의 화상 데이터를 부호화하고, 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림(비디오 엘리멘터리 스트림)을 생성한다. 여기서, 화상 부호화부(104)는, 예를 들어 H.264/AVC 등의 부호화를 행하여, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화한다.
도 3은, 계층 분류 및 화상 부호화의 일례를 나타내고 있다. 이 예는, 각 픽처의 화상 데이터를 제1 계층부터 제3 계층까지의 3계층으로 분류하는 예이다. 이 예에 있어서, I 픽처(Intra picture) 및 P 픽처(Predictive picture)는 제1 계층에 소속되게 된다. I 픽처는 다른 픽처를 참조하지 않고, 또한 P 픽처는 I 픽처 또는 P 픽처밖에 참조하지 않는다. 그로 인해, 제1 계층은, 제1 계층 픽처만으로 복호 가능해진다.
또한, 제1 계층의 각 픽처의 시간적 중앙 위치에 B 픽처(Bi-directional predictive picture)가 배치되고, 그들은 제2 계층에 소속되게 된다. 이 제2 계층의 B 픽처는, 제2 계층 및/또는 제1 계층의 합성 계층 소속의 픽처밖에 참조하지 않도록 부호화된다.
이 예에 있어서는, 이 제2 계층의 B 픽처는, 제1 계층의 I 픽처 및 P 픽처만을 참조하도록 되어 있다. 그로 인해, 제2 계층은, 제1, 제2 합성 계층만으로 복호 가능해진다. 또한, 제1 계층만 복호한 경우에 비하여, 제1, 제2 합성 계층을 복호한 경우에는, 프레임 주파수는 2배로 된다.
또한, 제1, 제2 합성 계층의 각 픽처의 시간적 중앙 위치에 B 픽처가 배치되고, 그들은 제3 계층에 소속되게 된다. 이 제3 계층의 B 픽처는, 제3 계층 및/또는 제1, 제2 합성 계층 소속의 픽처만 참조하도록 되어 있다. 그로 인해, 제3 계층은, 제1 내지 제3 합성 계층만으로 복호 가능해진다. 또한, 제1, 제2 합성 계층만 복호한 경우에 비하여, 제1 내지 제3 합성 계층을 복호한 경우에는, 프레임 주파수는 2배로 된다.
도 3에 있어서, 파선은, 픽처의 참조 관계를 나타내고 있다. 제1 계층의 P 픽처는, 직전의 I 픽처 또는 P 픽처만을 참조하고 있다. 제2 계층의 B 픽처는, 제1 계층의 직전 및 직후의 I 픽처 또는 P 픽처만을 참조하고 있다. 제3 계층의 B 픽처는, 제1, 제2 합성 계층의 직전 및 직후의 I 픽처, P 픽처 또는 B 픽처만을 참조하고 있다.
화상 부호화부(104)는, 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가한다. 즉, 화상 부호화부(104)는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별 정보(temporal_id)를 배치한다.
도 4는, 계층 식별 정보(temporal_id)의 배치 위치를 나타내고 있다. 즉, 계층 식별 정보(temporal_id)는, 예를 들어 NAL 유닛 헤더의 SVC 확장(Header svc extension)에 배치된다. 그리고, 도 3에 도시한 바와 같이, 제1 계층 소속 픽처에는 「temporal_id=0」이 할당되고, 제2 계층 소속 픽처에는 「temporal_id=1」이 할당되며, 제3 계층 소속 픽처에는 「temporal_id=2」가 할당된다.
도 3의 예에 있어서, 제1 계층만의 프레임 주파수가 30fps일 때, 제1, 제2 합성 계층의 프레임 주파수는 60fps로 되고, 제1 내지 제3 합성 계층의 프레임 주파수는 120fps로 된다. 또한, 도시를 생략하였지만, 이하 마찬가지로 제4 계층, 제5 계층으로 구축하는 것이 가능하다.
도 2로 되돌아가서, 음성 부호화부(105)는 비압축 음성 데이터에 대하여 MPEG-2 Audio, AAC 등의 부호화를 실시하고, 오디오 스트림(오디오 엘리멘터리 스트림)을 생성한다. 다중화부(106)는, 비디오 인코더(132) 및 오디오 인코더(133)로부터 출력되는 각 엘리멘터리 스트림을 다중화한다. 그리고, 다중화부(106)는, 전송 데이터로서의 트랜스포트 스트림 TS를 출력한다.
부가 정보 발생부(107)는, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보를 발생하고, 다중화부(106)로 보낸다. 다중화부(106)는, 이들 정보를, 트랜스포트 레이어에 삽입한다. 예를 들어, 다중화부(106)는, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터(descriptor) 루프에, 도 5에 도시한 바와 같이, 프레임 주파수 정보 및 계층 수 정보가 기술된, 신규 정의의 FPS 디스크립터(fps_descriptor)를 배치한다. 이 디스크립터 루프는, 각 엘리멘터리 스트림(elementary_stream)의 성질 정보를 기술하는 장소이다. FPS 디스크립터는, 그 중에 포함되는 디스크립터의 하나로 된다.
도 6은, FPS 디스크립터의 구조예(Syntax)를 나타내고 있다. 「descriptor_tag」의 8비트 필드는, 이 디스크립터의 종류를 나타내고, 여기에서는, FPS 디스크립터인 것을 나타내게 된다. 예를 들어, 현재 사용되고 있지 않은 "0xf0"이 할당된다. 「descriptor_length」의 8비트 필드는, 직후의 바이트 길이를 나타내고, 여기에서는, "0x02"로 된다.
「base」의 8비트 필드는, 최하위 계층의 픽처의 프레임 주파수 정보, 즉 제1 계층의 프레임 주파수 정보를 표현하고, 예를 들어 도 3에 도시한 예와 같이 30fps의 경우에는, 30을 나타내는 "0x1e"로 된다. 「max」의 8비트 필드는, 복수의 계층의 수를 나타내는 계층 수 정보를 표현하고, 예를 들어 도 3에 도시한 예와 같이 제3 계층까지 있는 경우에는, 3을 나타내는 "0x03"으로 된다.
이와 같이, 송신측(부호화측)에서 FPS 디스크립터를 추가함으로써, 수신측(복호측)에서의 프레임 씨닝 재생이 용이하게 된다. 즉, 이 FPS 디스크립터의 기술 내용으로부터, 제1 계층만으로 30fps, 제1, 제2 합성 계층으로 60fps, 제1 내지 제3 합성 계층으로 120fps인 것을 알 수 있다. 예를 들어, 수신측의 복호 능력이 최대 60fps까지인 경우, 이 정보로부터 제1, 제2 합성 계층까지 복호 가능한 것을 알 수 있다. 그리고, 「temporal_id=0」 및 「temporal_id=1」의 픽처를 복호하면 되는 것을 알 수 있다. 또한, 복호한 픽처는, 60fps로 재생하면 되는 것을 알 수 있다.
또한, 프레임 주파수 정보 및 계층 수 정보를, 비디오의 레이어, 예를 들어 액세스 유닛의 "SEIs"의 부분에 SEI 메시지로서 삽입하는 것도 고려된다. 이 경우, 부가 정보 발생부(107)는, 이들 정보를 파선으로 도시한 바와 같이, 화상 부호화부(104)로 보낸다. 화상 부호화부(104)는, 도 7의 (b)에 도시한 바와 같이, 「base」 및 「max」의 각 정보를 갖는 FPS 인포(fps_info)를 액세스 유닛의 "SEIs"의 부분에, 「fps_info SEI message」로서 삽입한다.
이와 같이 SEI 메시지를 이용하는 경우, 다중화부(106)는, 그 SEI 메시지의 유무를 식별하는 식별 정보를, 트랜스포트 레이어에 삽입한다. 예를 들어, 다중화부(106)는, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터(descriptor) 루프에, 도 7의 (a)에 도시한 바와 같이, 신규 정의의 FPS 이그지스트 디스크립터(fps_exist_descriptor)를 배치한다.
「descriptor_tag」의 8비트 필드는, 이 디스크립터의 종류를 나타내고, 여기에서는, FPS 이그지스트 디스크립터인 것을 나타내게 된다. 예를 들어, 현재 사용되고 있지 않은 "0xf2"가 할당된다. 「descriptor_length」의 8비트 필드는, 직후의 바이트 길이를 나타내고, 여기에서는, "0x01"로 된다. 「fps_exist」의 8비트 필드는, FPS 인포(fps_info)가 삽입된 SEI 메시지의 유무를 나타낸다. 예를 들어, 「fps_exist=0」은 그 SEI 메시지가 없음을 나타내고, 「fps_exist=1」은 그 SEI 메시지가 있음을 나타낸다.
이와 같이, 송신측(부호화측)에서 FPS 이그지스트 디스크립터를 추가함으로써, 수신측(복호측)에서는, 프레임 주파수 정보 및 계층 수 정보를 갖는 FPS 인포(fps_info)가 삽입된 SEI 메시지의 유무를 알 수 있다. 수신측(복호측)은, FPS 이그지스트 디스크립터가 SEI 메시지의 존재를 나타내는 경우, fps_info를 추출하고, 그 중의 「base」와 「max」의 값으로부터, 자신이 복호할 「temporal_id」를 갖는 픽처를 알 수 있다. 이것에 기초하여, 수신측(복호측)은, 원하는 「temporal_id」의 픽처를 복호한다.
도 2로 되돌아가서, 변조/송신 안테나부(108)는 트랜스포트 스트림 TS를, QPSK/OFDM 등의 방송에 적합한 변조 방식으로 변조한다. 그리고, 이 변조/송신 안테나부(108)는, RF 변조 신호를 송신 안테나로부터 송신한다.
도 2에 도시한 TV 송신기(100)의 동작을 설명한다. 원 동화상 데이터 공급부(101)로부터 복호 장치(102)에, 업무용에 적절한 압축 형식으로 저장되어 원 동화상 데이터(화상 데이터, 음성 데이터)가 공급된다. 복호 장치(102)에서는, 원 동화상 데이터가 복호되고, 비압축 화상 데이터 및 비압축 음성 데이터가 얻어진다.
복호 장치(102)에서 얻어진 비압축 화상 데이터는, 계층 분류부(103)에 공급된다. 계층 분류부(103)에서는, 비압축 화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류된다. 이 경우, 최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록 분류된다(도 3 참조).
이와 같이 계층 분류된 각 계층의 화상 데이터는 화상 부호화부(104)에 공급된다. 화상 부호화부(104)에서는, 분류된 각 계층의 화상에서 데이터가 부호화되고, 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림(비디오 엘리멘터리 스트림)이 생성된다. 이 경우, 예를 들어 H.264/AVC 등의 부호화가 행해지고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된다.
이 경우, 화상 부호화부(104)에서는, 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가된다. 즉, 화상 부호화부(104)에서는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별 정보(temporal_id)가 배치된다(도 4 참조).
또한, 복호 장치(102)에서 얻어진 비압축 음성 데이터는, 음성 부호화부(105)에 공급된다. 이 음성 부호화부(105)에서는, 비압축 음성 데이터에 대하여 MPEG-2 Audio, AAC 등의 부호화가 실시되고, 오디오 스트림(오디오 엘리멘터리 스트림)이 생성된다.
화상 부호화부(104)에서 생성된 비디오 스트림과, 음성 부호화부(105)에서 생성된 오디오 스트림은, 다중화부(106)에 공급된다. 다중화부(106)에서는, 각 엘리멘터리 스트림이 다중화되고, 전송 데이터로서의 트랜스포트 스트림 TS가 얻어진다. 이 다중화부(106)에서는, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보가 발생되고, 트랜스포트 레이어(컨테이너의 레이어)에 삽입된다. 예를 들어, 다중화부(106)에서는, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터 루프에, 프레임 주파수 정보 및 계층 수 정보가 기술된 FPS 디스크립터(fps_descriptor)가 배치된다(도 5, 도 6 참조).
또한, 프레임 주파수 정보 및 계층 수 정보가, 비디오의 레이어, 예를 들어 액세스 유닛의 "SEIs"의 부분에 SEI 메시지로서 삽입되는 경우도 있다. 이 경우, 각 정보를 갖는 FPS 인포(fps_info)가 액세스 유닛의 "SEIs"의 부분에, 「fps_info SEI message」로서 삽입된다(도 7의 (b) 참조). 그리고, 이 경우, 그 SEI 메시지의 유무를 식별하는 식별 정보가, 트랜스포트 레이어(컨테이너의 레이어)에 삽입된다. 예를 들어, 다중화부(106)에서는, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터(descriptor) 루프에, FPS 이그지스트 디스크립터(fps_exist_descriptor)가 배치된다(도 7의 (a) 참조).
다중화부(106)에서 생성된 트랜스포트 스트림 TS는, 변조/송신 안테나부(108)로 보내진다. 이 변조/송신 안테나부(108)에서는, 트랜스포트 스트림 TS가, QPSK/OFDM 등의 방송에 적합한 변조 방식으로 변조되어, RF 변조 신호가 생성된다. 그리고, 변조/송신 안테나부(108)에서는, 이 RF 변조 신호를 송신 안테나로부터 송신하는 일이 행해진다.
[TV 수신기의 구성예]
도 8은, TV 수신기(200)의 구성예를 나타내고 있다. 이 TV 수신기(200)는 수신 안테나/복조부(201)와, 다중 분리부(202)와, 제어부(203)와, 화상 복호화부(204)와, 재생 속도 조정부(205)와, 화상 표시부(206)와, 음성 복호화부(207)와, 음성 출력부(208)를 갖고 있다.
수신 안테나/복조부(201)는 수신 안테나에서 수신된 RF 변조 신호를 복조하고, 트랜스포트 스트림 TS를 취득한다. 다중 분리부(202)는 트랜스포트 스트림 TS로부터, 비디오 스트림 및 오디오 스트림을 각각 추출한다. 이 비디오 스트림에는, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖고 있다.
또한, 이 다중 분리부(202)는, 트랜스포트 스트림 TS의 트랜스포트 레이어(컨테이너의 레이어)에 삽입되어 있는 다양한 정보를 추출하고, 제어부(203)로 보낸다. 이때, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터 루프에 배치되어 있는 FPS 디스크립터(fps_descriptor)도 추출된다. 이 FPS 디스크립터에는, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보가 기술되어 있다.
또는, 프레임 주파수 정보 및 계층 수 정보가, 비디오의 레이어, 예를 들어 액세스 유닛의 "SEIs"의 부분에 SEI 메시지로서 삽입되어 있는 경우, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터 루프에 배치되어 있는 FPS 이그지스트 디스크립터(fps_exist_descriptor)가 추출되는 경우도 있다.
화상 복호화부(204)는, 다중 분리부(202)에 의해 분리된 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화하고, 각 픽처의 화상 데이터를 얻는다. 이때, 화상 복호화부(204)는, 각 픽처의 NAL 유닛의 헤더 부분에 배치되어 있는 계층 식별 정보(temporal_id)에 기초하여, 원하는 계층의 픽처의 부호화 화상 데이터를 취출하여 복호화한다. 재생 속도 조정부(205)는, 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를, 소정 계층의 픽처의 프레임 주파수에 합치하도록 조정한다. 즉, 재생 속도 조정부(205)는 복호화된 각 픽처의 화상 데이터를, 소정 계층의 픽처의 프레임 주파수(프레임 레이트)에 맞춰서 순차 출력한다.
제어부(203)는, TV 수신부(200)의 각 부의 동작을 제어한다. 제어부(203)는, 화상 복호화부(204)에 대해서는, 복호화 대상으로 되는 소정 계층 이하의 계층을 특정하는 복호 계층 정보를 보내어, 복호화 계층의 제어를 행한다. 또한, 제어부(203)는, 재생 속도 조정부(205)에 대해서는, 소정 계층의 픽처의 프레임 주파수에 대응한 재생 속도 정보, 예를 들어 동기 신호를 보내어, 화상 재생 속도의 제어를 행한다.
제어부(203)는, 프레임 주파수 정보 및 계층 수 정보와, 자신의 복호 능력에 기초하여, 화상 복호화부(204)에 있어서의 복호화 계층을 제어하고, 재생 속도 조정부(205)에 있어서의 화상 재생 속도를 제어한다. 예를 들어, FPS 디스크립터(fps_descriptor)가 도 6에 도시한 바와 같은 기술(記述) 내용인 경우를 고려한다.
이 경우, 제어부(203)는 제1 계층만으로 30fps, 제1, 제2 합성 계층으로 60fps, 제1 내지 제3 합성 계층으로 120fps인 것을 알 수 있다. 그리고, 자신의 복호 능력이 최대 60fps까지인 경우, 이 정보로부터 제1, 제2 합성 계층까지 복호가능한 것을 알 수 있다. 그리고, 「temporal_id=0」 및 「temporal_id=1」의 픽처를 복호하면 되는 것을 알 수 있다. 또한, 복호한 픽처는, 60fps로 재생하면 되는 것을 알 수 있다.
화상 표시부(206)는, LCD(Liquid Crystal Display) 등의 디스플레이에 의해 구성되어 있다. 이 화상 표시부(206)는, 재생 속도 조정부(205)로부터 출력되는 각 픽처의 화상 데이터에 의한 화상을 표시한다. 음성 복호화부(207)는, 다중 분리부(202)에 의해 분리된 오디오 스트림에 대하여 복호화를 실시하여, 화상 복호화부(204)에서 얻어지는 화상 데이터에 대응한 음성 데이터를 얻는다. 음성 출력부(208)는 증폭기, 스피커 등에 의해 구성되어 있다. 이 음성 출력부(208)는, 음성 복호화부(207)로부터 출력되는 음성 데이터에 의한 음성을 출력한다.
도 8에 도시한 TV 수신기(200)의 동작을 설명한다. 수신 안테나/복조부(201)에서는, 수신 안테나로 수신된 RF 변조 신호가 복조되고, 트랜스포트 스트림 TS가 취득된다. 이 트랜스포트 스트림 TS는, 다중 분리부(202)에 공급된다. 이 다중 분리부(202)에서는, 트랜스포트 스트림 TS로부터, 비디오 스트림 및 오디오 스트림이 각각 추출된다. 여기서, 비디오 스트림은, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖고 있다.
또한, 다중 분리부(202)에서는, 트랜스포트 스트림 TS의 트랜스포트 레이어(컨테이너의 레이어)에 삽입되어 있는 다양한 정보가 추출되어, 제어부(203)로 보내진다. 이때, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터 루프에 배치되어 있는 FPS 디스크립터(fps_descriptor)도 추출된다. 이 FPS 디스크립터에는, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보가 기술되어 있다.
또는, 프레임 주파수 정보 및 계층 수 정보가, 비디오의 레이어, 예를 들어 액세스 유닛의 "SEIs"의 부분에 SEI 메시지로서 삽입되어 있는 경우, 프로그램 맵 테이블(PMT)의 "ES_info_length" 바로 아래의 디스크립터 루프에 배치되어 있는 FPS 이그지스트 디스크립터(fps_exist_descriptor)가 추출되는 경우도 있다.
제어부(203)에서는, 프레임 주파수 정보 및 계층 수 정보와, 자신의 복호 능력에 기초하여, 어느 계층까지 복호 가능한지 판정이 행해진다. 그리고, 이 제어부(203)에 의해, 화상 복호화부(204)에 있어서의 복호화 계층이 제어되고, 재생 속도 조정부(205)에 있어서의 화상 재생 속도가 제어된다.
다중 분리부(202)에 의해 분리된 비디오 스트림은 화상 복호화부(204)에 공급된다. 이 화상 복호화부(204)에서는, 제어부(203)의 제어하에 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터가 취출되어 복호화되고, 각 픽처의 화상 데이터가 순차 얻어진다. 이와 같이 복호화된 각 픽처의 화상 데이터는 재생 속도 조정부(205)에 공급된다.
재생 속도 조정부(205)에서는, 각 픽처의 화상 데이터에 의한 화상 재생 속도가, 제어부(203)의 제어하에 소정 계층의 픽처의 프레임 주파수에 합치하도록 조정된다. 즉, 재생 속도 조정부(205)로부터는, 각 픽처의 화상 데이터가, 소정 계층의 픽처의 프레임 주파수(프레임 레이트)에 맞춰서 순차 출력된다. 이 화상 데이터는, 화상 표시부(206)에 공급되고, 소정 계층 이하의 각 픽처의 화상 데이터에 의한 화상이 표시된다.
또한, 다중 분리부(202)에 의해 분리된 오디오 스트림은 음성 복호화부(207)에 공급된다. 이 음성 복호화부(207)에서는, 오디오 스트림에 대하여 복호화가 실시되어, 화상 복호화부(204)에서 얻어지는 화상 데이터에 대응한 음성 데이터가 얻어진다. 이 음성 데이터는, 음성 출력부(208)에 공급되고, 표시 화상에 대응한 음성이 출력된다.
도 9의 흐름도는, 도 2에 도시한 TV 송신기(100)에 있어서, PMT의 배하에 FPS 디스크립터(fps_descriptor)가 배치되는 경우의 송신 처리 수순의 일례를 나타내고 있다. 또한, 도 2에 도시한 TV 송신기(100)에 있어서, 화상 부호화부(104)에서는, 전술한 바와 같이, 부호화된 각 계층의 픽처의 화상 데이터를 갖는 단일의 비디오 스트림이 생성되는 것이다.
우선, TV 송신기(100)는 스텝 ST1에 있어서, 송신 처리를 개시한다. 그리고, TV 송신기(100)는 스텝 ST2에 있어서, 원 동화상 데이터를 복호하여, 비압축의 화상 데이터와 음성 데이터를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST3에 있어서, 각 픽처의 화상 데이터를 복수의 계층으로 분류한다. 이 경우, 1 픽처(프레임) 건너뛰어 2개로 나누어 한쪽을 제3 계층으로 한다. 또한, 다른 한쪽을 다시 1 픽처(프레임) 건너뛰어 2개로 나누어, 한쪽을 제2 계층으로 하고, 나머지를 제1 계층으로 한다.
다음으로, TV 송신기(100)는 스텝 ST4에 있어서, 계층 분류된 각 픽처의 화상 데이터를 부호화한다. 이 경우, 제1 계층을 부호화한다. 이 경우, 제1 계층 내에서만 참조 가능하게 한다. 또한, 제2 계층을 부호화한다. 이 경우, 제1 계층 및 제2 계층 내에서 참조 가능하게 한다. 또한, 제3 계층을 부호화한다. 이 경우, 제1 계층 내지 제3 계층 내에서 참조 가능하게 한다. 여기서, TV 송신기(100)는, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에 계층 식별 정보(temporal_id)를 배치한다.
다음으로, TV 송신기(100)는 스텝 ST5에 있어서, 음성 데이터를 부호화한다. 그리고, TV 수신기(100)는 스텝 ST6에 있어서, FPS 디스크립터(fps_descriptor)와, 그것을 포함하는 PMT를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST7에 있어서, 부호화된 화상 데이터, 음성 데이터 및 PMT를 트랜스포트 스트림 TS에 다중화한다. 그리고, TV 송신기(100)는 스텝 ST8에 있어서, 트랜스포트 스트림 TS를 변조하여 송신한다. 그 후, TV 송신기(100)는 스텝 ST9에 있어서, 처리를 종료한다.
도 10의 흐름도는, 도 8에 도시한 TV 수신기(200)에 있어서, PMT의 "ES_info_length" 바로 아래의 디스크립터 루프에 FPS 디스크립터(fps_descriptor)가 배치되어 있는 경우의 수신 처리 수순의 일례를 나타내고 있다. 이 수신 처리 수순은, 전술한 도 9의 흐름도로 나타낸 송신 처리 수순에 대응한 것이다.
우선, TV 수신기(200)는 스텝 ST11에 있어서, 수신 처리를 개시한다. 그리고, TV 수신기(200)는 스텝 ST12에 있어서, RF 변조 신호(방송 신호)를 수신하여 복조하고, 트랜스포트 스트림 TS를 얻는다.
다음으로, TV 수신기(200)는 스텝 ST13에 있어서, 트랜스포트 스트림 TS로부터 화상 데이터, 음성 데이터 및 PMT를 추출한다. 그리고, TV 수신기(200)는 스텝 S14에 있어서, PMT로부터 FPS 디스크립터(fps_descriptor)를 추출하고, 자신의 복호 능력과 비교하여, 복호할 계층을 결정한다.
다음으로, TV 수신기(200)는 스텝 ST15에 있어서, 스텝 ST14에서 결정한 계층의 픽처 화상 데이터를 복호화한다. 그리고, FPS 디스크립터(fps_descriptor)의 내용으로부터, 적절한 재생 속도로 재생한다. 그리고, TV 수신기(200)는 스텝 ST16에 있어서, 음성 데이터를 복호화하여 재생한다. 그 후, TV 수신기(200)는 스텝 ST17에 있어서, 처리를 종료한다.
도 11의 흐름도는, 도 2에 도시한 TV 송신기(100)에 있어서, FPS 인포(fps_info)의 SEI 메시지를 부가하는 경우의 송신 처리 수순의 일례를 나타내고 있다. 또한, 도 2에 도시한 TV 송신기(100)에 있어서, 화상 부호화부(104)에서는, 전술한 바와 같이, 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림이 생성되는 것이다.
우선, TV 송신기(100)는 스텝 ST21에 있어서, 송신 처리를 개시한다. 그리고, TV 송신기(100)는 스텝 ST22에 있어서, 원 동화상 데이터를 복호하여, 비압축의 화상 데이터와 음성 데이터를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST23에 있어서, 각 픽처의 화상 데이터를 복수의 계층으로 분류한다. 이 경우, 1 픽처(프레임) 건너뛰어 2개로 나누어 한쪽을 제3 계층으로 한다. 또한, 다른 한쪽을 다시 1 픽처(프레임) 건너뛰어 2개로 나누어, 한쪽을 제2 계층으로 하고, 나머지를 제1 계층으로 한다.
다음으로, TV 송신기(100)는 스텝 ST24에 있어서, 계층 분류된 각 픽처의 화상 데이터를 부호화한다. 이 경우, 제1 계층을 부호화한다. 이 경우, 제1 계층 내에서만 참조 가능하게 한다. 또한, 제2 계층을 부호화한다. 이 경우, 제1 계층 및 제2 계층 내에서 참조 가능하게 한다. 또한, 제3 계층을 부호화한다. 이 경우, 제1 계층 내지 제3 계층 내에서 참조 가능하게 한다. 여기서, TV 송신기(100)는 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에 계층 식별 정보(temporal_id)를 배치한다. 또한, TV 송신기(100)는 FPS 인포(fps_info)의 SEI 메시지를 부가한다.
다음으로, TV 송신기(100)는 스텝 ST25에 있어서, 음성 데이터를 부호화한다. 그리고, TV 수신기(100)는 스텝 ST26에 있어서, FPS 이그지스트 디스크립터(fps_exist_descriptor)와, 그것을 포함하는 PMT를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST27에 있어서, 부호화된 화상 데이터, 음성 데이터 및 PMT를 트랜스포트 스트림 TS에 다중화한다. 그리고, TV 송신기(100)는 스텝 ST28에 있어서, 트랜스포트 스트림 TS를 변조하여 송신한다. 그 후, TV 송신기(100)는 스텝 ST29에 있어서, 처리를 종료한다.
도 12의 흐름도는, 도 8에 도시한 TV 수신기(200)에 있어서, FPS 인포(fps_info)의 SEI 메시지가 부가되어 있는 경우의 수신 처리 수순의 일례를 나타내고 있다. 이 수신 처리 수순은, 전술한 도 11의 흐름도로 나타낸 송신 처리 수순에 대응한 것이다.
우선, TV 수신기(200)는 스텝 ST31에 있어서, 수신 처리를 개시한다. 그리고, TV 수신기(200)는 스텝 ST32에 있어서, RF 변조 신호(방송 신호)를 수신하여 복조하고, 트랜스포트 스트림 TS를 얻는다.
다음으로, TV 수신기(200)는 스텝 ST33에 있어서, 트랜스포트 스트림 TS로부터 화상 데이터, 음성 데이터 및 PMT를 추출한다. TV 수신기(200)는 스텝 S34에 있어서, PMT로부터 FPS 이그지스트 디스크립터(fps_exist_descriptor)를 추출하고, 「fps_exist」를 검토한다. 그리고, TV 수신기(200)는 스텝 ST35에 있어서, 「fps_exist=1」인지 여부를 판단한다.
「fps_exist=1」일 때, TV 수신기(200)는 스텝 ST36에 있어서, SEI 메시지로서 부가되어 있는 FPS 인포(fps_info)를 추출하고, 자신의 복호 능력과 비교하여, 복호할 계층을 결정한다. TV 수신기(200)는 스텝 ST37에 있어서, 스텝 ST36에서 결정한 계층의 픽처의 화상 데이터를 복호화한다. 그리고, FPS 인포(fps_info)의 내용으로부터, 적절한 재생 속도로 재생한다. 그리고, TV 수신기(200)는 스텝 ST38에 있어서, 음성 데이터를 복호화하여 재생한다. 그 후, TV 수신기(200)는 스텝 ST39에 있어서, 처리를 종료한다.
또한, 스텝 ST35에서 「fps_exist=0」일 때, TV 수신기(200)는 스텝 ST40에 있어서, 화상 데이터를 통상 복호하여 재생한다. 그리고, TV 수신기(200)는 스텝 ST38에 있어서, 음성 데이터를 복호화하여 재생한다. 그 후, TV 수신기(200)는 스텝 ST39에 있어서, 처리를 종료한다.
이상 설명한 바와 같이, 도 1에 도시한 TV 송수신 시스템(10)에 있어서, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되어 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림이 송신되는 것이다. 그로 인해, 송신측에 있어서는, 1개의 프로그램 또는 1개의 파일을 송신하는 것만으로, 다양한 프레임 주파수에 대응한 서비스를 제공할 수 있어, 운영 비용의 삭감이 가능해진다.
한편, 수신측에서는, 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화할 수 있고, 자신의 재생 능력에 적합한 프레임 주파수로 재생이 가능하게 되어, 수신기의 보급 촉진이 효과적으로 된다. 여기서, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화되어 있으며, 수신기에서는, 소정 계층보다도 상위 계층의 복호화를 행할 필요가 없어, 자신의 재생 능력을 효과적으로 사용할 수 있게 된다.
또한, 도 1에 도시한 TV 송수신 시스템(10)에 있어서, 화상 부호화부(104)는 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고, 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보(temporal_id)를 부가하는 것이다. 그로 인해, 수신측에서는, 계층 식별 정보에 기초하여, 소정 계층 이하의 계층의 부호화 화상 데이터를 선택적으로 취출하는 것을 양호하게 행할 수 있다.
또한, 도 1에 도시한 TV 송수신 시스템(10)에 있어서, 계층 분류부(103)는 최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 이 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록, 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 것이다. 그로 인해, 계층을 하나 올릴 때마다 프레임 주파수가 2배로 되므로, 수신측에서는, 최하위 계층의 픽처의 프레임 주파수 정보만으로, 각 계층에 있어서의 프레임 주파수를 용이하게 인식할 수 있게 된다.
또한, 도 1에 도시한 TV 송수신 시스템(10)에 있어서, 컨테이너의 레이어(트랜스포트 레이어) 혹은 비디오 레이어에 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보를 삽입하는 것이다. 그로 인해, 수신측에서는, 최하위 계층의 픽처의 프레임 주파수 정보 및 복수의 계층의 수를 나타내는 계층 수 정보를, 용이하게 취득할 수 있게 된다.
<2. 변형예>
[다른 PID의 예]
또한, 전술 실시 형태에 있어서는, 화상 부호화부(104)에서는, 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림이 생성되는 예, 즉 동일 PID의 예를 나타내었다. 그러나, 화상 부호화부(104)에 있어서, 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림이 생성되도록 하는 것도 고려된다.
이 경우, 도 13에 도시한 바와 같이, 각 계층을 다른 PID에 의해 할당하게 된다. 비디오층의 계층화에 의해 분리된 각 계층의 NAL 유닛을 트랜스포트 스트림 패킷에 다중화할 때, 각각 다른 PID가 할당된다. 전술한 실시 형태와 같이, 동일 PID에 모든 계층을 실은 경우와 비교하여, 이하와 같은 차이가 있다.
·「동일 PID의 경우」
(a) 수신측(복호측)에서는, 1개의 PID의 TS 패킷만 취득한다.
(b) nal 헤더를 해석하여, 「temporal_id」를 검출하고, 필요한 「temporal_id」를 갖는 nal 유닛만을 복호한다.
·「다른 PID의 경우」
(a) 수신측(복호측)에서는, 필요한 복수의 PID의 TS 패킷을 취득한다.
(b) 취득한 PID의 TS 패킷 내의 nal 유닛 전부를 복호한다. 「temporal_id」는, 있어도 없어도 된다.
다른 PID의 경우에는, PMT의 "program_info_length" 바로 아래의 디스크립터 루프에, 예를 들어 스트럭처 디스크립터(structure_descriptor)가 배치된다. 도 14는, 스트럭처 디스크립터의 구조예(Syntax)를 나타내고 있다. 「descriptor_tag」의 8비트 필드는, 이 디스크립터의 종류를 나타내고, 여기에서는, 스트럭처 디스크립터인 것을 나타내게 된다. 예를 들어, 현재 사용되고 있지 않은 "0xf1"이 할당된다. 「descriptor_length」의 8비트 필드는, 직후의 바이트 길이를 나타낸다.
「base」의 8비트 필드는, 최하위 계층의 픽처의 프레임 주파수 정보, 즉 제1 계층의 프레임 주파수 정보를 표현하고, 예를 들어 도 13에 도시한 예와 같이 30fps의 경우에는, 30을 나타내는 "0x1e"로 된다. 「max」의 8비트 필드는, 복수의 계층의 수를 나타내는 계층 수 정보를 표현하고, 예를 들어 도 13에 도시한 예와 같이 제3 계층까지 있는 경우에는, 3을 나타내는 "0x03"으로 된다.
for 루프 내에는, 각 계층에 할당된 PID(layer_PID)가 전부 기술된다. 기술순은, 예를 들어 제1 계층부터 순서대로 된다. 복호측에서는, 「base」의 값으로 열기된 PID로부터, 어느 PID의 TS 패킷을 취득하면 좋은지를 알 수 있다.
또한, 다른 PID로 도 15의 (b)에 도시한 FPS 인포(fps_info)의 SEI 메시지를 사용하는 것도 고려된다. 이 경우, 도 15의 (a)에 도시한 스트럭처 디스크립터(structure_descriptor)가 "program_info_length" 바로 아래의 디스크립터 루프에 배치된다. 수신측(복호측)에서는, 이 스트럭처 디스크립터의 for 루프의 처음에 기술되어 있는 제1 계층의 PID의 TS 패킷을 취득하고, 그 중의 SEI 메시지인 FPS 인포(fps_info)를 추출한다. 그 「base」의 값으로부터 복호할 계층을 판단하고, 이 스트럭처 디스크립터의 「layer_PID 」로부터 취득할 TS 패킷의 PID를 검출하여 원하는 TS 패킷을 취득하여 복호한다.
도 16의 흐름도는, TV 송신기(100)가 각 계층의 화상 데이터를 다른 PID에서 부호화하고, 또한 PMT의 배하에 FPS 디스크립터(structure_descriptor)를 배치하도록 구성된 경우의 송신 처리 수순의 일례를 나타내고 있다.
우선, TV 송신기(100)는 스텝 ST51에 있어서, 송신 처리를 개시한다. 그리고, TV 송신기(100)는 스텝 ST52에 있어서, 원 동화상 데이터를 복호하여, 비압축의 화상 데이터와 음성 데이터를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST53에 있어서, 각 픽처의 화상 데이터를 복수의 계층으로 분류한다. 이 경우, 1 픽처(프레임) 건너뛰어 2개로 나누어 한쪽을 제3 계층으로 한다. 또한, 다른 한쪽을 다시 1 픽처(프레임) 건너뛰어 2개로 나누어, 한쪽을 제2 계층으로 하고, 나머지를 제1 계층으로 한다.
다음으로, TV 송신기(100)는 스텝 ST54에 있어서, 계층 분류된 각 픽처의 화상 데이터를 부호화한다. 제1 계층을 부호화한다. 이 경우, 제1 계층 내에서만 참조 가능하게 한다. 또한, 제2 계층을 부호화한다. 이 경우, 제1 계층 및 제2 계층 내에서 참조 가능하게 한다. 또한, 제3 계층을 부호화한다. 이 경우, 제1 계층 내지 제3 계층 내에서 참조 가능하게 한다.
다음으로, TV 송신기(100)는 스텝 ST55에 있어서, 음성 데이터를 부호화한다. 그리고, TV 수신기(100)는 스텝 ST56에 있어서, 스트럭처 디스크립터(structure_descriptor)와, 그것을 포함하는 PMT를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST57에 있어서, 부호화된 화상 데이터, 음성 데이터 및 PMT를 트랜스포트 스트림 TS에 다중화한다. 그리고, TV 송신기(100)는 화상 데이터를, 계층마다 다른 PID로 다중화한다. 그리고, TV 송신기(100)는 스텝 ST58에 있어서, 트랜스포트 스트림 TS를 변조하여 송신한다. 그 후, TV 송신기(100)는 스텝 ST59에 있어서, 처리를 종료한다.
도 17의 흐름도는, 도 8에 도시한 TV 수신기(200)에 있어서, 각 계층의 화상 데이터가 다른 PID에서 부호화되고, 또한 PMT의 배하에 스트럭처 디스크립터(structure_descriptor)가 배치되어 있는 경우의 수신 처리 수순의 일례를 나타내고 있다. 이 수신 처리 수순은, 전술한 도 16의 흐름도로 나타낸 송신 처리 수순에 대응한 것이다.
우선, TV 수신기(200)는 스텝 ST61에 있어서, 수신 처리를 개시한다. 그리고, TV 수신기(200)는 스텝 ST62에 있어서, RF 변조 신호(방송 신호)를 수신하여 복조하고, 트랜스포트 스트림 TS를 얻는다.
다음으로, TV 수신기(200)는 스텝 ST63에 있어서, 트랜스포트 스트림 TS로부터 화상 데이터, 음성 데이터 및 PMT를 추출한다. 그리고, TV 수신기(200)는 스텝 S64에 있어서, PMT로부터 스트럭처 디스크립터(structure_descriptor)를 추출하고, 자신의 복호 능력과 비교하여 복호할 계층을 결정한다.
다음으로, TV 수신기(200)는 스텝 ST65에 있어서, 스텝 ST64에서 결정한 계층의 픽처 화상 데이터를 각 PID의 TS 패킷으로부터 복호화한다. 그리고, 스트럭처 디스크립터(structure_descriptor)의 내용으로부터, 적절한 재생 속도로 재생한다. 그리고, TV 수신기(200)는 스텝 ST66에 있어서, 음성 데이터를 복호화하여 재생한다. 그 후, TV 수신기(200)는 스텝 ST67에 있어서, 처리를 종료한다.
도 18의 흐름도는, TV 송신기(100)가 각 계층의 화상 데이터를 다른 PID로 부호화하고, FPS 인포(fps_info)의 SEI 메시지를 부가하는 경우의 송신 처리 수순의 일례를 나타내고 있다.
우선, TV 송신기(100)는 스텝 ST71에 있어서, 송신 처리를 개시한다. 그리고, TV 송신기(100)는 스텝 ST72에 있어서, 원 동화상 데이터를 복호하여 비압축의 화상 데이터와 음성 데이터를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST73에 있어서, 각 픽처의 화상 데이터를 복수의 계층으로 분류한다. 이 경우, 1 픽처(프레임) 건너뛰어 2개로 나누어 한쪽을 제3 계층으로 한다. 또한, 다른 한쪽을 다시 1 픽처(프레임) 건너뛰어 2개로 나누어, 한쪽을 제2 계층으로 하고, 나머지를 제1 계층으로 한다.
다음으로, TV 송신기(100)는 스텝 ST74에 있어서, 계층 분류된 각 픽처의 화상 데이터를 부호화한다. 제1 계층을 부호화한다. 이 경우, 제1 계층 내에서만 참조 가능하게 한다. 또한, 제2 계층을 부호화한다. 이 경우, 제1 계층 및 제2 계층 내에서 참조 가능하게 한다. 또한, 제3 계층을 부호화한다. 이 경우, 제1 계층 내지 제3 계층 내에서 참조 가능하게 한다. 여기서, TV 송신기(100)는, FPS 인포(fps_info)의 SEI 메시지를 부가한다.
다음으로, TV 송신기(100)는 스텝 ST75에 있어서, 음성 데이터를 부호화한다. 그리고, TV 수신기(100)는 스텝 ST76에 있어서, 스트럭처 디스크립터(structure_descriptor)와, 그것을 포함하는 PMT를 생성한다.
다음으로, TV 송신기(100)는 스텝 ST77에 있어서, 부호화된 화상 데이터, 음성 데이터 및 PMT를 트랜스포트 스트림 TS에 다중화한다. 그리고, TV 송신기(100)는 화상 데이터를, 계층마다 다른 PID로 다중화한다. 그리고, TV 송신기(100)는 스텝 ST78에 있어서, 트랜스포트 스트림 TS를 변조하여 송신한다. 그 후, TV 송신기(100)는 스텝 ST79에 있어서, 처리를 종료한다.
도 19의 흐름도는, 도 8에 도시한 TV 수신기(200)에 있어서, 각 계층의 화상 데이터가 다른 PID에서 부호화되고, 또한 FPS 인포(fps_info)의 SEI 메시지가 부가되어 있는 경우의 수신 처리 수순의 일례를 나타내고 있다. 이 수신 처리 수순은, 전술한 도 18의 흐름도로 나타낸 송신 처리 수순에 대응한 것이다.
우선, TV 수신기(200)는 스텝 ST81에 있어서, 수신 처리를 개시한다. 그리고, TV 수신기(200)는 스텝 ST82에 있어서, RF 변조 신호(방송 신호)를 수신하여 복조하고, 트랜스포트 스트림 TS를 얻는다.
다음으로, TV 수신기(200)는 스텝 ST83에 있어서, 트랜스포트 스트림 TS로부터 화상 데이터, 음성 데이터 및 PMT를 추출한다. TV 수신기(200)는 스텝 S84에 있어서, PMT로부터 스트럭처 디스크립터(structure_descriptor)를 추출한다. 그리고, TV 수신기(200)는 스텝 ST85에 있어서, 스트럭처 디스크립터가 있었는지 여부를 판단한다.
스트럭처 디스크립터가 있을 때, TV 수신기(200)는 스텝 ST86에 있어서, SEI 메시지로서 부가되어 있는 FPS 인포(fps_info)를 추출하고, 자신의 복호 능력과 비교하여 복호할 계층을 결정한다. TV 수신기(200)는 스텝 ST77에 있어서, 스텝 ST76에서 결정한 계층의 픽처 화상 데이터를 각 PID의 TS 패킷으로부터 복호화한다. 그리고, FPS 인포(fps_info)의 내용으로부터, 적절한 재생 속도로 재생한다. 그리고, TV 수신기(200)는 스텝 ST88에 있어서, 음성 데이터를 복호화하여 재생한다. 그 후, TV 수신기(200)는 스텝 ST89에 있어서, 처리를 종료한다.
또한, 스텝 ST85에서 스트럭처 디스크립터가 없을 때, TV 수신기(200)는 스텝 ST90에 있어서, 화상 데이터를 통상 복호하여 재생한다. 그리고, TV 수신기(200)는 스텝 ST88에 있어서, 음성 데이터를 복호화하여 재생한다. 그 후, TV 수신기(200)는 스텝 ST89에 있어서, 처리를 종료한다.
도 20은, (a) 동일 PID(PES), 또한 PMT에 구조 기술, (b) 동일 PID(PES), 또한 SEI에 구조 기술, (c) 다른 PID(PES), 또한 PMT에 구조 기술, (d) 다른 PID(PES), 또한 SEI에 구조 기술의, 전술한 4가지 방법에 있어서의 부가 정보를 비교하여 나타내고 있다.
[계층 분류 및 화상 부호화의 다른 예]
또한, 전술한 실시 형태에 있어서는, 최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 이 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록, 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 예를 나타냈다. 그러나, 분류 방법은, 이 예에 한정되는 것은 아니다. 예를 들어, 이하와 같은 분류 방법도 가능하다.
「다른 예 1」
도 21의 (a)는, 계층 분류 및 화상 부호화의 다른 예를 나타내고 있다. 이 예는, 각 픽처의 화상 데이터를 제1 계층 및 제2 계층의 2계층으로 분류하는 예이다. 이 예에 있어서, I 픽처 및 P 픽처는 제1 계층에 소속되게 된다. I 픽처는 다른 픽처를 참조하지 않고, 또한 P 픽처는 I 픽처 또는 P 픽처밖에 참조하지 않는다. 그로 인해, 제1 계층은, 제1 계층 픽처만으로 복호 가능해진다.
또한, 제1 계층의 각 픽처의 사이에 시간적으로 등간격으로 2개의 B 픽처가 배치되고, 그들은 제2 계층에 소속되게 된다. 이 제2 계층의 B 픽처는, 제2 계층 및/또는 제1 계층의 소속 픽처밖에 참조하지 않도록 부호화된다. 그로 인해, 제2 계층은, 제1, 제2 합성 계층만으로 복호 가능해진다. 또한, 제1 계층만 복호한 경우에 비하여, 제1, 제2 합성 계층을 복호한 경우에는, 프레임 주파수는 3배로 된다. 그로 인해, 도시한 바와 같이, 제1 계층만의 프레임 주파수가 40fps일 때, 제1, 제2 합성 계층의 프레임 주파수는 120fps로 된다.
이 예에 있어서도, 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가된다. 즉, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별 정보(temporal_id)가 배치된다. 이 예에 있어서, 제1 계층 소속 픽처에는 「temporal_id=0」이 할당되고, 제2 계층 소속 픽처에는 「temporal_id=1」이 할당되어 있다.
도 21의 (b)는, 도 21의 (a)에 도시한 바와 같은 계층 분류 및 화상 부호화가 행해지는 경우에 있어서의 FPS 디스크립터(fps_descriptor)의 구조예(Syntax)를 나타내고 있다. 「descriptor_tag」의 8비트 필드는, 이 디스크립터의 종류를 나타내고, 여기에서는, FPS 디스크립터인 것을 나타내게 된다. 예를 들어, 현재 사용되고 있지 않은 "0xf0"이 할당된다. 「descriptor_length」의 8비트 필드는, 직후의 바이트 길이를 나타낸다.
「base」의 8비트 필드는, 최하위 계층의 픽처의 프레임 주파수 정보, 즉 제1 계층의 프레임 주파수 정보를 표현하고, 이 예에 있어서는, 40을 나타내는 "0x28"로 되어 있다. 「max」의 8비트 필드는, 복수의 계층의 수를 나타내는 계층 수 정보를 표현하고, 이 예에 있어서는, 2를 나타내는 "0x02"로 되어 있다. 또한, for 루프 내에는, 제2 계층 이후의 각각의 계층까지의 합성 계층에 있어서의 프레임 주파수가, 제1 계층의 프레임 주파수에 대하여 몇 배인지가 모두 기술된다. 이 예에 있어서는, 제2 계층에 관하여 "0x03"으로 되고, 3배인 것이 기술되어 있다.
「다른 예 2」
도 22의 (a)도, 계층 분류 및 화상 부호화의 다른 예를 나타내고 있다. 이 예는, 각 픽처의 화상 데이터를 제1 계층 및 제2 계층의 2계층으로 분류하는 예이다. 이 예에 있어서, I 픽처 및 P 픽처는 제1 계층에 소속되게 된다. I 픽처는 다른 픽처를 참조하지 않고, 또한 P 픽처는 I 픽처 또는 P 픽처밖에 참조하지 않는다. 그로 인해, 제1 계층은, 제1 계층 픽처만으로 복호 가능해진다.
또한, 제1 계층의 각 픽처의 사이에 시간적으로 등간격으로 4개의 B 픽처가 배치되고, 그들은 제2 계층에 소속되게 된다. 이 제2 계층의 B 픽처는, 제2 계층 및/또는 제1 계층의 소속 픽처밖에 참조하지 않도록 부호화된다. 그로 인해, 제2 계층은, 제1, 제2 합성 계층만으로 복호 가능해진다. 또한, 제1 계층만 복호한 경우에 비하여, 제1, 제2 합성 계층을 복호한 경우에는, 프레임 주파수는 5배로 된다. 그로 인해, 도시한 바와 같이, 제1 계층만의 프레임 주파수가 24fps일 때, 제1, 제2 합성 계층의 프레임 주파수는 120fps로 된다.
이 예에 있어서도, 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가된다. 즉, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별 정보(temporal_id)가 배치된다. 이 예에 있어서, 제1 계층 소속 픽처에는 「temporal_id=0」이 할당되고, 제2 계층 소속 픽처에는 「temporal_id=1」이 할당되어 있다.
도 22의 (b)는, 도 22의 (a)에 도시한 바와 같은 계층 분류 및 화상 부호화가 행해지는 경우에 있어서의 FPS 디스크립터(fps_descriptor)의 구조예(Syntax)를 나타내고 있다. 「descriptor_tag」의 8비트 필드는, 이 디스크립터의 종류를 나타내고, 여기에서는, FPS 디스크립터인 것을 나타내게 된다. 예를 들어, 현재 사용되고 있지 않은 "0xf0"이 할당된다. 「descriptor_length」의 8비트 필드는, 직후의 바이트 길이를 나타낸다.
「base」의 8비트 필드는, 최하위 계층의 픽처의 프레임 주파수 정보, 즉 제1 계층의 프레임 주파수 정보를 표현하고, 이 예에 있어서는, 24를 나타내는 "0x18"로 되어 있다. 「max」의 8비트 필드는, 복수의 계층의 수를 나타내는 계층 수 정보를 표현하고, 이 예에 있어서는, 2를 나타내는 "0x02"로 되어 있다. 또한, for 루프 내에는, 제2 계층 이후의 각각의 계층까지의 합성 계층에 있어서의 프레임 주파수가, 제1 계층의 프레임 주파수에 대하여 몇 배인지가 모두 기술된다. 이 예에 있어서는, 제2 계층에 관하여 "0x05"로 되고, 5배인 것이 기술되어 있다.
「다른 예 3」
도 23의 (a)도, 계층 분류 및 화상 부호화의 다른 예를 나타내고 있다. 이 예는, 각 픽처의 화상 데이터를 제1 계층부터 제4 계층까지의 4계층으로 분류하는 예이다. 이 예에 있어서, I 픽처 및 P 픽처는 제1 계층에 소속되게 된다. I 픽처는 다른 픽처를 참조하지 않고, 또한 P 픽처는 I 픽처 또는 P 픽처밖에 참조하지 않는다. 그로 인해, 제1 계층은, 제1 계층 픽처만으로 복호 가능해진다.
또한, 제1 계층의 각 픽처의 시간적 중앙 위치에 B 픽처가 배치되고, 그들은 제2 계층에 소속되게 된다. 이 제2 계층의 B 픽처는, 제2 계층 및/또는 제1 계층의 합성 계층 소속의 픽처밖에 참조하지 않도록 부호화된다. 그로 인해, 제2 계층은, 제1, 제2 합성 계층만으로 복호 가능해진다. 또한, 제1 계층만 복호한 경우에 비하여, 제1, 제2 합성 계층을 복호한 경우에는, 프레임 주파수는 2배로 된다. 그로 인해, 도시한 바와 같이, 제1 계층만의 프레임 주파수가 12fps일 때, 제1, 제2 합성 계층의 프레임 주파수는 24fps로 된다.
또한, 제1 계층의 각 픽처의 사이에 시간적으로 등간격으로 4개의 B 픽처가 배치되고, 그들은 제3 계층에 소속되게 된다. 이 제3 계층의 B 픽처는, 제3 계층 및/또는 제2 계층 이하의 계층의 소속 픽처밖에 참조하지 않도록 부호화된다. 그로 인해, 제3 계층은, 제1 내지 제3 합성 계층만으로 복호 가능해진다. 또한, 제1 계층만 복호한 경우에 비하여, 제1 내지 제3 합성 계층을 복호한 경우에는, 프레임 주파수는 5배로 된다. 또한, 제1, 제2 합성 계층의 프레임 주파수에 대해서는, 2.5배의 프레임 주파수로 된다. 그로 인해, 도시한 바와 같이, 제1 계층만의 프레임 주파수가 12fps의 때, 제1 내지 제3 합성 계층의 프레임 주파수는 60fps로 된다.
또한, 제1 계층, 제3 계층의 각 픽처 사이의 시간적 중앙 위치에 B 픽처가 배치되고, 그들은 제4 계층에 소속되게 된다. 단, 일부는 제2 계층의 픽처와 동일하므로 부족하다. 이 제4 계층의 B 픽처는, 제4 계층 및/또는 제3 계층 이하의 계층의 소속 픽처밖에 참조하지 않도록 부호화된다. 그로 인해, 제4 계층은, 제1 내지 제4 합성 계층만으로 복호 가능해진다. 또한, 제1 계층만 복호한 경우에 비하여, 제1 내지 제4 합성 계층을 복호한 경우에는, 프레임 주파수는 10배로 된다. 그로 인해, 도시한 바와 같이, 제1 계층만의 프레임 주파수가 12fps일 때, 제1 내지 제4 합성 계층의 프레임 주파수는 120fps로 된다.
이 예에 있어서도, 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가된다. 즉, 각 픽처의 NAL 유닛(nal_unit)의 헤더 부분에, 계층 식별 정보(temporal_id)가 배치된다. 이 예에 있어서, 제1 계층 소속 픽처에는 「temporal_id=0」이 할당되고, 제2 계층 소속 픽처에는 「temporal_id=1」이 할당되고, 제3 계층 소속 픽처에는 「temporal_id=2」가 할당되며, 제4 계층 소속 픽처에는 「temporal_id=3」이 할당되어 있다.
도 23의 (b)는, 도 23의 (a)에 도시한 바와 같은 계층 분류 및 화상 부호화가 행해지는 경우에 있어서의 FPS 디스크립터(fps_descriptor)의 구조예(Syntax)를 나타내고 있다. 「descriptor_tag」의 8비트 필드는, 이 디스크립터의 종류를 나타내고, 여기에서는, FPS 디스크립터인 것을 나타내게 된다. 예를 들어, 현재 사용되고 있지 않은 "0xf0"이 할당된다. 「descriptor_length」의 8비트 필드는, 직후의 바이트 길이를 나타낸다.
「base」의 8비트 필드는, 최하위 계층의 픽처의 프레임 주파수 정보, 즉 제1 계층의 프레임 주파수 정보를 표현하고, 이 예에 있어서는, 12를 나타내는 "0x0C"로 되어 있다. 「max」의 8비트 필드는, 복수의 계층의 수를 나타내는 계층 수 정보를 표현하고, 이 예에 있어서는, 4를 나타내는 "0x04"로 되어 있다. 또한, for루프 내에는, 제2 계층 이후의 각각의 계층까지의 합성 계층에 있어서의 프레임 주파수가, 제1 계층의 프레임 주파수에 대하여 몇 배인지가 모두 기술된다. 이 예에 있어서는, 제2 계층에 대하여 "0x03"으로 되고, 2배인 것이 기술되어 있다. 또한, 제3 계층에 관하여 "0x05"로 되고, 5배인 것이 기술되어 있다. 또한, 제4 계층에 대하여 "0x0a"로 되고, 10배인 것이 기술되어 있다.
[기타]
또한, 전술 실시 형태에 있어서는, TV 송신기(100)와 TV 수신기(200)를 포함하는 TV 송수신 시스템(10)을 나타내었지만, 본 발명을 적용할 수 있는 TV 송수신 시스템의 구성은, 이에 한정되는 것은 아니다. 예를 들어, 수신기(200)의 부분이, 예를 들어(HDMI; High-Definition Multimedia Interface) 등의 디지털 인터페이스에 의해 접속된 셋톱 박스 및 모니터의 구성 등이어도 된다.
또한, 전술한 실시 형태에 있어서는, 컨테이너가 트랜스포트 스트림(MPEG-2 TS)인 예를 나타냈다. 그러나, 본 발명은, 인터넷 등의 네트워크를 이용하여 수신 단말기로 배신되는 구성의 시스템에도 마찬가지로 적용할 수 있다. 인터넷의 배신에서는, MP4나 그 이외의 포맷의 컨테이너에서 배신되는 경우가 많다. 즉, 컨테이너로서는, 디지털 방송 규격으로 채용되고 있는 트랜스포트 스트림(MPEG-2 TS), 인터넷 배신에서 사용되고 있는 MP4 등의 다양한 포맷의 컨테이너가 해당한다.
또한, 본 발명은, 이하와 같은 구성을 취할 수도 있다.
[1] 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 계층 분류부와,
상기 분류된 각 계층의 화상 데이터를 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
상기 생성된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
상기 화상 부호화부는,
피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화하는, 송신 장치.
[2] 상기 화상 부호화부는,
상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고,
상기 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가하는, 상기 [1]에 기재된 송신 장치.
[3] 상기 계층 분류부는,
최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 상기 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록, 상기 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는, 상기 [1] 또는 [2]에 기재된 송신 장치.
[4] 상기 컨테이너에 최하위 계층의 픽처의 프레임 주파수 정보 및 상기 복수의 계층의 수를 나타내는 계층 수 정보를 삽입하는 정보 삽입부를 더 구비하는, 상기 [1] 내지 [3] 중 어느 하나에 기재된 송신 장치.
[5] 상기 정보 삽입부는,
상기 각 정보를, 컨테이너의 레이어, 혹은 비디오의 레이어에 삽입하는, 상기 [4]에 기재된 송신 장치.
[6] 상기 정보 삽입부는,
상기 각 정보를 상기 비디오의 레이어에 삽입할 때, 상기 컨테이너의 레이어에, 상기 비디오의 레이어에 상기 각 정보의 삽입이 있는지 여부를 식별하는 식별 정보를 더 삽입하는, 상기 [5]에 기재된 송신 장치.
[7] 상기 화상 부호화부는,
상기 부호화된 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림을 생성하는, 상기 [1]에 기재된 송신 장치.
[8] 상기 컨테이너의 레이어에, 각 계층의 비디오 스트림을 식별하기 위한 스트림 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는, 상기 [7]에 기재된 송신 장치.
[9] 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 스텝과,
상기 분류된 각 계층의 화상 데이터를, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 스텝과,
상기 생성된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 스텝을 구비하는, 송신 방법.
[10] 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 계층 분류부와,
상기 분류된 각 계층의 화상 데이터를 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
상기 생성된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
상기 화상 부호화부는,
상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고,
상기 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가하는, 송신 장치.
[11] 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 계층 분류부와,
상기 분류된 각 계층의 화상 데이터를 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부를 구비하고,
상기 화상 부호화부는,
피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화하는, 부호화 장치.
[12] 상기 화상 부호화부는,
상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고,
상기 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가하는, 상기 [11]에 기재된 부호화 장치.
[13] 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부와,
상기 수신된 컨테이너에 포함되는 상기 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화하고, 각 픽처의 화상 데이터를 얻는 화상 복호화부와,
상기 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를 상기 소정 계층의 픽처의 프레임 주파수에 합치하도록 조정하는 재생 속도 조정부를 구비하는, 수신 장치.
[14] 상기 컨테이너에는, 최하위 계층의 픽처의 프레임 주파수 정보 및 상기 복수의 계층의 수를 나타내는 계층 수 정보가 삽입되어 있으며,
상기 컨테이너에 삽입되어 있는 각 정보와 자신의 복호 능력에 기초하여, 상기 화상 복호화부에 있어서의 복호화 계층을 제어하고, 상기 재생 속도 조정부에 있어서의 화상 재생 속도를 제어하는 제어부를 더 구비하는, 상기 [13]에 기재된 수신 장치.
[15] 상기 컨테이너에는, 상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 상기 비디오 스트림이 포함되고,
상기 부호화된 각 계층의 화상 데이터에는, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가되어 있으며,
상기 화상 복호화부는,
상기 계층 식별 정보에 기초하여, 상기 단일의 비디오 스트림으로부터 선택적으로 상기 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화하는, 상기 [13]에 기재된 수신 장치.
[16] 상기 컨테이너에는, 상기 부호화된 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림이 포함되고,
상기 컨테이너의 레이어에는, 각 계층의 비디오 스트림을 식별하기 위한 스트림 식별 정보가 삽입되어 있으며,
상기 화상 부호화부는,
상기 스트림 식별 정보에 기초하여, 선택적으로 상기 소정 계층 이하의 계층의 비디오 스트림으로부터 부호화 화상 데이터를 취출하여 복호화하는, 상기 [13]에 기재된 수신 장치.
[17] 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 스텝과,
상기 수신된 컨테이너에 포함되는 상기 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 부호화하고, 각 픽처의 화상 데이터를 얻는 스텝과,
상기 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를 상기 소정 계층의 픽처의 프레임 주파수로 조정하는 스텝을 구비하는, 수신 방법.
[18] 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 부호화하고, 각 픽처의 화상 데이터를 얻는 화상 복호화부와,
상기 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를 상기 소정 계층의 픽처의 프레임 주파수로 조정하는 재생 속도 조정부를 구비하는, 복호화 장치.
본 발명의 주된 특징은, 동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 각 계층의 화상 데이터를, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화하고, 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 소정 포맷의 컨테이너에서 송신함으로써, 고 프레임 주파수의 서비스를 용이하게 실현할 수 있게 한 것이다(도 2, 도 3 참조).
10: TV 송수신 시스템
100: TV 송신기
101: 원 화상 데이터 공급부
102: 복호 장치
103: 계층 분류부
104: 화상 부호화부
105: 음성 부호화부
106: 다중화부
107: 부가 정보 발생부
108: 변조/송신 안테나부
200: TV 수신기
201: 수신 안테나/복조부
202: 다중 분리부
203: 제어부
204: 화상 복호화부
205: 재생 속도 조정부
206: 화상 표시부
207: 음성 복호화부
208: 음성 출력부

Claims (18)

  1. 송신 장치로서,
    동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 계층 분류부와,
    상기 분류된 각 계층의 화상 데이터를 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
    상기 생성된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
    상기 화상 부호화부는,
    피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화하는, 송신 장치.
  2. 제1항에 있어서,
    상기 화상 부호화부는,
    상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고,
    상기 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가하는, 송신 장치.
  3. 제1항에 있어서,
    상기 계층 분류부는,
    최하위의 계층을 제외하고, 각 계층의 소속 픽처가, 하위의 모든 계층의 소속 픽처와 동수이면서, 상기 하위의 모든 계층의 소속 픽처의 시간적 중앙에 위치하도록, 상기 동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는, 송신 장치.
  4. 제1항에 있어서,
    상기 컨테이너에 최하위 계층의 픽처의 프레임 주파수 정보 및 상기 복수의 계층의 수를 나타내는 계층 수 정보를 삽입하는 정보 삽입부를 더 구비하는, 송신 장치.
  5. 제4항에 있어서,
    상기 정보 삽입부는,
    상기 각 정보를, 컨테이너의 레이어, 혹은 비디오의 레이어에 삽입하는, 송신 장치.
  6. 제5항에 있어서,
    상기 정보 삽입부는,
    상기 각 정보를 상기 비디오의 레이어에 삽입할 때, 상기 컨테이너의 레이어에, 상기 비디오의 레이어에 상기 각 정보의 삽입이 있는지 여부를 식별하는 식별 정보를 더 삽입하는, 송신 장치.
  7. 제1항에 있어서,
    상기 화상 부호화부는,
    상기 부호화된 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림을 생성하는, 송신 장치.
  8. 제7항에 있어서,
    상기 컨테이너의 레이어에, 각 계층의 비디오 스트림을 식별하기 위한 스트림 식별 정보를 삽입하는 식별 정보 삽입부를 더 구비하는, 송신 장치.
  9. 송신 방법으로서,
    동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 스텝과,
    상기 분류된 각 계층의 화상 데이터를, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 스텝과,
    상기 생성된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 스텝
    을 구비하는, 송신 방법.
  10. 송신 장치로서,
    동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 계층 분류부와,
    상기 분류된 각 계층의 화상 데이터를 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부와,
    상기 생성된 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 송신하는 송신부를 구비하고,
    상기 화상 부호화부는,
    상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고,
    상기 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가하는, 송신 장치.
  11. 부호화 장치로서,
    동화상 데이터를 구성하는 각 픽처의 화상 데이터를 복수의 계층으로 분류하는 계층 분류부와,
    상기 분류된 각 계층의 화상 데이터를 부호화하고, 그 부호화된 각 계층의 화상 데이터를 갖는 비디오 스트림을 생성하는 화상 부호화부를 구비하고,
    상기 화상 부호화부는,
    피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화하는, 부호화 장치.
  12. 제11항에 있어서,
    상기 화상 부호화부는,
    상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 비디오 스트림을 생성하고,
    상기 부호화된 각 계층의 화상 데이터에, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보를 부가하는, 부호화 장치.
  13. 수신 장치로서,
    동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 수신부와,
    상기 수신된 컨테이너에 포함되는 상기 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화하고, 각 픽처의 화상 데이터를 얻는 화상 복호화부와,
    상기 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를 상기 소정 계층의 픽처의 프레임 주파수에 합치하도록 조정하는 재생 속도 조정부
    를 구비하는, 수신 장치.
  14. 제13항에 있어서,
    상기 컨테이너에는, 최하위 계층의 픽처의 프레임 주파수 정보 및 상기 복수의 계층의 수를 나타내는 계층 수 정보가 삽입되어 있으며,
    상기 컨테이너에 삽입되어 있는 각 정보와 자신의 복호 능력에 기초하여, 상기 화상 복호화부에 있어서의 복호화 계층을 제어하고, 상기 재생 속도 조정부에 있어서의 화상 재생 속도를 제어하는 제어부를 더 구비하는, 수신 장치.
  15. 제13항에 있어서,
    상기 컨테이너에는, 상기 부호화된 각 계층의 화상 데이터를 갖는 단일의 상기 비디오 스트림이 포함되고,
    상기 부호화된 각 계층의 화상 데이터에는, 픽처마다 소속 계층을 식별하기 위한 계층 식별 정보가 부가되어 있으며,
    상기 화상 복호화부는,
    상기 계층 식별 정보에 기초하여, 상기 단일의 비디오 스트림으로부터 선택적으로 상기 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 복호화하는, 수신 장치.
  16. 제13항에 있어서,
    상기 컨테이너에는, 상기 부호화된 복수의 계층의 각각의 화상 데이터를 갖는 복수의 비디오 스트림이 포함되고,
    상기 컨테이너의 레이어에는, 각 계층의 비디오 스트림을 식별하기 위한 스트림 식별 정보가 삽입되어 있으며,
    상기 화상 부호화부는,
    상기 스트림 식별 정보에 기초하여, 선택적으로 상기 소정 계층 이하의 계층의 비디오 스트림으로부터 부호화 화상 데이터를 취출하여 복호화하는, 수신 장치.
  17. 수신 방법으로서,
    동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림을 포함하는 소정 포맷의 컨테이너를 수신하는 스텝과,
    상기 수신된 컨테이너에 포함되는 상기 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 부호화하고, 각 픽처의 화상 데이터를 얻는 스텝과,
    상기 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를 상기 소정 계층의 픽처의 프레임 주파수로 조정하는 스텝
    을 구비하는, 수신 방법.
  18. 복호화 장치로서,
    동화상 데이터를 구성하는 각 픽처의 화상 데이터가 복수의 계층으로 분류되고, 피참조 픽처가 자기 계층 및/또는 자기 계층보다도 하위의 계층에 소속되도록 부호화된 화상 데이터를 갖는 비디오 스트림으로부터 선택적으로 소정 계층 이하의 계층의 부호화 화상 데이터를 취출하여 부호화하고, 각 픽처의 화상 데이터를 얻는 화상 복호화부와,
    상기 복호화된 각 픽처의 화상 데이터에 의한 화상 재생 속도를 상기 소정 계층의 픽처의 프레임 주파수로 조정하는 재생 속도 조정부
    를 구비하는, 복호화 장치.
KR1020147035423A 2012-06-28 2013-06-21 송신/수신 장치, 방법, 부호화/복호화 장치 Active KR102161863B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012144979 2012-06-28
JPJP-P-2012-144979 2012-06-28
PCT/JP2013/067147 WO2014002914A1 (ja) 2012-06-28 2013-06-21 送信／受信装置、方法、符号化／復号化装置

Publications (2)

Publication Number Publication Date
KR20150035699A true KR20150035699A (ko) 2015-04-07
KR102161863B1 KR102161863B1 (ko) 2020-10-05

Family

ID=49783066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147035423A Active KR102161863B1 (ko) 2012-06-28 2013-06-21 송신/수신 장치, 방법, 부호화/복호화 장치

Country Status (9)

Country Link
US (3) US10250901B2 (ko)
EP (2) EP3758376B1 (ko)
JP (1) JP6576635B2 (ko)
KR (1) KR102161863B1 (ko)
CN (1) CN104396264B (ko)
BR (1) BR112014032108B1 (ko)
IN (1) IN2014MN02408A (ko)
RU (1) RU2641470C2 (ko)
WO (1) WO2014002914A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595031B2 (en) * 2013-07-12 2020-03-17 Qualcomm Incorporated Selection of target output layers in high efficiency video coding extensions
JP5947269B2 (ja) * 2013-09-24 2016-07-06 ソニー株式会社 符号化装置、符号化方法、送信装置および受信装置
US10284858B2 (en) * 2013-10-15 2019-05-07 Qualcomm Incorporated Support of multi-mode extraction for multi-layer video codecs
JP5909026B2 (ja) 2013-10-18 2016-04-26 パナソニック株式会社 画像符号化方法及び画像符号化装置
EP3110154B1 (en) 2014-02-21 2021-08-25 Sony Group Corporation Transmission device, transmission method, reception device, and reception method for high dynamic range video data
JP5886341B2 (ja) * 2014-03-07 2016-03-16 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
JP5836424B2 (ja) 2014-04-14 2015-12-24 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN106233736B (zh) * 2014-04-25 2020-06-05 索尼公司 发送设备、发送方法、接收设备以及接收方法
JP6768096B2 (ja) * 2014-05-23 2020-10-14 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 画像符号化方法及び画像復号装置
CN105308972B (zh) * 2014-05-23 2020-03-27 松下电器（美国）知识产权公司 图像编码方法及装置、记录介质、图像解码方法及装置
HUE055488T2 (hu) * 2014-08-07 2021-11-29 Sony Group Corp Adókészülék, adási eljárás és vevõkészülék
JP2017228895A (ja) * 2016-06-21 2017-12-28 Ｎｅｃプラットフォームズ株式会社 階層符号化信号間引き装置、制御方法およびプログラム
GB2553588B (en) 2016-09-13 2020-06-24 Ge Aviat Systems Ltd Multi-semiconductor solid state power controllers and method for managing inductive switching transients thereof
JP6350638B2 (ja) * 2016-11-16 2018-07-04 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080049775A (ko) * 2005-09-29 2008-06-04 톰슨 리서치 펀딩 코포레이션 제약된 가변 비트 속도 비디오 인코딩을 위한 방법 및 장치
JP2010507346A (ja) * 2006-10-16 2010-03-04 ヴィドヨ，インコーポレーテッド スケーラブルビデオ符号化においてシグナリング及び時間レベルスイッチングを実施するためのシステム及び方法
KR20120015260A (ko) * 2010-07-20 2012-02-21 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100834750B1 (ko) 2004-01-29 2008-06-05 삼성전자주식회사 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
WO2006012384A2 (en) 2004-07-20 2006-02-02 Qualcomm Incorporated Method and apparatus for encoder assisted-frame rate up conversion (ea-fruc) for video compression
US8436889B2 (en) 2005-12-22 2013-05-07 Vidyo, Inc. System and method for videoconferencing using scalable video coding and compositing scalable video conferencing servers
KR20070108433A (ko) * 2006-01-09 2007-11-12 한국전자통신연구원 청크 디스크립터를 이용한 ｓｖｃ 파일포맷에서의 비디오데이터 공유방법
US8693538B2 (en) 2006-03-03 2014-04-08 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
JP5753341B2 (ja) 2006-03-03 2015-07-22 ヴィドヨ，インコーポレーテッド スケーラブルビデオ通信でエラー耐性、ランダムアクセス、およびレート制御を提供するシステムおよび方法
RU2395174C1 (ru) 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
EP2041976A4 (en) * 2006-07-12 2012-06-20 Nokia Corp SIGNALING OF SCALABILITY INFORMATION FROM THE INTERESTING REGION IN MEDIA FILES
US7782808B2 (en) * 2007-07-02 2010-08-24 Lg Electronics, Inc. Digital broadcasting system and data processing method
US8230100B2 (en) * 2007-07-26 2012-07-24 Realnetworks, Inc. Variable fidelity media provision system and method
GB2456572B (en) * 2008-01-18 2012-03-14 Picochip Designs Ltd Femtocell device
KR101580516B1 (ko) * 2008-04-07 2015-12-28 엘지전자 주식회사 방송 신호 수신 방법 및 방송 신호 수신 장치
EP2194717A2 (en) * 2008-12-08 2010-06-09 Electronics and Telecommunications Research Institute Method for generating and processing hierarchical PES packet for digital satellite broadcasting based on SVC video
CN101924944B (zh) 2009-06-15 2013-06-05 华为技术有限公司 可伸缩视频编码操作点选择方法、信息提供方法及设备
JP5407968B2 (ja) * 2009-06-29 2014-02-05 ソニー株式会社 立体画像データ送信装置および立体画像データ受信装置
US10034009B2 (en) * 2011-01-14 2018-07-24 Vidyo, Inc. High layer syntax for temporal scalability

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080049775A (ko) * 2005-09-29 2008-06-04 톰슨 리서치 펀딩 코포레이션 제약된 가변 비트 속도 비디오 인코딩을 위한 방법 및 장치
JP2010507346A (ja) * 2006-10-16 2010-03-04 ヴィドヨ，インコーポレーテッド スケーラブルビデオ符号化においてシグナリング及び時間レベルスイッチングを実施するためのシステム及び方法
KR20120015260A (ko) * 2010-07-20 2012-02-21 한국전자통신연구원 스케일러빌리티 및 뷰 정보를 제공하는 스트리밍 서비스를 위한 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ITU-T H.264(06/2011) Advanced video coding for generic audiovisual services
기술문서1(Manu Mathew, 2010)* *
논문1(Ye-Kui Wang 등, 2007)* *

Also Published As

Publication number Publication date
JP6576635B2 (ja) 2019-09-18
CN104396264A (zh) 2015-03-04
US11979594B2 (en) 2024-05-07
BR112014032108B1 (pt) 2022-12-27
EP2869555A1 (en) 2015-05-06
CN104396264B (zh) 2019-04-02
EP3758376A1 (en) 2020-12-30
IN2014MN02408A (ko) 2015-08-21
US10750199B2 (en) 2020-08-18
US20150124884A1 (en) 2015-05-07
BR112014032108A2 (pt) 2017-08-01
US20200359044A1 (en) 2020-11-12
US10250901B2 (en) 2019-04-02
EP3758376B1 (en) 2025-03-05
RU2014151717A (ru) 2016-07-10
KR102161863B1 (ko) 2020-10-05
JPWO2014002914A1 (ja) 2016-05-30
RU2641470C2 (ru) 2018-01-17
EP2869555A4 (en) 2016-03-16
US20190124352A1 (en) 2019-04-25
WO2014002914A1 (ja) 2014-01-03

Similar Documents

Publication Publication Date Title
KR102161863B1 (ko) 송신/수신 장치, 방법, 부호화/복호화 장치
US11659152B2 (en) Reception device, display control method, transmission device, and transmission method for program content type
US20130215240A1 (en) Receiver apparatus and output method
US20130113883A1 (en) Receiving device and output method
CN103843330A (zh) 发送设备、发送方法、接收设备以及接收方法
JP5957770B2 (ja) 映像処理装置、方法、プログラム、記録媒体及び集積回路
US20120113220A1 (en) Video output device, video output method, reception device and reception method
JP5961717B2 (ja) 受信装置、受信方法、および送受信方法
JP2013090019A (ja) 映像出力装置および映像出力方法

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20141217

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20180618

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200205

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200624

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200924

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200924

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230912

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240913

Start annual number: 5

End annual number: 5