[go: up one dir, main page]

KR101894420B1 - 적응적 비디오 트랜스코딩 방법 및 시스템 - Google Patents

적응적 비디오 트랜스코딩 방법 및 시스템 Download PDF

Info

Publication number
KR101894420B1
KR101894420B1 KR1020110035112A KR20110035112A KR101894420B1 KR 101894420 B1 KR101894420 B1 KR 101894420B1 KR 1020110035112 A KR1020110035112 A KR 1020110035112A KR 20110035112 A KR20110035112 A KR 20110035112A KR 101894420 B1 KR101894420 B1 KR 101894420B1
Authority
KR
South Korea
Prior art keywords
encoding
video
option
transcoding
encoding option
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020110035112A
Other languages
English (en)
Other versions
KR20120117384A (ko
Inventor
배태면
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR1020110035112A priority Critical patent/KR101894420B1/ko
Priority to EP12771408.7A priority patent/EP2698994A4/en
Priority to US14/111,958 priority patent/US20140036993A1/en
Priority to CN201280018716.3A priority patent/CN103548352A/zh
Priority to JP2014505085A priority patent/JP5567754B2/ja
Priority to PCT/KR2012/002862 priority patent/WO2012141552A2/ko
Publication of KR20120117384A publication Critical patent/KR20120117384A/ko
Application granted granted Critical
Publication of KR101894420B1 publication Critical patent/KR101894420B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 비디오의 디코딩(Decoding)과 비디오 편집, 인코딩(Encoding) 과정 등의 비디오 트랜스코딩을 수행할 때, 사용자의 가용 네트워크 대역폭, 비디오의 특성, 서버의 연산부하를 고려하여 트랜스코더(Transcoder)의 인코딩 옵션(encoding option)을 적응적으로 제어하여 제한된 환경에서 최대한 많은 수의 비디오를 트랜스코딩할 수 있도록 된, 적응적 비디오 트랜스코딩 방법 및 시스템에 관한 것이다.
본 발명에 따른 적응적 비디오 트랜스코딩 시스템은, 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하고, 상기 스트리밍 가능 대역폭으로부터 요구되는 최소 압축률을 계산하고, 최소 압축률을 만족시키기 위한 인코딩 옵션을 결정하여, 결정된 인코딩 옵션을 이용하여 비디오 컨텐츠를 트랜스코딩하여 사용자 단말기에 전송하는 비디오 트랜스코딩 장치; 및 상기 비디오 트랜스코딩 장치로부터 상기 인코딩 옵션에 따라 트랜스코딩 된 비디오 컨텐츠를 수신하여 디스플레이하는 사용자 단말기를 포함한다.

Description

적응적 비디오 트랜스코딩 방법 및 시스템{Adaptive video transcoding method and its system for maximizing transcoding server capacity}
본 발명은 비디오 컨텐츠를 네트워크를 통해 사용자 단말기에 전송할 때 비디오 컨텐츠를 실시간으로 재인코딩하여 전송하는 비디오 트랜스코딩 방법 및 시스템에 관한 것으로서, 더욱 자세하게는 비디오의 디코딩(Decoding)과 비디오 편집, 인코딩(Encoding) 과정 등의 비디오 트랜스코딩을 수행할 때, 트랜스코더의 인코딩 옵션(encoding option)을 적응적으로 제어하여 제한된 환경에서 최대한 많은 수의 비디오를 트랜스코딩할 수 있도록 된 것이다.
다양한 컨텐츠 제공자(content provider)에 의해 생산되어 인터넷에 제공되는 많은 비디오 컨텐츠에 대해 N screen 서비스를 위해서는 컨텐츠의 코덱(codec)을 포함하는 인코딩 변수 및 방법, 파일타입(file type), 영상의 해상도, 프레임율 등이 사용자의 장치 및 네트워크 환경에 적합하도록 재인코딩하여 제공할 필요가 있다.
이를 해결하기 위해, 서비스 제공자는 실시간 비디오 트랜스코딩 서버(transcoding server)를 두고 사용자의 단말기에 맞도록 비디오를 재인코딩하여 네트워크를 통하여 사용자 단말기에 전송한다.
실시간 비디오 트랜스코딩 서버(Video transcoding server)는 동시에 얼마나 많은 비디오를 트랜스코딩(transcoding) 할 수 있는지가 서버(server)의 용량(capacity)으로 볼 수 있다.
그런데, Video transcoding은 비디오의 디코딩(decoding)과 비디오 편집, 인코딩(encoding) 과정을 포함하고 있는데, 특히 비디오 인코딩(encoding) 과정은 높은 연산량을 요구하여, 비디오 트랜스코딩 서버가 많은 수의 비디오 트랜스코딩(video transcoding)을 수행하는데 서버(server)의 연산 성능의 제약이 따른다는 문제점이 있다.
전술한 단점을 해결하기 위한 본 발명은, 비디오의 디코딩(Decoding)과 비디오 편집, 인코딩(Encoding) 과정 등의 비디오 트랜스코딩을 수행할 때, 사용자의 가용 네트워크 대역폭, 비디오의 특성, 서버의 연산부하를 고려하여 트랜스코더(Transcoder)의 인코딩 옵션(encoding option)을 적응적으로 제어하여 제한된 환경에서 최대한 많은 수의 비디오를 트랜스코딩할 수 있도록 된, 적응적 비디오 트랜스코딩 방법 및 시스템을 제공함에 그 목적이 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하고, 상기 스트리밍 가능 대역폭으로부터 요구되는 최소 압축률을 계산하고, 최소 압축률을 만족시키기 위한 인코딩 옵션에 대해, 상기 측정된 스트리밍 가능 대역폭으로부터 최소 필요 압축률을 계산하고, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하며, 결정된 인코딩 옵션을 이용하여 비디오 컨텐츠를 트랜스코딩하여 사용자 단말기에 전송하는 비디오 트랜스코딩 장치; 및 상기 비디오 트랜스코딩 장치로부터 상기 인코딩 옵션에 따라 트랜스코딩 된 비디오 컨텐츠를 수신하여 디스플레이하는 사용자 단말기를 포함하는 적응적 비디오 트랜스코딩 시스템이 제공된다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 사용자 단말기와 통신망을 통해 통신하기 위한 통신부; 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하는 트랜스코딩 환경분석부; 상기 측정된 스트리밍 가능 대역폭과, 미리 측정된 각 옵션별 압축률 및 CPU 점유율을 저장하고 있는 정보 저장부; 상기 측정된 스트리밍 가능 대역폭으로부터 최소 필요 압축률을 계산하고, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하는 인코딩옵션 결정부; 및 상기 결정된 인코딩 옵션을 이용하여 비디오를 트랜스코딩하여 사용자 단말기에 전송하는 트랜스코딩부를 포함하는 비디오 트랜스코딩 장치가 제공된다.
여기서, 상기 인코딩 옵션은 CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함한다.
또한, 상기 인코딩 옵션 결정부는, 상기 측정된 스트리밍 가능 대역폭으로부터 최소 필요 압축률을 계산하고, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정할 수 있다.
그리고, 상기 인코딩 옵션 결정부는, CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 3가지 인코딩 옵션을 조합하여 8가지 인코딩 조합을 생성하고, 8가지 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정할 수 있다.
한편, 전술한 목적을 달성하기 위한 본 발명의 또다른 측면에 따르면, 사용자 단말기와 통신망을 통해 통신하는 트랜스코딩 장치의 적응적 비디오 트랜스코딩 방법으로서, (a) 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하는 단계; (b) 상기 스트리밍 가능 대역폭으로부터 요구되는 최소 압축률을 계산하고, 최소 압축률을 만족시키는 인코딩 옵션에 대해, 상기 측정된 스트리밍 가능 대역폭으로부터 최소 필요 압축률을 계산하고, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하는 단계; 및 (c) 상기 결정된 인코딩 옵션에 따라 비디오 컨텐츠를 트랜스코딩하는 단계를 포함하는 비디오 장치의 적응적 비디오 트랜스코딩 방법이 제공된다.
또한, 상기 (a) 단계는, 상기 측정된 스트리밍 가능 대역폭과, 미리 측정된 각 옵션별 압축률 및 CPU 점유율을 저장한다.
또한, 상기 인코딩 옵션은 CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함한다.
또한, 상기 (b) 단계는, CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 3가지 인코딩 옵션을 조합하여 8가지 인코딩 조합을 생성하고, 8가지 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정할 수 있다.
그리고, 상기 (c) 단계는, 상기 결정된 인코딩 옵션에 따라 트랜스코딩 된 비디오 컨텐츠를 상기 사용자 단말기에 전송할 수 있다.
본 발명에 의하면, 사용자의 가용 네트워크 대역폭, 서버의 연산부하를 고려하여 트랜스코더의 인코딩 옵션을 적응적으로 결정할 수 있다.
또한, 제한된 서버의 연산 능력 하에서 최대한 많은 수의 비디오를 트랜스코딩할 수 있다.
그리고, 서버의 연산부하가 고려된 인코딩 옵션으로 트랜스코딩 된 비디오를 사용자 단말기에 전송할 수 있다.
도 1은 본 발명의 실시예에 따른 적응적 비디오 트랜스코딩 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 실시예에 따른 비디오 트랜스코딩 장치의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 트랜스코딩 장치의 적응적 비디오 트랜스코딩 방법을 설명하기 위한 동작 흐름도이다.
본 발명의 목적과 기술적 구성 및 그에 따른 작용 효과에 관한 자세한 사항은 본 발명의 명세서에 첨부된 도면에 의거한 이하 상세한 설명에 의해 보다 명확하게 이해될 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세하게 설명한다.
멀티미디어 트랜스코딩 기술은 단일 컨텐츠(one-source)를 사용자의 다양한 네트워크 및 단말기 특성에 능동적으로 대응하여 사용자의 환경에 최적의 컨텐츠로 재구성하여 제공함으로써(multi-use) 끊김없이 안정적인 서비스가 가능하도록 한다. 즉, 단일 컨텐츠를 다양한 네트워크 및 단말기에서 출력하도록 하여 any network, any device, any contents를 지향하는 유비쿼터스 컴퓨팅 환경을 지원 및 해결할 수 있는 핵심 기술 중의 하나이다.
향후 인터넷 환경은 더 다양한 네트워크와 사용자 단말기가 혼재된 상황에 추가하여 서로 다른 멀티미디어 압축 방식들이 공존할 것으로 예상되어 엄청난 개수의 사용 환경을 반영한 컨텐츠를 조합할 수 있다.
따라서, 하나의 컨텐츠를 상이한 네트워크, 해상도, 프로세서 성능, 사용자 인터페이스 등 성능과 특성이 서로 다른 다양한 환경에서도 사용 가능하도록 하는 기능을 제공해야 한다.
도 1은 본 발명의 실시예에 따른 적응적 비디오 트랜스코딩 시스템의 전체적인 구성을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 본 발명에 따른 적응적 비디오 트랜스코딩 시스템(100)은, 비디오 트랜스코딩 장치(110), 통신망(120) 및 사용자 단말기(130) 등을 포함한다.
비디오 트랜스코딩 장치(110)는 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하고, 상기 스트리밍 가능 대역폭으로부터 요구되는 최소 압축률을 계산하고, 최소 압축률을 만족시키기 위한 인코딩 옵션을 결정하여, 결정된 인코딩 옵션을 이용하여 비디오 컨텐츠를 트랜스코딩하여 사용자 단말기에 전송한다.
여기서, 비디오 트랜스코딩 장치(110)는 원본 압축 비디오를 트랜스코딩하여 하나 이상의 사용자 단말기(130)에 전송해 주는 미디어 서버 등이 될 수 있으며, 원본 압축 비디오를 입력받아 트랜스코딩해서 통신망(120)을 통해 멀티캐스팅 할 수 있는 전용 미디어 장치 등이 될 수 있다.
통신망(120)은 비디오 트랜스코딩 장치(110)에서 사용자 단말기(130)로 비디오를 전송하는 전송 경로를 제공하고, 사용자 단말기(130)가 비디오 트랜스코딩 서버(110)에 접속하기 위한 접속 경로를 제공한다. 여기서, 통신망(120)은 WCDMA, HDPA, 3G, 4G 등 이동 통신망과, 블루투스(Bluetooth)와 지그비(Zigbee), 와이파이(Wi-Fi) 등 근거리 통신망과, 인터넷이나 PSTN 등 유선 통신망을 포함한다.
사용자 단말기(130)는 비디오 트랜스코딩 장치로부터 인코딩 옵션에 따라 트랜스코딩 된 비디오 컨텐츠를 수신하여 디스플레이한다.
즉, 사용자 단말기(130)는 비디오 트랜스코딩 서버(110)에 비디오 해상도, 가용 대역폭, 프레임율 및 코덱 리스트를 전송하며, 이후 비디오 트랜스코딩 서버(110)로부터 원본 압축 비디오가 트랜스코딩 된 비디오를 수신하여 디스플레이한다.
여기서, 사용자 단말기(130)는 비디오 트랜스코딩 서버(110)로부터 비디오 데이터를 수신하여 디스플레이할 수 있는 IPTV, 셋탑박스(Settop Box) 등이 될 수 있으며, 사용자가 이동하면서 비디오 데이터를 재생하여 볼 수 있는 스마트 폰이나 이동통신 단말기 등이 될 수 있다.
도 2는 본 발명의 실시예에 따른 비디오 트랜스코딩 장치의 기능 블럭을 개략적으로 나타낸 구성도이다.
도 2를 참조하면, 본 발명에 따른 비디오 트랜스코딩 장치(110)는 통신부(210), 트랜스코딩 환경분석부(220), 정보 저장부(230), 인코딩옵션 결정부(240) 및 트랜스코딩부(250) 등을 포함한다.
통신부(210)는 사용자 단말기(130)와 통신망(120)을 통해 통신한다.
트랜스코딩 환경분석부(220)는 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정한다.
정보 저장부(230)는 측정된 스트리밍 가능 대역폭과, 미리 측정된 각 옵션별 압축률 및 CPU 점유율을 저장하고 있다.
인코딩옵션 결정부(240)는 스트리밍 가능 대역폭으로부터 요구되는 최소 압축률을 계산하고, 최소 압축률을 만족시키기 위한 인코딩 옵션을 결정한다.
여기서, 인코딩 옵션은 CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부 등을 포함한다. CABAC(Context Adaptive Binary Arithmatic Coding)/CAVLC(Context Adaptive Variable Length Coding)은 정보의 확률적인 분포를 활용한 loseless 압축방법이다. 압축 성능이 높은 Arithmatic Coding(산술압축)을 context에 따라 적응적(adaptive)으로 정해진 확률 분포를 switching하여 높은 압축률을 보이지만 연산량이 높다. CAVLC는 기존의 VLC(Variable Length Coding)에 context adaptive한 방법을 적용한 것으로 CABAC보다는 낮은 연산량을 보인다.
또한, constant QP/adaptive QP rate control은 압축 시 압축 결과의 데이터량을 제어하는 방법으로써, constant QP는 양자화 계수인 QP를 비디오 전체에 상수값으로 입력하여 제어하는 방법이다. 반면에 adaptive QP는 QP값을 계속 변화시키면서 데이터량을 제어하는 방법이다. 따라서 constant QP 방법이 adaptvie QP를 활용하는 방법보다 연산량이 낮다.
그리고, B frame은 움직임 예측을 P frame보다 두 배이상 요구하므로 연산량이 매우 많이 필요한 방법이다. 전술한 방법은 두 가지(cavac/cavlc, constant qp/adaptive qp) 방법 중 선택하거나 꼭 실행할 필요 없는 압축 방법(b frame)으로써 주어진 압축률을 만족하는 범위에서 인코딩 연산량을 줄일 수 있다면 선택하거나 제외할 수 있다.
또한, 인코딩옵션 결정부(240)는 측정된 스트리밍 가능 대역폭으로부터 최소 필요 압축률을 계산하고, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정할 수 있다.
그리고, 인코딩옵션 결정부(240)는, CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 3가지 인코딩 옵션을 조합하여 8가지 인코딩 조합을 생성하고, 8가지 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정할 수 있다.
트랜스코딩부(250)는 결정된 인코딩 옵션을 이용하여 비디오를 트랜스코딩하여 사용자 단말기(130)에 전송한다.
도 3은 본 발명의 실시예에 따른 트랜스코딩 장치의 적응적 비디오 트랜스코딩 방법을 설명하기 위한 동작 흐름도이다.
도 3을 참조하면, 본 발명에 따른 비디오 트랜스코딩 장치(110)는 먼저 사용자 단말기(130)에 전송할 원본 압축 비디오를 입력받는다(S310).
이어, 비디오 트랜스코딩 장치(110)는 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정한다(S320).
이때, 비디오 트랜스코딩 장치(110)는 측정된 스트리밍 가능 대역폭과, 미리 측정된 각 옵션별 압축률 및 CPU 점유율을 정보 저장부(230)에 저장한다.
여기서, 인코딩 옵션은 CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부 등을 포함한다.
이어, 비디오 트랜스코딩 장치(110)는 스트리밍 가능 대역폭으로부터 요구되는 최소 압축률을 계산한다(S330).
이어, 비디오 트랜스코딩 장치(110)는 최소 압축률을 만족시키기 위한 인코딩 옵션을 결정한다(S340).
이때, 비디오 트랜스코딩 장치(110)는 측정된 스트리밍 가능 대역폭으로부터 최소 필요 압축률을 계산하고, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정할 수 있다.
또한, 비디오 트랜스코딩 장치(110)는, CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 3가지 인코딩 옵션을 조합하여 8가지 인코딩 조합을 생성하고, 8가지 조합 중에서 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정할 수 있다.
이어, 비디오 트랜스코딩 장치(110)는 결정된 인코딩 옵션에 따라 비디오 컨텐츠를 트랜스코딩한다(S350).
그리고, 비디오 트랜스코딩 장치(110)는 결정된 인코딩 옵션에 따라 트랜스코딩 된 비디오 컨텐츠를 통신망(120)을 통해 사용자 단말기(130)에 전송한다(S360).
전술한 바와 같이 본 발명에 의하면, 비디오의 디코딩(Decoding)과 비디오 편집, 인코딩(Encoding) 과정 등의 비디오 트랜스코딩을 수행할 때, 사용자의 가용 네트워크 대역폭, 비디오의 특성, 서버의 연산부하를 고려하여 트랜스코더(Transcoder)의 인코딩 옵션(encoding option)을 적응적으로 제어하여 제한된 환경에서 최대한 많은 수의 비디오를 트랜스코딩할 수 있도록 된, 적응적 비디오 트랜스코딩 방법 및 시스템을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 비디오 컨텐츠를 네트워크를 통해 전송하는 장치나 시스템 등에 적용할 수 있고, 비디오 컨텐츠를 실시간으로 재인코딩하여 전송하는 비디오 트랜스코딩 기술에 적용할 수 있다.
100 : 적응적 비디오 트랜스코딩 시스템 110 : 비디오 트랜스코딩 장치
120 : 통신망 130 : 사용자 단말기
210 : 통신부 220 : 트랜스코딩 환경분석부
230 : 정보 저장부 240 : 인코딩옵션 결정부
250 : 트랜스코딩부

Claims (9)

  1. ◈청구항 1은(는) 설정등록료 납부시 포기되었습니다.◈
    장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하고, 상기 스트리밍 가능 대역폭으로부터 요구되는 필요 압축률을 계산하고, 상기 필요 압축률을 만족시키는 인코딩 옵션에 대해, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 압축률이 상기 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하며, 결정된 인코딩 옵션을 이용하여 비디오 컨텐츠를 트랜스코딩하여 사용자 단말기에 전송하는 비디오 트랜스코딩 장치; 및
    상기 비디오 트랜스코딩 장치로부터 상기 인코딩 옵션에 따라 트랜스코딩 된 비디오 컨텐츠를 수신하여 디스플레이하는 사용자 단말기;
    를 포함하고,
    상기 비디오 트랜스코딩 장치는, CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 3가지 인코딩 옵션을 조합하여 8가지 인코딩 조합을 생성하고, 상기 8가지 조합 중에서 압축률이 상기 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하는 것을 특징으로 하는 적응적 비디오 트랜스코딩 시스템.
  2. ◈청구항 2은(는) 설정등록료 납부시 포기되었습니다.◈
    사용자 단말기와 통신망을 통해 통신하기 위한 통신부;
    장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하는 트랜스코딩 환경분석부;
    상기 측정된 스트리밍 가능 대역폭과, 미리 측정된 각 옵션별 압축률 및 CPU 점유율을 저장하고 있는 정보 저장부;
    상기 측정된 스트리밍 가능 대역폭으로부터 요구되는 필요 압축률을 계산하고, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 압축률이 상기 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하는 인코딩옵션 결정부;
    상기 결정된 인코딩 옵션을 이용하여 비디오를 트랜스코딩하여 사용자 단말기에 전송하는 트랜스코딩부;
    를 포함하고,
    상기 인코딩 옵션 결정부는, CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 3가지 인코딩 옵션을 조합하여 8가지 인코딩 조합을 생성하고, 상기 8가지 조합 중에서 압축률이 상기 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하는 것을 특징으로 하는 비디오 트랜스코딩 장치.
  3. ◈청구항 3은(는) 설정등록료 납부시 포기되었습니다.◈
    제 2 항에 있어서,
    상기 인코딩 옵션은 CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 것을 특징으로 하는 비디오 트랜스코딩 장치.
  4. 삭제
  5. 사용자 단말기와 통신망을 통해 통신하는 트랜스코딩 장치의 적응적 비디오 트랜스코딩 방법으로서,
    (a) 장치의 CPU 점유율과 현재 스트리밍 가능 대역폭을 측정하는 단계;
    (b) 상기 스트리밍 가능 대역폭으로부터 요구되는 필요 압축률을 계산하고, 상기 필요 압축률을 만족시키는 인코딩 옵션에 대해, 각 인코딩 옵션을 조합하여 각 조합별 CPU 점유율을 계산하며, 각 조합 중에서 압축률이 상기 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하는 단계; 및
    (c) 상기 결정된 인코딩 옵션에 따라 비디오 컨텐츠를 트랜스코딩하는 단계;
    를 포함하고,
    상기 (b) 단계는, CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 3가지 인코딩 옵션을 조합하여 8가지 인코딩 조합을 생성하고, 상기 8가지 조합 중에서 압축률이 상기 필요 압축률보다 높고 CPU 점유율이 가장 낮은 인코딩 옵션 조합을 인코딩 옵션으로 결정하는 것을 특징으로 하는 비디오 장치의 적응적 비디오 트랜스코딩 방법.
  6. ◈청구항 6은(는) 설정등록료 납부시 포기되었습니다.◈
    제 5 항에 있어서,
    상기 (a) 단계는, 상기 측정된 스트리밍 가능 대역폭과, 미리 측정된 각 옵션별 압축률 및 CPU 점유율을 저장하는 것을 특징으로 하는 트랜스코딩 장치의 적응적 비디오 트랜스코딩 방법.
  7. ◈청구항 7은(는) 설정등록료 납부시 포기되었습니다.◈
    제 5 항에 있어서,
    상기 인코딩 옵션은 CABAC/CAVLC, constant QP/adaptive QP rate control, B frame 사용여부를 포함하는 것을 특징으로 하는 트랜스코딩 장치의 적응적 비디오 트랜스코딩 방법.
  8. 삭제
  9. ◈청구항 9은(는) 설정등록료 납부시 포기되었습니다.◈
    제 5 항에 있어서,
    상기 (c) 단계는, 상기 결정된 인코딩 옵션에 따라 트랜스코딩 된 비디오 컨텐츠를 상기 사용자 단말기에 전송하는 것을 특징으로 하는 트랜스코딩 장치의 적응적 비디오 트랜스코딩 방법.
KR1020110035112A 2011-04-15 2011-04-15 적응적 비디오 트랜스코딩 방법 및 시스템 Active KR101894420B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020110035112A KR101894420B1 (ko) 2011-04-15 2011-04-15 적응적 비디오 트랜스코딩 방법 및 시스템
EP12771408.7A EP2698994A4 (en) 2011-04-15 2012-04-16 Adaptive video transcoding method and system
US14/111,958 US20140036993A1 (en) 2011-04-15 2012-04-16 Adaptive video transcoding method and system
CN201280018716.3A CN103548352A (zh) 2011-04-15 2012-04-16 自适应视频转码方法和系统
JP2014505085A JP5567754B2 (ja) 2011-04-15 2012-04-16 適応的ビデオ・トランスコーディング方法及びシステム
PCT/KR2012/002862 WO2012141552A2 (ko) 2011-04-15 2012-04-16 적응적 비디오 트랜스코딩 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110035112A KR101894420B1 (ko) 2011-04-15 2011-04-15 적응적 비디오 트랜스코딩 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20120117384A KR20120117384A (ko) 2012-10-24
KR101894420B1 true KR101894420B1 (ko) 2018-09-03

Family

ID=47009878

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110035112A Active KR101894420B1 (ko) 2011-04-15 2011-04-15 적응적 비디오 트랜스코딩 방법 및 시스템

Country Status (6)

Country Link
US (1) US20140036993A1 (ko)
EP (1) EP2698994A4 (ko)
JP (1) JP5567754B2 (ko)
KR (1) KR101894420B1 (ko)
CN (1) CN103548352A (ko)
WO (1) WO2012141552A2 (ko)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438652B2 (en) * 2013-04-15 2016-09-06 Opentv, Inc. Tiered content streaming
CN104219590A (zh) * 2013-06-05 2014-12-17 华为终端有限公司 一种切换编码方式的方法、发送端和接收端
KR101451956B1 (ko) * 2013-06-07 2014-10-16 에스케이플래닛 주식회사 클라우드 서비스 시스템, 클라우드 서비스 장치 및 이를 이용한 방법
CN105187835B (zh) 2014-05-30 2019-02-15 阿里巴巴集团控股有限公司 基于内容的自适应视频转码方法及装置
CA2953422C (en) * 2014-06-26 2021-04-13 Arris Enterprises Llc Server side adaptive bit rate control for http streaming clients
CN104104897B (zh) * 2014-06-27 2018-10-23 北京奇艺世纪科技有限公司 一种移动终端的视频编辑方法和装置
CN105120276B (zh) * 2015-06-15 2018-10-09 珠海市杰理科技股份有限公司 自适应Motion JPEG编码方法和系统
US11756390B2 (en) 2018-02-20 2023-09-12 Arlo Technologies, Inc. Notification priority sequencing for video security
US11102492B2 (en) 2018-02-20 2021-08-24 Arlo Technologies, Inc. Multi-sensor motion detection
US11558626B2 (en) 2018-02-20 2023-01-17 Netgear, Inc. Battery efficient wireless network connection and registration for a low-power device
US11272189B2 (en) 2018-02-20 2022-03-08 Netgear, Inc. Adaptive encoding in security camera applications
US11064208B2 (en) * 2018-02-20 2021-07-13 Arlo Technologies, Inc. Transcoding in security camera applications
US12293583B2 (en) 2018-02-20 2025-05-06 Arlo Technologies, Inc. Notification priority sequencing for video security
KR102464757B1 (ko) 2018-03-29 2022-11-09 삼성전자주식회사 비디오 데이터를 스트리밍하는 시스템 및 방법
CN108965884B (zh) * 2018-07-13 2020-12-25 网宿科技股份有限公司 一种转码任务的分配方法及调度设备、转码设备
KR102078576B1 (ko) * 2018-08-22 2020-02-19 에스케이플래닛 주식회사 알파 데이터 압축을 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
EP3672242B1 (en) * 2018-12-21 2021-08-18 Axis AB A method of encoding a video sequence
CN110225352B (zh) * 2019-06-27 2021-03-05 深圳市云语科技有限公司 一种基于能力协商的云游戏视频编解码选择方法
CN111093076A (zh) * 2019-12-25 2020-05-01 西安万像电子科技有限公司 编码方式确定方法及装置
CN117714790A (zh) * 2023-12-13 2024-03-15 北京曜志科技有限公司 一种基于终端设备环境的自适应视频转码方法
CN118354133B (zh) * 2024-04-30 2025-03-25 广东保伦电子股份有限公司 一种视频同屏转码方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096800A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 動画像データの再圧縮符号化方法、装置及びプログラム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5621660A (en) * 1995-04-18 1997-04-15 Sun Microsystems, Inc. Software-based encoder for a software-implemented end-to-end scalable video delivery system
US6343313B1 (en) * 1996-03-26 2002-01-29 Pixion, Inc. Computer conferencing system with real-time multipoint, multi-speed, multi-stream scalability
EP1083750A3 (en) * 1999-09-10 2009-09-23 NTT DoCoMo, Inc. Method and apparatus for transcoding coded video image data
US6404814B1 (en) * 2000-04-28 2002-06-11 Hewlett-Packard Company Transcoding method and transcoder for transcoding a predictively-coded object-based picture signal to a predictively-coded block-based picture signal
US6438168B2 (en) * 2000-06-27 2002-08-20 Bamboo Media Casting, Inc. Bandwidth scaling of a compressed video stream
JP2002209215A (ja) * 2001-01-09 2002-07-26 Sony Corp 符号量制御装置及び方法、並びに画像情報変換装置及び方法
US7072393B2 (en) * 2001-06-25 2006-07-04 International Business Machines Corporation Multiple parallel encoders and statistical analysis thereof for encoding a video sequence
US7391807B2 (en) * 2002-04-24 2008-06-24 Mitsubishi Electric Research Laboratories, Inc. Video transcoding of scalable multi-layer videos to single layer video
FR2840495B1 (fr) * 2002-05-29 2004-07-30 Canon Kk Procede et dispositif de selection d'une methode de transcodage parmi un ensemble de methodes de transcodage
US7154952B2 (en) * 2002-07-19 2006-12-26 Microsoft Corporation Timestamp-independent motion vector prediction for predictive (P) and bidirectionally predictive (B) pictures
US20050024487A1 (en) * 2003-07-31 2005-02-03 William Chen Video codec system with real-time complexity adaptation and region-of-interest coding
JP4180468B2 (ja) * 2003-08-11 2008-11-12 カノープス株式会社 画像圧縮システム及び画像圧縮方法
US7555006B2 (en) * 2003-09-15 2009-06-30 The Directv Group, Inc. Method and system for adaptive transcoding and transrating in a video network
US20050175099A1 (en) * 2004-02-06 2005-08-11 Nokia Corporation Transcoder and associated system, method and computer program product for low-complexity reduced resolution transcoding
JP4347131B2 (ja) * 2004-04-30 2009-10-21 キヤノン株式会社 映像配信装置および方法
US7797723B2 (en) * 2004-10-30 2010-09-14 Sharp Laboratories Of America, Inc. Packet scheduling for video transmission with sender queue control
KR100703399B1 (ko) * 2004-12-13 2007-04-03 삼성전자주식회사 멀티미디어 컨텐츠를 연속적으로 전송하는 장치 및 방법
JP2006197006A (ja) * 2005-01-11 2006-07-27 Sharp Corp 動画像符号化装置
US7817608B2 (en) * 2005-09-23 2010-10-19 Widevine Technologies, Inc. Transitioning to secure IP communications for encoding, encapsulating, and encrypting data
US8879856B2 (en) * 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
JP2007306370A (ja) * 2006-05-12 2007-11-22 Victor Co Of Japan Ltd 画像符号化記録装置
KR20080003961A (ko) * 2006-07-04 2008-01-09 (주) 컨텐츠플러그 동영상 콘텐츠 서비스 시스템 및 방법
JP4383488B2 (ja) * 2008-04-04 2009-12-16 トムソン ライセンシング 画像圧縮システム及び画像圧縮方法
CN101594525B (zh) * 2008-05-31 2011-08-10 华为技术有限公司 量化参数的获取方法、装置及转码器
US20090304071A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Adaptive application of entropy coding methods
US8494056B2 (en) * 2009-05-21 2013-07-23 Ecole De Technologie Superieure Method and system for efficient video transcoding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096800A (ja) * 2005-09-29 2007-04-12 Toshiba Corp 動画像データの再圧縮符号化方法、装置及びプログラム

Also Published As

Publication number Publication date
US20140036993A1 (en) 2014-02-06
WO2012141552A3 (ko) 2013-01-10
EP2698994A2 (en) 2014-02-19
KR20120117384A (ko) 2012-10-24
EP2698994A4 (en) 2014-10-15
JP5567754B2 (ja) 2014-08-06
JP2014514852A (ja) 2014-06-19
CN103548352A (zh) 2014-01-29
WO2012141552A2 (ko) 2012-10-18

Similar Documents

Publication Publication Date Title
KR101894420B1 (ko) 적응적 비디오 트랜스코딩 방법 및 시스템
CN114845106B (zh) 视频编码方法、装置和存储介质及电子设备
CN105847807B (zh) 用于优化输入视频的编码的计算机系统、方法
CN103975601B (zh) 视频编码的速率‑失真‑复杂性优化
JP7549581B2 (ja) 最適なマルチコーデックａｂｒラダー設計
ITTO20090486A1 (it) Controllore dinamico della velocita' di trasmissione indipendente dal gruppo di immagini
CN101842812A (zh) 用于数字图像转码中的参数质量感知选择的系统和方法
US20090022218A1 (en) Method for controlling moving picture encoding using channel information of wireless networks
CN101656887B (zh) 码率控制算法的选择方法和装置
JP2019512970A (ja) ディスプレイストリーム圧縮における量子化パラメータの適応計算のための装置および方法
US11582462B1 (en) Constraint-modified selection of video encoding configurations
US10609383B2 (en) Video compression using down-sampling patterns in two phases
JP2012520603A (ja) 符号化ビット・ストリームの処理方法及び装置
KR101882889B1 (ko) 비디오 트랜스코딩 방법 및 시스템
Castellanos et al. SVCEval-RA: an evaluation framework for adaptive scalable video streaming
Paravati et al. A feedback-based control technique for interactive live streaming systems to mobile devices
Li et al. Towards an Automatic Parameter‐Tuning Framework for Cost Optimization on Video Encoding Cloud
CN112702605B (zh) 视频转码系统、视频转码方法、电子设备和存储介质
CN105519108B (zh) 量化矩阵编码的加权预测方法和装置
JP5956316B2 (ja) 主観画質推定装置、主観画質推定方法及びプログラム
CN116208730A (zh) 改善视频清晰度的方法、装置、设备及存储介质
Jamali et al. A parametric rate-distortion model for video transcoding
US12047627B2 (en) Encoding data generation method, encoding data generation apparatus and program
JP2019117974A (ja) 符号化装置、ビットレート制御方法及びコンピュータプログラム
KR101470404B1 (ko) N 스크린 서비스를 위한 트랜스코딩 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R19-X000 Request for party data change rejected

St.27 status event code: A-3-3-R10-R19-oth-X000

N231 Notification of change of applicant
PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P16-X000 Ip right document amended

St.27 status event code: A-5-5-P10-P16-nap-X000

Q16-X000 A copy of ip right certificate issued

St.27 status event code: A-4-4-Q10-Q16-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8