KR101603976B1 - Method and apparatus for concatenating video files - Google Patents
Method and apparatus for concatenating video files Download PDFInfo
- Publication number
- KR101603976B1 KR101603976B1 KR1020140143285A KR20140143285A KR101603976B1 KR 101603976 B1 KR101603976 B1 KR 101603976B1 KR 1020140143285 A KR1020140143285 A KR 1020140143285A KR 20140143285 A KR20140143285 A KR 20140143285A KR 101603976 B1 KR101603976 B1 KR 101603976B1
- Authority
- KR
- South Korea
- Prior art keywords
- video
- data
- file
- moving picture
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 83
- 238000001914 filtration Methods 0.000 claims description 13
- 230000006835 compression Effects 0.000 claims description 10
- 238000007906 compression Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 238000012656 cationic ring opening polymerization Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
멀티미디어 데이터를 제공하는 환경에서, 동영상 파일 결합 방법 및 그 장치가 제공된다. 제1 동영상 파일과 제2 동영상 파일--상기 제1 동영상 파일과 제2 동영상 파일은 프리트랜스코딩 처리된 파일임--들 각각에 대하여 비디오 데이터와 오디오 데이터로 분리하는 디먹싱(demuxing)을 수행한다. 제1 동영상 파일의 비디오 데이터와 제2 동영상 파일의 비디오 데이터를 스티칭(stitching)하여 비디오 데이터를 생성하고, 제1 동영상 파일의 오디오 데이터와 제2 동영상 파일의 오디오 데이터를 스티칭하여 오디오 데이터를 생성한다. 그리고 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터를 포함하는 결합 영상 파일을 생성한다. In an environment for providing multimedia data, a moving picture file combining method and apparatus are provided. The first moving picture file and the second moving picture file - the first moving picture file and the second moving picture file are demultiplexed into video data and audio data for each of the pre-transcoded files do. The video data of the first video file and the video data of the second video file are stitched to generate video data and the audio data of the first video file and the audio data of the second video file are stitched to generate audio data . Then, a combined image file including video data and audio data generated according to stitching is generated.
Description
본 발명은 서버에서 동영상 파일을 결합하는 방법 및 그 장치에 관한 것이다. The present invention relates to a method and apparatus for combining moving picture files in a server.
컴퓨터와 통신기술이 발전함에 따라서 다양한 데이터를 네트워크를 통해 전송할 수 있게 되었으며, 최근에는 인터넷을 통하여 멀티미디어 데이터를 실시간으로 전송 및 재생해 주는 스트리밍(streaming) 서비스가 활성화되고 있다. 특히 스마트폰, 태블릿 PC와 같이 스트리밍 서비스를 사용할 수 있고 인터넷에 항상 연결되어 있는 디바이스의 증가로 동영상 콘텐츠에 대한 요구가 더욱 확대되고 있다.As computers and communication technologies develop, various data can be transmitted through a network. In recent years, a streaming service that transmits and reproduces multimedia data in real time through the Internet has been activated. In particular, the demand for video contents is expanding due to the increase of devices that can use streaming services such as smart phones and tablet PCs and are always connected to the Internet.
또한 동영상 서비스 업체들은 동영상 콘텐츠에 대한 서비스를 제공하면서, 콘텐츠를 유료로 제공하는 것 이외에, 동영상 콘텐츠에 광고영상을 포함해서 서비스하는 것을 주요한 수익모델로 삼고 있다.In addition, while video service providers provide video content services, in addition to offering content for a fee, services including advertisement images in video contents are being used as a main revenue model.
일반적으로 동영상 콘텐츠에 광고영상을 포함하도록 하는 서비스 방법은, 클라이언트에서 동영상 서비스 서버로부터 제공되는 각각의 콘텐츠 영상과 광고 영상을 수신하고, 수신된 영상들을 연속으로 재생하는 방식을 사용해왔다. Generally, a service method of including an advertisement image in a video content has been performed by receiving a content image and an advertisement image provided from a video service server in a client, and continuously reproducing the received images.
그러나 최근에는 모바일 디바이스의 증가와 스마트TV, 크롬캐스트와 같은 신규 OS와 디바이스가 증가하면서 클라이언트에서 광고를 연속 재생하는 것에 대한 개발 및 운영 비용이 증가하고 있다.However, recently, as the number of mobile devices and new OS and devices such as smart TV and chrome cast increased, the development and operation cost for continuously reproducing the advertisement on the client is increasing.
이에 따라 클라이언트에서 연속으로 광고 영상과 콘텐츠 영상을 연속으로 재생하는 대신 동영상 서비스 서버에서 광고영상과 콘텐츠 영상을 하나로 결합해서 클라이언트에게 전달해주는 기술에 대한 필요성이 증가하고 있다.Accordingly, there is a growing need for a technology for delivering a combination of an advertisement image and a content image to a client in a video service server instead of continuously reproducing the advertisement image and the content image successively in the client.
클라이언트에서 연속 재생이 아닌 동영상 서비스 서버에서 동영상을 하나로 결합하기 위해서는, 결합 영상에 포함되어야 하는 입력 영상 파일들을 하나의 데이터 포맷으로 처리하여 결합하는 과정이 수행되어야 한다. In order to combine moving images from a video service server rather than a continuous playback on a client, the input image files to be included in the combined image must be processed and combined into one data format.
예를 들어, 영상 파일1과 영상 파일2의 결합이 이루어지는 경우, 영상 파일1을 비디오 데이터1과 오디오 데이터1로 분리하고, 비디오 데이터1 및 오디오 데이터1에 대한 디코딩을 수행한 후에 결합하려는 영상의 규격에 적합하도록 전환하는 과정을 거쳐서 비디오 무압축 데이터1과 오디오 무압축 데이터1를 획득한다. 또한 영상 파일2를 비디오 데이터2와 오디오 데이터2로 분리하고, 비디오 데이터2 및 오디오 데이터2에 대한 디코딩을 수행한 후에 결합하려는 영상의 규격에 적합하도록 전환하는 과정을 거쳐서 비디오 무압축 데이터2와 오디오 무압축 데이터2를 획득한다. 이후, 영상 파일1과 영상 파일2로부터 획득한 두 비디오 무압축 데이터를 결합하며, 또한 영상 파일1과 영상 파일2로부터 획득한 두 오디오 무압축 데이터를 결합한다. 다음에, 결합된 비디오 무압축 데이터와 결합된 오디오 무압축 데이터에 대하여, 다시 비디오 코덱과 오디오 코덱을 사용해서 각각 압축하는 인코딩을 수행한 후에, 인코딩된 비디오 데이터와 오디오 데이터, 그리고 영상 재생에 필요한 영상 재생 정보를 포함하는 최종 영상 파일3를 생성한다. For example, when the
이렇게 동영상 파일을 디코딩하고, 다시 인코딩하여, 하나의 데이터 포맷을 다른 데이터 포맷으로 변환하는 것을 트랜스코딩(transcoding)이라고 한다Transcoding is the process of decoding a video file, re-encoding it, and converting one data format to another data format
그런데, 결합되는 파일 중의 일부가 변경되면 전체에 대하여 트랜스코딩을 다시 수행해야 하는 상황이 발생한다. 즉, 앞의 예에서 영상 파일1의 포맷이 변경되면 영상 파일1에 대해서만 트랜스코딩을 하는 것이 아니라, 위와 같이 영상 파일1 이외에도 영상 파일2에 대해서 트랜스코딩을 하고 결합하는 과정이 수행되어야 한다. However, when a part of the files to be combined is changed, transcoding must be performed again for the entirety. That is, if the format of the
그러므로 서버에서 변경된 동영상이 포함된 모든 결합 파일에 대해서 트랜스코딩을 수행해야 하고, 이를 위해서는 대량의 시스템 자원이 필요하다.Therefore, transcoding must be performed on all the combined files containing the changed video on the server, which requires a large amount of system resources.
본 발명이 해결하고자 하는 과제는 멀티미디어 데이터를 제공하는 시스템에서 동영상 파일을 보다 효율적으로 결합하여 제공하는 방법 및 그 장치를 제공하는 것이다. SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for efficiently combining moving picture files in a system for providing multimedia data.
위의 과제를 위한 본 발명의 특징에 따른 동영상 파일 결합 방법은, 멀티미디어 데이터를 제공하는 장치에서 동영상을 결합하는 방법에서, 제1 동영상 파일과 제2 동영상 파일--상기 제1 동영상 파일과 제2 동영상 파일은 프리트랜스코딩 처리된 파일임--들 각각에 대하여 비디오 데이터와 오디오 데이터로 분리하는 디먹싱(demuxing)을 수행하는 단계; 상기 제1 동영상 파일의 비디오 데이터와 상기 제2 동영상 파일의 비디오 데이터를 스티칭(stitching)하여 비디오 데이터를 생성하는 단계; 상기 제1 동영상 파일의 오디오 데이터와 상기 제2 동영상 파일의 오디오 데이터를 스티칭하여 오디오 데이터를 생성하는 단계; 및 상기 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터를 포함하는 결합 영상 파일을 생성하는 단계를 포함한다. According to an aspect of the present invention, there is provided a method of combining moving pictures in a device for providing multimedia data, the method comprising: combining a first moving picture file and a second moving picture file, Demultiplexing the video file into video data and audio data for each of the pre-transcoded files; Generating video data by stitching video data of the first moving picture file and video data of the second moving picture file; Generating audio data by stitching audio data of the first moving picture file and audio data of the second moving picture file; And generating a combined image file including the video data and the audio data generated according to the stitching.
상기 결합 영상 파일은 동영상 파일 재생에 필요한 영상 재생 정보를 더 포함할 수 있으며, 상기 영상 재생 정보는 상기 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터에 대한 코덱, 코덱 프로파일을 포함하는 인코딩 정보, 그리고 재생 시간에 대한 비디오 데이터와 오디오 데이터의 파일 내부 위치 정보를 포함할 수 있다. The combined image file may further include image reproduction information required for reproducing a moving image file. The image reproduction information may include a codec for the video data and audio data generated according to the stitching, encoding information including a codec profile, And may include video data for time and file internal position information of audio data.
상기 동영상 파일 결합 방법은, 상기 디먹싱을 수행하는 단계 이전에, 제1 포맷으로 이루어지는 동영상 파일을 제2 포맷으로 프리트랜스코딩하는 단계; 및 상기 프리트랜스코딩된 동영상 파일을 저장부에 저장하여 관리하는 단계를 더 포함할 수 있다. Wherein the moving picture file combining method includes: pre-transcoding a moving picture file of a first format into a second format before performing the de-muxing; And storing and managing the pre-transcoded moving picture file in a storage unit.
상기 프리트랜스코딩하는 단계는, 제1 포맷의 동영상 파일을 원본 비디오 데이터와 원본 오디오 데이터로 분리하는 단계; 상기 원본 비디오 데이터를 디코딩하여 원본 비디오 무압축 데이터를 획득하고, 상기 원본 오디오 코덱을 디코딩하여 원본 오디오 무압축 데이터를 획득하는 단계; 상기 원본 비디오 무압축 데이터를 필터링 처리하여 수정 비디오 무압축 데이터를 획득하고, 상기 원본 오디오 데이터를 필터링 처리하여 수정 오디오 무압축 데이터를 획득하는 단계; 상기 수정 비디오 무압축 데이터를 비디오 코덱을 이용해서 압축하여 수정 비디오 데이터를 획득하고, 상기 수정 오디오 무압축 데이터를 오디오 코덱을 이용해서 압축하여 수정 오디오 데이터를 획득하는 인코딩을 수행하는 단계; 및 상기 수정 비디오 데이터, 수정 오디오 데이터를 제2 포맷에 맞게 처리하여 상기 제2 포맷의 영상 파일을 획득하는 단계를 포함할 수 있다. The pre-transcoding may include separating the moving picture file of the first format into original video data and original audio data; Obtaining original video uncompressed data by decoding the original video data, and decoding the original audio codec to obtain original audio uncompressed data; Filtering the original video uncompressed data to obtain modified video uncompressed data, and filtering the original audio data to obtain corrected audio uncompressed data; Compressing the modified video uncompressed data using a video codec to obtain modified video data, compressing the modified audio uncompressed data using an audio codec to perform encoding to obtain corrected audio data; And processing the modified video data and modified audio data according to a second format to obtain the image file of the second format.
상기 인코딩을 수행하는 단계에서, 각 동영상 파일을 인코딩 처리하는 인코딩 환경 정보가 서로 동일할 수 있다. In the encoding step, encoding environment information for encoding each moving picture file may be identical to each other.
상기 인코딩 환경 정보는 비디오 데이터에 대해서는 비디오 코덱, 비디오 코덱 프로파일, 비디오 영상크기, 비디오 코덱 엔트로피 사용 여부 중 적어도 하나를 포함할 수 있으며, 오디오 데이터에 대해서는 오디오 코덱, 오디오 코덱 프로파일, 오디오 샘플링 레이트 중 적어도 하나를 포함할 수 있다. The encoding environment information may include at least one of a video codec, a video codec profile, a video image size, and whether or not the video codec entropy is used for the video data. The audio codec may include at least one of an audio codec, One can be included.
한편, 상기 영상 재생 정보는 비디오 데이터와 오디오 데이터의 재생시간 정보인 타임스탬프를 포함할 수 있으며, 상기 제1 동영상 파일의 타임스탬프와 상기 제2 동영상 파일의 타임스탬프를 합하여 상기 결합 영상 파일의 타임스탬프를 획득할 수 있다. The video reproduction information may include a time stamp, which is information on the reproduction time of the video data and the audio data. The time stamp of the first video file and the time stamp of the second video file may be summed, A stamp can be obtained.
본 발명의 다른 특징에 따른 동영상 파일 결합 장치는, 멀티미디어 데이터를 제공하는 환경에서 동영상을 결합하는 장치에서, 제1 동영상 파일과 제2 동영상 파일--상기 제1 동영상 파일과 제2 동영상 파일은 프리트랜스코딩 처리된 파일임--들 각각에 대하여 비디오 데이터와 오디오 데이터로 분리하는 디먹싱(demuxing)을 수행하는 디먹싱 처리부; 상기 제1 동영상 파일의 비디오 데이터와 상기 제2 동영상 파일의 비디오 데이터를 스티칭(stitching)하여 비디오 데이터를 생성하고, 상기 제1 동영상 파일의 오디오 데이터와 상기 제2 동영상 파일의 오디오 데이터를 스티칭하여 오디오 데이터를 생성하는 스티칭 처리부; 및 상기 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터를 포함하는 결합 영상 파일을 생성하는 먹싱 처리부를 포함한다. According to another aspect of the present invention, there is provided an apparatus for combining moving pictures in an environment for providing multimedia data, the apparatus comprising: a first moving picture file and a second moving picture file, wherein the first moving picture file and the second moving picture file are free A demuxing processor for demuxing video data and audio data for each transcoded file; Stitching the video data of the first moving picture file and the video data of the second moving picture file to generate video data and stitching the audio data of the first moving picture file and the audio data of the second moving picture file, A stitching processor for generating data; And a muxing unit for generating a combined image file including the video data and the audio data generated according to the stitching.
이외에도, 제1 포맷으로 이루어지는 동영상 파일을 제2 포맷으로 프리트랜스코딩하는 프리트랜스코딩 처리부; 및 상기 프리트랜스코딩된 동영상 파일을 저장하는 저장부를 더 포함할 수 있다. A pre-transcoding processor for pre-transcoding the moving picture file of the first format into a second format; And a storage unit for storing the pre-transcoded moving picture file.
또한 클라이언트로 제공할 동영상 파일들을 상기 저장부로부터 선택하여 상기 디먹싱 처리부로 제공하는 입력 파일 선택부를 더 포함할 수 있다. And an input file selection unit for selecting video files to be provided to the client from the storage unit and providing the selected video files to the de-multiplex processing unit.
상기 프리트랜스코딩 처리부는 제1 포맷의 동영상 파일의 압축된 비디오 및 오디오 데이터를 동영상 압축 코덱을 이용하여 복원하여 비디오 무압축 데이터 및 오디오 무압축 데이터를 획득하는 디코딩 과정, 복원된 비디오 무압축 데이터 및 오디오 무압축 데이터에 대한 필터링 처리하는 필터링 과정, 필터링된 비디오 무압축 데이터 및 오디오 무압축 데이터를 동영상 압축 코덱을 이용하여 압축하는 인코딩 과정, 그리고 인코딩된 비디오 및 오디오 데이터를 제2 포맷에 따라 결합하는 먹싱 과정을 수행함으로써, 제2 포맷의 동영상 파일을 생성하여 상기 저장부에 저장할 수 있다.
Wherein the pre-transcoding processor comprises: a decoding process of restoring the compressed video and audio data of the moving picture file of the first format using the moving picture compression codec to obtain the video uncompressed data and the audio uncompressed data; A filtering process for filtering the audio uncompressed data, an encoding process for compressing the filtered video uncompressed data and audio uncompressed data using the moving picture compression codec, and an encoding process for combining the encoded video and audio data according to the second format The moving picture file of the second format can be generated and stored in the storage unit by performing the muxing process.
본 발명의 실시 예에 따르면, 동영상 데이터를 제공하는 시스템에서 동영상 파일을 보다 효율적으로 결합하여 제공할 수 있다. 특히, 동영상 파일들을 미리 트랜스코딩하여 저장한 상태에서, 제공할 영상 파일들을 선택하여 결합 처리하여 제공함으로써, 영상 파일 처리 속도가 향상되고 동영상 파일을 결합하는데 소요되는 처리 부하를 감소시킬 수 있으며, 그 결과, 적은 서버 시스템 자원으로도 동영상을 결합해서 실시간으로 응답해주는 시스템을 구축할 수 있다. According to the embodiment of the present invention, a system for providing moving image data can more efficiently combine and provide moving image files. Particularly, in a state in which video files are transcoded and stored in advance, the video files to be provided are selected and combined and provided, thereby improving the video file processing speed and reducing the processing load required for combining moving picture files, As a result, it is possible to construct a system that responds in real time by combining moving images with a small amount of server system resources.
도 1은 본 발명의 실시 예에 따른 동영상 파일 결합 방법을 나타낸 개념도이다.
도 2는 본 발명의 실시 예에 따른 프리트랜스코딩 과정을 나타낸 도이다.
도 3은 본 발명의 실시 예에 따른 동영상 결합 처리를 나타낸 도이다.
도 4는 본 발명의 실시 예에 따른 동영상 파일 결합 처리에서, 파일 정보인 타임 스탬프를 변경 처리하는 과정을 나타낸 예시도이다.
도 5는 본 발명의 실시 예에 따른 동영상 파일 결합 장치의 구조를 나타낸 도이다.
도 6은 본 발명의 실시 예에 따른 동영상 파일 결합 방법의 흐름도이다. 1 is a conceptual diagram illustrating a moving picture file combining method according to an embodiment of the present invention.
2 is a diagram illustrating a pre-transcoding process according to an embodiment of the present invention.
3 is a diagram illustrating a moving image combining process according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a process of changing a time stamp, which is file information, in a moving picture file combining process according to an embodiment of the present invention.
5 is a diagram illustrating a structure of a moving picture file combining apparatus according to an embodiment of the present invention.
6 is a flowchart illustrating a moving picture file combining method according to an embodiment of the present invention.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. Throughout the specification, when an element is referred to as "comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise.
이하, 도면을 참조하여 본 발명의 실시 예에 따른 영상 결합 방법 및 그 장치에 대하여 설명한다. Hereinafter, an image combining method and apparatus according to an embodiment of the present invention will be described with reference to the drawings.
무압축의 상태의 비디오 데이터와 오디오 데이터는 용량이 매우 크기 때문에 전송하려는 디바이스와 네트워크의 상태에 적절한 용량으로 줄이는 과정이 필요하다. 무압축 동영상을 작은 용량으로 줄이기 위해서는 압축기술이 사용된다. 비디오 데이터에는 AVC(advanced video coding)와 HEVC(high effective video coding), 그리고 오디오 데이터에는 AAC(advanced audio coding)와 AC3와 같은 압축기술이 사용되고 있으며, 동영상 분야에서는 이러한 압축 기술을 코덱(CODEC)이라고 한다.Uncompressed video data and audio data are very large and need to be reduced to the capacity appropriate for the device and network conditions to be transmitted. Compression technology is used to reduce uncompressed video to a smaller capacity. Compression technologies such as advanced video coding (AVC) and high effective video coding (HEVC) are used for video data, and advanced audio coding (AAC) and audio data are used for audio data. In the moving picture field, such a compression technique is called a codec do.
이하, 본 발명의 실시 예에서는 설명의 편의를 위하여, 압축 기술에 따라 처리된 데이터를 데이터 종류에 따라서 "비디오 데이터"와 "오디오 데이터"라고 하며, 압축 이전의 상태에 해당하는 데이터는 "비디오 무압축 데이터"와 "오디오 무압축 데이터"라고 각각 명명한다. Hereinafter, in the embodiment of the present invention, for convenience of description, the data processed according to the compression technique is referred to as "video data" and "audio data" according to the data type, and data corresponding to the state before compression is referred to as " Compressed data "and" audio uncompressed data ", respectively.
MP4와 같은 멀티미디어 동영상 파일은 비디오 데이터와 오디오 데이터, 그리고 영상 재생 정보로 이루어지며, 비디오 데이터, 오디오 데이터, 영상 재생 정보를 가지고 MP4와 같은 동영상 파일을 생성하는 과정을 먹싱(Muxing) 이라고 한다. A multimedia video file such as MP4 is composed of video data, audio data, and image playback information. The process of generating a video file such as MP4 with video data, audio data, and image playback information is called muxing.
영상 파일의 규격을 변환하기 위해서는 인코딩/먹싱 이전에 MP4 파일과 같은 동영상 파일에서 비디오 데이터와 오디오 데이터를 분리하는 디먹싱(Demuxing) 과정과, 압축된 비디오 데이터와 오디오 데이터에서 압축을 해제하는 과정인 디코딩(Decoding)과정이 필요하다. In order to convert the specification of the video file, a demuxing process is performed to separate video data and audio data from a moving picture file such as an MP4 file before encoding / muxing, and a process of decompressing the compressed video data and audio data A decoding process is required.
일반적으로 디코딩된 비디오 무압축 데이터와 오디오 무압축 데이터는 변경하려는 규격에 맞추어서 화면 크기, 오디오 샘플링 레이트(sampling rate)등을 변환하는 필터링(filtering) 과정을 거친 후에 사용된다. Generally, decoded video uncompressed data and audio uncompressed data are used after filtering to convert a screen size, an audio sampling rate, and the like in accordance with a standard to be changed.
도 1은 본 발명의 실시 예에 따른 영상 결합 방법을 나타낸 개념도이다. 1 is a conceptual diagram illustrating an image combining method according to an embodiment of the present invention.
본 발명의 실시 예에서는 멀티미디어 데이터를 제공하는 장치에서 클라이언트의 요청에 따라 동영상 파일들이 결합된 결합 영상 파일을 제공한다. 첨부한 도 1에서와 같이, 멀티미디어 데이터를 제공하는 장치는 동영상 파일들을 미리 트랜스코딩하여 저장소에 저장하고, 클라이언트의 요청에 따라 저장소로부터 대응하는 동영상 파일들을 선택하여 결합하여 결합 영상 파일을 생성한다. 그리고 생성된 결합 영상 파일을 클라이언트로 제공한다. In an embodiment of the present invention, an apparatus for providing multimedia data provides a combined image file in which moving image files are combined according to a request of a client. As shown in FIG. 1, an apparatus for providing multimedia data transcodes moving picture files in advance and stores the moving picture files in a storage, and selects a corresponding moving picture file from a storage according to a request from a client and combines them to generate a combined picture file. Then, the generated combined image file is provided to the client.
본 발명의 실시 예에 따라 동영상 파일을 미리 트랜스코딩하는 것을 "프리트랜스코딩 (pre-transcoding)"이라고 하며, 프리트랜스코딩은 다음과 같이 수행된다. According to the embodiment of the present invention, transcoding a moving picture file in advance is referred to as "pre-transcoding ", and pre-transcoding is performed as follows.
도 2는 본 발명의 실시 예에 따른 프리트랜스코딩 과정을 나타낸 도이다. 2 is a diagram illustrating a pre-transcoding process according to an embodiment of the present invention.
본 발명의 실시 예에 따라 동영상 파일을 프리트랜스코딩하는 경우, 도 2에서와 같이, 디먹싱(demuxing) 과정(P1), 디코딩(decoding) 과정(P2), 필터링(filtering) 과정(P3), 인코딩(encoding) 과정(P4), 그리고 먹싱(Muxing) 과정(P5)이 수행된다. In the case of pre-transcoding a moving picture file according to an embodiment of the present invention, a demuxing process P1, a decoding process P2, a filtering process P3, An encoding process P4, and a muxing process P5 are performed.
디먹싱 과정(P1)은 동영상 파일을 인코딩된 비디오 데이터와 오디오 데이터로 분리하는 과정이다. 소정 규격의 동영상 파일은 도 2에서와 같이, 원본 비디오 데이터, 원본 오디오 데이터, 그리고 원본 영상 재생 정보를 포함하는 형태로 이루어지는데, 동영상 파일은 디먹싱 과정(P1)을 통하여 원본 비디오 데이터와, 원본 오디오 데이터로 분리된다. The demuxing process P1 is a process of separating a moving picture file into encoded video data and audio data. As shown in FIG. 2, the moving picture file of the predetermined standard is composed of the original video data, the original audio data, and the original image reproduction information. The moving picture file is demultiplexed through the demultiplexing process P1, Audio data.
디코딩 과정(P2)은 압축된 비디오 데이터와 오디오 데이터를 디코딩 용도의 코덱을 사용해서 압축 이전의 상태로 복원하는 과정이다. 예를 들어, AVC 비디오 코덱을 이용하여 원본 비디오 데이터를 디코딩하여 원본 비디오 무압축 데이터를 획득하고, 또한 AAC를 사용해서 원본 오디오 데이터를 디코딩하여 원본 오디오 무압축 데이터를 획득한다. The decoding process P2 is a process of restoring compressed video data and audio data to a state before compression using a codec for decoding. For example, the original video data is decoded by using the AVC video codec to obtain the original video uncompressed data, and the original audio data is decoded using the AAC to obtain the original audio uncompressed data.
필터링 과정(P3)은 비디오 화면 크기 변경, 비디오 자막 추가, 오디오 샘플링 레이트 변경, 오디오 채널 구성 변경 등과 같이 무압축 상태에서 비디오와 오디오 데이터를 변경하는 작업을 수행한다. 예를 들어, 원본 비디오 무압축 데이터를 필터링 처리하여 수정된 비디오 무압축 데이터를 획득하고, 또한 원본 오디오 데이터를 필터링 처리하여 수정된 오디오 무압축 데이터를 획득한다. The filtering process (P3) performs the operation of changing the video and audio data in the uncompressed state, such as changing the video screen size, adding video subtitles, changing the audio sampling rate, and changing the audio channel configuration. For example, the original video uncompressed data is filtered to obtain the corrected video uncompressed data, and the original audio data is subjected to filtering processing to obtain the corrected audio uncompressed data.
필터링 과정에서 수행되는 작업은 위에 기술된 것에 한정되지 않는다. The operations performed in the filtering process are not limited to those described above.
인코딩 과정(P4)은 획득한 무압축 데이터를 비디오 코덱과 오디오 코덱을 이용하여 압축하는 과정이다. 필터링 과정을 통하여 획득한 수정 비디오 무압축 데이터를 AVC와 같은 비디오 코덱을 이용해서 압축하여 수정 비디오 데이터를 획득하고, 또한 수정 오디오 무압축 데이터를 AAC와 같은 오디오 코덱을 이용해서 압축하여 수정 오디오 데이터를 획득한다. The encoding process P4 is a process of compressing the obtained uncompressed data using a video codec and an audio codec. The modified video uncompressed data obtained through the filtering process is compressed by using a video codec such as AVC to obtain corrected video data and the corrected audio uncompressed data is compressed by using an audio codec such as AAC, .
먹싱 과정(P5)는 인코딩된 수정된 비디오 데이터와 수정된 오디오 데이터 그리고 수정된 영상 재생 정보를 동영상 파일 포맷에 맞게 결합하여 저장하는 과정이다. 예를 들어, 인코딩 과정을 통하여 획득한 수정 비디오 데이터와, 수정 오디오 데이터, 출력 파일 포맷에 적합한 수정 영상 재생 정보를 생성한 후에 새로운 규격의 출력 영상 파일을 생성한다. 새로운 규격의 출력 영상 파일은 수정 비디오 데이터, 수정 오디오 데이터, 그리고 수정 영상 재생 정보를 포함한다. The muxing process P5 is a process of combining encoded modified video data, modified audio data, and modified video reproduction information in accordance with a moving picture file format. For example, after generating the modified video data, the modified audio data, and the modified video playback information suitable for the output file format obtained through the encoding process, a new standard output image file is generated. The new standard output video file contains modified video data, modified audio data, and modified video playback information.
위와 같은 프리트랜스코딩 과정을 통하여, 원본 파일 포맷의 영상 파일로부터 수정 파일 포맷의 영상 파일이 획득된다. Through the above-described pre-transcoding process, the image file of the modified file format is obtained from the image file of the original file format.
본 발명의 실시 예에 따른 프리트랜스코딩 과정에서, 재인코딩 과정 없이 동영상 결합을 하기 위하여 결합에 사용되는 동영상 파일의 인코딩 환경이 동일해야 한다. 특히 인코딩 환경에서 비디오 코덱, 비디오 코덱 프로파일, 비디오 영상크기, 비디오 코덱 엔트로피 사용여부, 오디오 코덱, 오디오 코덱 프로파일, 오디오 샘플링 레이트는 동일해야 하며, 이후 이를 "중요 인코딩 환경 정보"라고 지칭한다. 중요 인코딩 환경 정보는 위에 기술된 정보들 중 적어도 하나를 포함한다. In the pre-transcoding process according to the embodiment of the present invention, the encoding environment of the moving picture file used for combining must be the same in order to combine moving pictures without re-encoding. Particularly, in the encoding environment, the video codec, the video codec profile, the video image size, whether to use the video codec entropy, the audio codec, the audio codec profile, and the audio sampling rate must be the same and will be referred to as "important encoding environment information ". The important encoding environment information includes at least one of the above described information.
프리트랜스코딩 과정을 수행하여, 예를 들어, 제1 포맷의 동영상 파일이 제2 포맷의 동영상 파일로 처리되어 저장소에 저장된다. 여기서, 제1 포맷은 동영상 파일의 원본 포맷을 나타내며, 제2 포맷은 클라이언트로 제공할 포맷을 나타낸다. 예를 들어, 비디오 해상도 1280×720 화면크기를 가지는 원본 동영상 파일을 클라이언트에 전송될 640×360 화면 크기의 영상으로 프리트랜스코딩해서 저장소에 저장한다. A pre-transcoding process is performed, for example, a moving picture file of the first format is processed as a moving picture file of the second format and is stored in the storage. Here, the first format represents the original format of the moving picture file, and the second format represents the format to be provided to the client. For example, an original video file having a video resolution of 1280 x 720 screen size is pre-transcoded into an image of 640 x 360 screen size to be transmitted to the client and stored in the storage.
클라이언트에서 요청하는 결합된 동영상 파일을 제공하기 위하여, 저장소에 저장된 프리트랜스코딩된 동영상 파일들의 결합 처리가 수행되어야 한다.In order to provide a combined moving picture file requested by the client, a combining process of the pre-transcoded moving picture files stored in the storage should be performed.
도 3은 본 발명의 실시 예에 따른 동영상 결합 처리를 나타낸 도이다. 3 is a diagram illustrating a moving image combining process according to an embodiment of the present invention.
클라이언트의 요청에 따라 두 개의 동영상 파일들을 결합 처리하는 경우, 설명의 편의상 입력 파일1 및 입력 파일2라고 한다. 여기서 입력 파일1과 입력 파일2는 프리트랜스코딩된 동영상 파일들이다. When two video files are combined according to a request from a client, the
첨부한 도 3에서와 같이, 입력 파일1은 비디오 데이터1, 오디오 데이터1, 그리고 영상 재생 정보1을 포함하고, 입력 파일2는 비디오 데이터2, 오디오 데이터2, 그리고 영상 재생 정보2를 포함한다. 3, the
먼저, 입력 파일1과 입력 파일2에 대하여 디먹싱을 수행한다. 입력 파일1이 비디오 데이터1과 오디오 데이터1로 분리되고, 입력 파일2가 비디오 데이터2와 오디오 데이터2로 분리된다. First, de-muxing is performed on the
그리도 비디오 데이터는 비디오 데이터끼리, 오디오 데이터는 오디오 데이터끼리 결합하는 스티칭(Stitching)과정을 수행한다. 즉, 비디오 데이터1과 비디오 데이터2를 결합하여 비디오 데이터 3를 생성하고, 오디오 데이터1과 오디오 데이터2를 결합하여 오디오 데이터3를 생성한다. Also, the video data and the audio data are stitched together. That is,
이후, 스티칭 처리된 비디오 데이터3와 오디오 데이터3를 가지고 출력 영상 파일 포맷에 적합한 영상 재생 정보 3를 생성한 후에, 비디오 데이터3와 오디오 데이터3와 함께 결합하여 클라이언트에 전송할 출력 파일을 생성한다. 출력 파일은 비디오 데이터3, 오디오 데이터3 그리고 영상 재생 정보3를 포함하며, 결합 영상 파일이라고도 명명될 수 있다. 영상 재생 정보3는 영상 재생에 필요한 비디오 데이터3와 오디오 데이터 3에 대한 코덱/프로파일 등의 인코딩 정보와 재생 시간에 대한 비디오 데이터와 오디오 데이터의 파일 내부 위치정보 등을 포함한다.After generating the
이와 같이 입력 파일1과 입력 파일2가 동일한 인코딩 환경으로 프리트랜스코딩 과정에서 중요 항목에 대해서 동일한 옵션으로 인코딩 되었다면, 인코딩된 데이터에 대해서 디코딩 및 재인코딩하는 과정 없이 인코딩된 데이터를 단순 결합하고 영상 재생 정보에 대한 메타 데이터만 새로 작성하여, 결합 영상 파일을 용이하게 생성할 수 있다. Thus, if the
도 4는 본 발명의 실시 예에 따른 영상 파일 결합 처리에서, 영상재생정보 중 일부인 비디오/오디오 데이터의 재생시간 정보인 타임 스탬프를 변경 처리하는 과정을 나타낸 예시도이다. FIG. 4 is a diagram illustrating a process of changing a time stamp, which is playback time information of video / audio data, which is part of image playback information, in an image file combining process according to an embodiment of the present invention.
영상 파일에 포함된 비디오 데이터와 오디오 데이터의 재생시간에 대한 정보인 타임 스탬프가 도 4에서와 같이, 입력 파일1이 "0~30"의 타임스탬프를 가지고, 입력 파일2가 "0~3600"의 타임스탬프를 가지는 경우, 위의 결합 처리에 따라 생성된 출력 파일은 "0~3650"의 타임스탬프를 가진다. When the
위에 기술된 바와 같은 본 발명의 실시 예에 따른 영상 결합 처리를 토대로 스트리밍 서비스를 제공하는 경우 보다 빠른 서비스 제공이 이루어진다. A service can be provided faster than when a streaming service is provided based on the video combining process according to the embodiment of the present invention as described above.
예를 들어, VOD(video on demand)영상과 광고 영상을 결합하여 하나의 영상으로 제공하는 경우, 재생 시간 1분, 트랜스코딩 소요시간 1분이 걸리는 광고 영상 파일 2개와 재생 시간 60분, 트랜스코딩 시간이 60분이 걸리는 VOD 영상이 10개가 있는데, 이중에서 광고 영상 파일 2개가 변경되었다고 가정하자. For example, when a video on demand (VOD) image and a commercial image are combined and provided as a single image, two commercial image files, which takes one minute of reproduction time and one minute of transcoding time, 60 minutes of reproduction time, Assume that there are 10 VOD images that take 60 minutes, two of which are changed.
기존과 같이, 광고 영상 파일과 VOD 영상 파일을, 예를 들어, NLE(non-linear editing system) 등을 이용하여 디코딩 및 재인코딩 과정을 포함해서 결합 처리하는 경우, 트랜스코딩이 20회 필요하며, 1220분의 트랜스코딩 시간이 소요된다. Conventionally, when combining and processing the advertisement image file and the VOD image file including decoding and re-encoding using, for example, a non-linear editing system (NLE), transcoding is required 20 times, It takes 1220 minutes of transcoding time.
그러나, 본 발명의 실시 예에 따른 영상 결합 처리에 따라, 멀티미디어 데이터를 제공하는 장치가 광고 영상 파일들과 VOD 영상 파일들을 프리트랜스코딩하여 저장소에 저장한 다음에, 저장소에 저장된 광고 영상 파일과 VOD 영상 파일을 결합 처리하는 경우에는, 트랜스코딩 회수는 2회, 트랜스코딩 시간은 2분이 소요된다. However, according to the image combining process according to the embodiment of the present invention, the device for providing multimedia data pre-transcodes the advertisement image files and the VOD image files and stores the advertisement image files and the VOD image files stored in the storage, In the case of combining image files, the number of transcoding times is 2 and the transcoding time is 2 minutes.
그러므로 본 발명의 실시 예에 따르면 제공하고자 하는 동영상 파일의 개수가 증가하고 영상 파일의 포맷이 변경되어도, 프리트랜스코딩에 따라 동영상 파일을 클라이언트에 제공할 수 있는 포맷으로 미리 변환한 상태에서, 미리 변환된 동영상 파일들만 디먹싱하고 스티칭 처리하여 결합 파일을 생성하여 제공함으로써, 결합된 동영상 파일을 제공하는 처리 속도를 현저하게 증가시킬 수 있으며, 처리 부하를 현저하게 감소시킬 수 있다. Therefore, according to the embodiment of the present invention, even if the number of video files to be provided increases and the format of the video file is changed, the video file is previously converted into a format that can be provided to the client according to pre- It is possible to remarkably increase the processing speed of providing the combined moving image file and to significantly reduce the processing load.
도 5는 본 발명의 실시 예에 따른 동영상 파일 결합 장치의 구조를 나타낸 도이다. 5 is a diagram illustrating a structure of a moving picture file combining apparatus according to an embodiment of the present invention.
본 발명의 실시 예에 따른 동영상 파일 결합 장치(100)는 첨부한 도 5에서와 같이, 프리트랜스코딩 처리부(110), 저장부(120), 입력 파일 선택부(130), 디먹싱 처리부(140), 스티칭 처리부(150), 그리고 먹싱 처리부(160)를 포함한다. 5, a moving picture file combining apparatus 100 according to an embodiment of the present invention includes a pre-transcoding processor 110, a
프리트랜스코딩 처리부(110)는 원본 파일 포맷 즉, 제1 포맷의 동영상 파일을 트랜스코딩하여 수정 파일 포맷 즉, 제2 포맷의 동영상 파일을 생성한다.The pre-transcoding processor 110 transcodes the original file format, i.e., the first format video file to generate a modified file format, i.e., a second format video file.
프리트랜스코딩 처리부(110)는 각 동영상 파일에 대한 중요 인코딩 환경 정보를 동일하게 해야 한다. 비디오 데이터에 대한 중요 인코딩 환경 정보는 비디오 코덱, 비디오 코덱 프로파일, 비디오 영상크기, 비디오 코덱 엔트로피 사용여부를 포함하며, CROP 설정을 더 포함할 수 있다. 오디오 데이터에 대한 중요 인코딩 환경 정보는 오디오 코덱, 오디오 코덱 프로파일, 오디오 샘플링 레이트를 포함하며, 채널수를 더 포함할 수 있다. The pre-transcoding processor 110 has to make the important encoding environment information for each moving picture file the same. The important encoding environment information for the video data includes a video codec, a video codec profile, a video image size, whether to use entropy of a video codec, and may further include a CROP setting. The important encoding environment information for the audio data includes an audio codec, an audio codec profile, an audio sampling rate, and may further include the number of channels.
저장부(120)는 프리트랜스코딩 처리부(110)에 의하여 트랜스코딩처리된 동영상 파일들을 저장한다. The
입력 파일 선택부(130)는 클라이언트에 제공할 동영상 파일들을 선택한다. 저장부(120)에 저장된 트랜스코딩처리된 동영상 파일들로부터 적어도 하나의 동영상 파일을 입력 파일로 선택한다. The input
디먹싱 처리부(140)는 입력 파일 선택부(130)로부터 제공되는 입력 파일을 비디오 데이터과 오디오 데이터로 분리한다.The
스티칭 처리부(150)는 비디오 데이터는 비디오 데이터끼리, 오디오 데이터는 오디오 데이터끼리 결합한다. 비디오 데이터들을 결합하여 새로운 비디오 데이터를 생성하고, 오디오 데이터들을 결합하여 새로운 오디오 데이터를 생성한다. The
먹싱 처리부(160)는 결합 처리된 비디오 데이터, 오디오 데이터, 영상 재생 정보를 포함해서 클라이언트에 전송할 출력 파일을 생성한다. 즉, 스티칭 처리부(150)에 의하여 생성되는 비디오 데이터와 오디오 데이터, 그리고 영상 재생에 필요한 인코딩 정보와 비디오 데이터와 오디오 데이터의 출력 파일 내 위치 정보를 포함하는 영상 재생 정보를 포함하는 출력 파일 즉, 결합 영상 파일을 생성한다. The
도 6은 본 발명의 실시 예에 따른 동영상 파일 결합 방법의 흐름도이다. 6 is a flowchart illustrating a moving picture file combining method according to an embodiment of the present invention.
본 발명의 실시 예에서, 멀티미디어 데이터를 제공하는 장치(예를 들어, 스트리밍 서버)의 동영상 파일 결합 장치는 도 6에서와 같이, 제공할 동영상 파일들에 대하여 먼저, 프리트랜스코딩을 수행한다. 프리트랜스코딩은 위의 도 2와 같이, 영상 파일에 대하여 디먹싱 과정(P1), 디코딩 과정(P2), 필터링 과정(P3), 인코딩 과정, 그리고 먹싱 과정을 포함하며, 이러한 프리트랜스코딩을 통하여 동영상 파일은 수신측에 제공할 MP4와 같은 파일 포맷을 가지는 동영상 파일로 생성되고 저장부(120)에 저장되어 관리된다. In an embodiment of the present invention, a moving picture file combining apparatus of a device (for example, a streaming server) for providing multimedia data first performs pre-transcoding on moving picture files to be provided as shown in FIG. As shown in FIG. 2, the pre-transcoding includes a demuxing process (P1), a decoding process (P2), a filtering process (P3), an encoding process, and a muxing process for an image file. The moving picture file is generated as a moving picture file having the same file format as the MP4 to be provided to the receiving side and is stored and managed in the
이러한 상태에서, 클라이언트로부터 결합 영상에 대한 요청을 받는 경우, 저장부(120)에 저장된 프리트랜스코딩된 동영상 파일들 중에서, 클라이언트의 요청에 대응하거나 제공할 동영상 파일들을 결합 처리를 위한 입력 파일들로 선택한다(S110). In this state, when receiving a request for a combined image from a client, among the pre-transcoded moving picture files stored in the
선택된 입력 파일들을 각각 디먹싱 처리하여 비디오 데이터와 오디오 데이터로 분리한다(S120). 예를 들어, 입력 파일1이 비디오 데이터1과 오디오 데이터1로 분리되고, 입력 파일2가 비디오 데이터2와 오디오 데이터2로 분리된다. The selected input files are de-muxed and separated into video data and audio data (S120). For example, the
그리고 비디오 데이터는 비디오 데이터끼리, 오디오 데이터는 오디오 데이터끼리 결합하는 스티칭을 수행한다(S130). 예를 들어, 비디오 데이터1과 비디오 데이터2를 결합하여 비디오 데이터 3를 생성하고, 오디오 데이터1과 오디오 데이터2를 결합하여 오디오 데이터3 를 생성한다. Then, the video data is stitched together with the audio data and the audio data is stitched together (S130). For example,
이후, 스티칭 처리된 비디오 데이터3, 오디오 데이터3, 그리고 출력 파일 포맷에 적합한 영상 재생 정보3를 결합하여 클라이언트에 전송할 출력 파일인 결합 영상 파일을 생성한다(S140). 예를 들어, 위의 단계에서 생성된 비디오 데이터3, 오디오 데이터3 그리고 영상 재생 정보3를 먹싱하여 결합 영상 파일을 생성한다. Then, the
본 발명의 실시 예는 이상에서 설명한 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.The embodiments of the present invention are not limited to the above-described apparatuses and / or methods, but may be implemented through a program for realizing functions corresponding to the configuration of the embodiment of the present invention, a recording medium on which the program is recorded And such an embodiment can be easily implemented by those skilled in the art from the description of the embodiments described above.
이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.
Claims (11)
제1 포맷으로 이루어지는 동영상 파일이 제2 포맷으로 프리트랜스코딩하여 저장부에 저장하는 단계;
멀티미디어 데이터 제공시, 상기 저장부에 저장되어 있는 프리트랜스코딩된 동영상 파일들 중에서, 제1 동영상 파일과 제2 동영상 파일--상기 제1 동영상 파일의 프리트랜스코딩시의 인코딩 환경 정보와 상기 제2 동영상 파일의 프리트랜스코딩시의 인코딩 환경 정보가 동일함---을 선택하는 단계;
상기 프리트랜스코딩되어 있는 제1 동영상 파일과 제2 동영상 파일들 각각에 대하여 비디오 데이터와 오디오 데이터로 분리하는 디먹싱(demuxing)을 수행하는 단계;
상기 제1 동영상 파일의 비디오 데이터와 상기 제2 동영상 파일의 비디오 데이터를 스티칭(stitching)하여 비디오 데이터를 생성하는 단계;
상기 제1 동영상 파일의 오디오 데이터와 상기 제2 동영상 파일의 오디오 데이터를 스티칭하여 오디오 데이터를 생성하는 단계; 및
상기 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터를 포함하는 결합 영상 파일을 생성하는 단계
를 포함하는, 동영상 파일 결합 방법.In a method of combining moving pictures in a device that provides multimedia data,
Transcoding a moving picture file in a first format into a second format and storing the same in a storage unit;
Wherein when the multimedia data is provided, the encoding environment information of the first moving picture file and the second moving picture file, which are pre-transcoded, stored in the storage unit, Selecting the encoding environment information at the time of pre-transcoding the video file is the same;
Performing demuxing for separating the first motion picture file and the second motion picture files into pre-transcoded video data and audio data, respectively;
Generating video data by stitching video data of the first moving picture file and video data of the second moving picture file;
Generating audio data by stitching audio data of the first moving picture file and audio data of the second moving picture file; And
Generating a combined image file including video data and audio data generated according to the stitching;
The method comprising the steps of:
상기 결합 영상 파일은 동영상 파일 재생에 필요한 영상 재생 정보를 더 포함하며, 상기 영상 재생 정보는 상기 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터에 대한 코덱, 코덱 프로파일을 포함하는 인코딩 정보, 그리고 재생 시간에 대한 비디오 데이터와 오디오 데이터의 파일 내부 위치 정보를 포함하는, 동영상 파일 결합 방법The method of claim 1, wherein
The combined image file may further include image reproduction information necessary for reproducing a moving image file. The image reproduction information may include a codec for the video data and audio data generated according to the stitching, encoding information including a codec profile, A method of combining a video file, including in-file location information of video data and audio data for a video file
상기 프리트랜스코딩하여 저장부에 저장하는 단계는,
제1 포맷의 동영상 파일을 원본 비디오 데이터와 원본 오디오 데이터로 분리하는 단계;
상기 원본 비디오 데이터를 디코딩하여 원본 비디오 무압축 데이터를 획득하고, 상기 원본 오디오 데이터를 디코딩하여 원본 오디오 무압축 데이터를 획득하는 단계;
상기 원본 비디오 무압축 데이터를 필터링 처리하여 수정 비디오 무압축 데이터를 획득하고, 상기 원본 오디오 데이터를 필터링 처리하여 수정 오디오 무압축 데이터를 획득하는 단계;
상기 수정 비디오 무압축 데이터를 비디오 코덱을 이용해서 압축하여 수정 비디오 데이터를 획득하고, 상기 수정 오디오 무압축 데이터를 오디오 코덱을 이용해서 압축하여 수정 오디오 데이터를 획득하는 인코딩을 수행하는 단계; 및
상기 수정 비디오 데이터, 수정 오디오 데이터를 제2 포맷에 맞게 처리하여 상기 제2 포맷의 영상 파일을 획득하는 단계
를 포함하는, 동영상 파일 결합 방법.The method of claim 1, wherein
Wherein the pre-transcoding and storing in the storage unit comprises:
Separating the moving picture file of the first format into original video data and original audio data;
Obtaining original video uncompressed data by decoding the original video data, and decoding the original audio data to obtain original audio uncompressed data;
Filtering the original video uncompressed data to obtain modified video uncompressed data, and filtering the original audio data to obtain corrected audio uncompressed data;
Compressing the modified video uncompressed data using a video codec to obtain modified video data, compressing the modified audio uncompressed data using an audio codec to perform encoding to obtain corrected audio data; And
Processing the modified video data and modified audio data according to a second format to obtain an image file of the second format
The method comprising the steps of:
상기 인코딩을 수행하는 단계에서, 각 동영상 파일을 인코딩 처리하는 인코딩 환경 정보가 서로 동일한. 동영상 파일 결합 방법.The method of claim 4, wherein
In the encoding, the encoding environment information for encoding each moving picture file is the same. How to combine video files.
상기 인코딩 환경 정보는 비디오 데이터에 대해서는 비디오 코덱, 비디오 코덱 프로파일, 비디오 영상크기, 비디오 코덱 엔트로피 사용 여부 중 적어도 하나를 포함하며, 오디오 데이터에 대해서는 오디오 코덱, 오디오 코덱 프로파일, 오디오 샘플링 레이트 중 적어도 하나를 포함하는, 동영상 파일 결합 방법.The method of claim 5, wherein
The encoding environment information includes at least one of a video codec, a video codec profile, a video image size, and whether or not the video codec entropy is used for the video data. The encoding environment information includes at least one of an audio codec, an audio codec profile, How to combine video files, including.
상기 영상 재생 정보는 비디오 데이터와 오디오 데이터의 재생시간 정보인 타임스탬프를 포함하며, 상기 제1 동영상 파일의 타임스탬프와 상기 제2 동영상 파일의 타임스탬프를 합하여 상기 결합 영상 파일의 타임스탬프를 획득하는, 동영상 파일 결합 방법.The method according to claim 2, wherein
The image reproduction information includes a time stamp which is information on reproduction time of video data and audio data, and a time stamp of the combined image file is acquired by adding a time stamp of the first moving image file and a time stamp of the second moving image file How to combine video files.
제1 포맷으로 이루어지는 동영상 파일이 제2 포맷으로 프리트랜스코딩되어 저장되어 있는 저장부;
멀티미디어 데이터 제공시, 상기 저장부의 프리트랜스코딩된 동영상 파일들 중에서 제1 동영상 파일과 제2 동영상 파일-- 상기 제1 동영상 파일의 프리트랜스코딩시의 인코딩 환경 정보와 상기 제2 동영상 파일의 프리트랜스코딩시의 인코딩 환경 정보가 동일함--들 각각에 대하여 비디오 데이터와 오디오 데이터로 분리하는 디먹싱(demuxing)을 수행하는 디먹싱 처리부;
상기 제1 동영상 파일의 비디오 데이터와 상기 제2 동영상 파일의 비디오 데이터를 스티칭(stitching)하여 비디오 데이터를 생성하고, 상기 제1 동영상 파일의 오디오 데이터와 상기 제2 동영상 파일의 오디오 데이터를 스티칭하여 오디오 데이터를 생성하는 스티칭 처리부; 및
상기 스티칭에 따라 생성된 비디오 데이터와 오디오 데이터를 포함하는 결합 영상 파일을 생성하는 먹싱 처리부
를 포함하는, 동영상 파일 결합 장치.In an apparatus for combining moving images in an environment for providing multimedia data,
A storage unit in which a moving picture file of a first format is pre-transcoded and stored in a second format;
The encoding environment information of the first moving picture file and the second moving picture file among the pre-transcoded moving picture files of the storage unit at the time of pre-transcoding the first moving picture file, and the pre- A demuxing unit for performing demuxing for separating video data and audio data for each of the encoding environment information at the time of coding;
Stitching the video data of the first moving picture file and the video data of the second moving picture file to generate video data and stitching the audio data of the first moving picture file and the audio data of the second moving picture file, A stitching processor for generating data; And
And generating a combined image file including the video data and the audio data generated according to the stitching,
And the video file combining device.
제1 포맷으로 이루어지는 동영상 파일을 제2 포맷으로 프리트랜스코딩하여 상기 저장부에 저장하는 프리트랜스코딩 처리부
를 더 포함하는, 동영상 파일 결합 장치.The method of claim 8, wherein
A pre-transcoding processor for pre-transcoding a moving picture file in a first format into a second format and storing the pre-
Further comprising: a moving picture file associating unit that,
클라이언트로 제공할 동영상 파일들을 상기 저장부로부터 선택하여 상기 디먹싱 처리부로 제공하는 입력 파일 선택부
를 더 포함하는, 동영상 파일 결합 장치.The method of claim 8, wherein
An input file selection unit for selecting video files to be provided to the client from the storage unit and providing the video files to the de-
Further comprising: a moving picture file associating unit that,
상기 프리트랜스코딩 처리부는
제1 포맷의 동영상 파일의 압축된 비디오 및 오디오 데이터를 동영상 압축 코덱을 이용하여 복원하여 비디오 무압축 데이터 및 오디오 무압축 데이터를 획득하는 디코딩 과정, 복원된 비디오 무압축 데이터 및 오디오 무압축 데이터에 대한 필터링 처리하는 필터링 과정, 필터링된 비디오 무압축 데이터 및 오디오 무압축 데이터를 동영상 압축 코덱을 이용하여 압축하는 인코딩 과정, 그리고 인코딩된 비디오 및 오디오 데이터를 제2 포맷에 따라 결합하는 먹싱 과정을 수행함으로써, 제2 포맷의 동영상 파일을 생성하여 상기 저장부에 저장하는, 동영상 파일 결합 장치.
The method of claim 9, wherein
The pre-transcoding processor
A decoding process of restoring the compressed video and audio data of the moving picture file of the first format using the moving picture compression codec to obtain the video uncompressed data and the audio uncompressed data, An encoding process of compressing the filtered video uncompressed data and audio uncompressed data by using the moving picture compression codec and a mubbing process of combining the encoded video and audio data in accordance with the second format, And stores the generated moving picture file in the storage unit.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140143285A KR101603976B1 (en) | 2014-10-22 | 2014-10-22 | Method and apparatus for concatenating video files |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140143285A KR101603976B1 (en) | 2014-10-22 | 2014-10-22 | Method and apparatus for concatenating video files |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101603976B1 true KR101603976B1 (en) | 2016-03-16 |
Family
ID=55649905
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140143285A Active KR101603976B1 (en) | 2014-10-22 | 2014-10-22 | Method and apparatus for concatenating video files |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101603976B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019103240A1 (en) * | 2017-11-21 | 2019-05-31 | (주)루먼텍 | System and method for multi-camera video distribution and combination through ip |
| CN114173150A (en) * | 2021-12-22 | 2022-03-11 | Oppo广东移动通信有限公司 | A method, device, system and terminal device for recording live video |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004032713A (en) * | 2002-05-01 | 2004-01-29 | Canon Inc | Imaging apparatus, imaging method, program, and storage medium |
| KR100847597B1 (en) | 2007-09-18 | 2008-07-21 | 주식회사 패턴플랜트 | A content providing system having a transcoding method of video content and a transcoding function of video content |
-
2014
- 2014-10-22 KR KR1020140143285A patent/KR101603976B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004032713A (en) * | 2002-05-01 | 2004-01-29 | Canon Inc | Imaging apparatus, imaging method, program, and storage medium |
| KR100847597B1 (en) | 2007-09-18 | 2008-07-21 | 주식회사 패턴플랜트 | A content providing system having a transcoding method of video content and a transcoding function of video content |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019103240A1 (en) * | 2017-11-21 | 2019-05-31 | (주)루먼텍 | System and method for multi-camera video distribution and combination through ip |
| CN114173150A (en) * | 2021-12-22 | 2022-03-11 | Oppo广东移动通信有限公司 | A method, device, system and terminal device for recording live video |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9514783B2 (en) | Video editing with connected high-resolution video camera and video cloud server | |
| KR101927016B1 (en) | Multimedia file live broadcasting method, system and server | |
| KR102027410B1 (en) | Transmission of reconstruction data in a tiered signal quality hierarchy | |
| WO2015012227A1 (en) | Image processing device and method | |
| US20140219634A1 (en) | Video preview creation based on environment | |
| WO2015008775A1 (en) | Information processing device and method | |
| US20120266203A1 (en) | Ingest-once write-many broadcast video production system | |
| JPWO2018037737A1 (en) | IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, AND PROGRAM | |
| KR102464061B1 (en) | Method and device for sending and receiving media data | |
| JP2010141900A (en) | Method and apparatus for supporting avc in mp4 | |
| CN103329521A (en) | Methods, apparatuses and computer program products for pausing video streaming content | |
| CN106489270B (en) | Information processing apparatus and method | |
| JP2019083555A (en) | Information processing apparatus, content request method, and computer program | |
| KR20070119579A (en) | Image processing method, image processing apparatus, image processing program and image viewing system | |
| KR102137858B1 (en) | Transmission device, transmission method, reception device, reception method, and program | |
| WO2018142946A1 (en) | Information processing device and method | |
| KR101603976B1 (en) | Method and apparatus for concatenating video files | |
| KR101584111B1 (en) | A Method And Apparatus For Enhancing Quality Of Multimedia Service By Using Cloud Computing | |
| Angelides et al. | The handbook of MPEG applications: standards in practice | |
| US20170163980A1 (en) | Information processing device and method | |
| US20160308926A1 (en) | Data processing device, data processing method, program, recording medium, and data processing system | |
| KR101606121B1 (en) | Method and apparatus for segmenting video files | |
| US20190158898A1 (en) | Hybrid transmission protocol | |
| CA2927653C (en) | Cloud encoding system | |
| JP4378988B2 (en) | Content generation system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20141022 |
|
| PA0201 | Request for examination | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20150731 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20160229 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20160310 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20160310 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| FPAY | Annual fee payment |
Payment date: 20190311 Year of fee payment: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20190311 Start annual number: 4 End annual number: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200310 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20200310 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20210310 Start annual number: 6 End annual number: 6 |
|
| PR1001 | Payment of annual fee |
Payment date: 20220310 Start annual number: 7 End annual number: 7 |
|
| PR1001 | Payment of annual fee |
Payment date: 20240311 Start annual number: 9 End annual number: 9 |
|
| PR1001 | Payment of annual fee |
Payment date: 20250310 Start annual number: 10 End annual number: 10 |