[go: up one dir, main page]

JP2002094947A - High-speed video playback device, high-speed video playback method, and recording medium - Google Patents

High-speed video playback device, high-speed video playback method, and recording medium

Info

Publication number
JP2002094947A
JP2002094947A JP2000276829A JP2000276829A JP2002094947A JP 2002094947 A JP2002094947 A JP 2002094947A JP 2000276829 A JP2000276829 A JP 2000276829A JP 2000276829 A JP2000276829 A JP 2000276829A JP 2002094947 A JP2002094947 A JP 2002094947A
Authority
JP
Japan
Prior art keywords
video
speed
averaging
video frame
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000276829A
Other languages
Japanese (ja)
Inventor
Mitsuo Tamura
光雄 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2000276829A priority Critical patent/JP2002094947A/en
Publication of JP2002094947A publication Critical patent/JP2002094947A/en
Pending legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

(57)【要約】 【課題】 高速再生しても情報の欠落が少なく、より自
然で滑らかな高速再生映像を提供可能な高速映像再生装
置、高速映像再生方法および記録媒体を提供すること。 【解決手段】映像を再生するために必要なデジタル形式
の映像データを蓄積する映像データ蓄積部と、映像デー
タ蓄積部からフレーム毎に映像データを順次読み込み、
読み込んだ映像データを第1の高速映像生成部200に
供給する映像データ読込部と、映像データ読込部を介し
て映像データ蓄積部から読み出された連続したN枚(N
≧2)の映像フレームを平均化し、高速再生用の高速映
像フレームを生成する第1の平均化部201を有した第
1の高速映像生成部200と、高速映像フレームを一定
間隔ΔTで表示して高速映像を再生する映像再生部とを
備えて構成されている。
(57) [Problem] To provide a high-speed video playback device, a high-speed video playback method, and a recording medium that can provide a more natural and smooth high-speed playback video with little loss of information even at high-speed playback. A video data storage unit for storing video data in digital format necessary for reproducing a video, and video data are sequentially read from the video data storage unit for each frame,
A video data reading unit that supplies the read video data to the first high-speed video generation unit 200, and N consecutive (N) images read from the video data storage unit via the video data reading unit.
≧ 2), a first high-speed video generation unit 200 having a first averaging unit 201 for generating a high-speed video frame for high-speed reproduction by displaying a high-speed video frame at a constant interval ΔT. And a video playback unit for playing back high-speed video.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は高速映像再生装置、
高速映像再生方法および該方法を実行させるためのプロ
グラムを記録した記録媒体に係り、特に、高速再生のた
めの映像フレームを生成して映像を高速再生する高速映
像再生装置、高速映像再生方法および記録媒体に関す
る。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-speed image reproducing apparatus,
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a high-speed video playback method and a recording medium on which a program for executing the method is recorded. Regarding the medium.

【0002】[0002]

【従来の技術】従来の高速映像再生方法としては、主
に、VTRの早送り再生方法と、デジタル映像データの
早送り時に使用されるフレーム間引き再生方法の2つが
ある。まず、図22を参照して、VTRの早送り再生方
法について説明する。同図に示す符号2201はVTR
のテープ状の記憶媒体であり、符号2202で示す斜め
の帯状の領域は映像データを記憶しているトラックであ
り、符号2203は読み取りヘッドを示す。
2. Description of the Related Art Conventional high-speed video reproduction methods mainly include a VTR fast-forward reproduction method and a frame thinning-out reproduction method used when digital video data is fast-forwarded. First, a fast-forward playback method of a VTR will be described with reference to FIG. Reference numeral 2201 shown in FIG.
Is a tape-shaped storage medium, and an oblique band-shaped area denoted by reference numeral 2202 is a track storing video data, and a reference numeral 2203 denotes a reading head.

【0003】VTRのテープに記録された映像を通常速
度で再生する場合、図22(a)に示すように、読み取
りヘッド2203はトラック2202に沿って映像デー
タを読み込む。このとき再生される映像の一例を、図2
3(a)に示す。一方、早送り再生を行う場合、図22
(b)に示すように、読み取りヘッド2203は複数の
トラック2202を斜めに横切るようにして映像データ
を読み込む。このとき再生される映像としては、図23
(b)に示すように一画面が帯状に分割され、複数の映
像フレームの各一部分が分割された領域のそれぞれに表
示される。
When a video recorded on a tape of a VTR is reproduced at a normal speed, a read head 2203 reads video data along a track 2202 as shown in FIG. An example of the video reproduced at this time is shown in FIG.
This is shown in FIG. On the other hand, when fast forward playback is performed,
As shown in (b), the reading head 2203 reads the video data so as to cross the plurality of tracks 2202 diagonally. The video reproduced at this time is shown in FIG.
As shown in (b), one screen is divided into strips, and each part of a plurality of video frames is displayed in each of the divided areas.

【0004】次に、図24を参照して、デジタル映像の
フレーム間引き再生方法について説明する。該方法で
は、再生速度に合わせて映像フレームを間引いて表示す
ることにより高速再生を行う。図24(a)に示した元
の映像フレーム(F1〜F9)を一定間隔で順に表示すれ
ば通常速度で再生される。また、図24(b)に示すよ
うに、3フレーム毎に1フレームのみを表示すれば3倍
速再生となる。
[0004] Next, with reference to FIG. 24, a method of thinning out and reproducing frames of a digital video will be described. In this method, high-speed playback is performed by thinning and displaying video frames in accordance with the playback speed. If the original video frames (F 1 to F 9 ) shown in FIG. 24A are sequentially displayed at regular intervals, the video frames are reproduced at the normal speed. In addition, as shown in FIG. 24B, if only one frame is displayed every three frames, the reproduction is performed at triple speed.

【0005】[0005]

【発明が解決しようとする課題】しかしながら、上記従
来の高速映像再生方法にあっては、映像中に動きの速い
物体があると問題が生じ得る。例えばVTRの早送り再
生方法では、高速再生映像が帯状に分割された複数の領
域から成り、各領域には異なる映像フレームの各一部分
が表示されるため、映像中に大きな物体が含まれている
場合、この物体は帯状に分割された状態で表示される。
このとき、物体の動きが遅ければ、多少ずれはするもの
の分割された物体を1つの物体として認識することがで
きるが、動きが速いと、分割された物体を1つの物体と
して認識することや物体の形を正しく認識することが困
難になる。
However, in the above-mentioned conventional high-speed image reproducing method, a problem may occur if there is a fast-moving object in the image. For example, in a fast-forward playback method of a VTR, a high-speed playback video is composed of a plurality of regions divided into bands, and each region displays a part of a different video frame. This object is displayed in a state where it is divided into strips.
At this time, if the movement of the object is slow, it is possible to recognize the divided object as one object although the movement is slightly different, but if the movement is fast, it is possible to recognize the divided object as one object, It is difficult to correctly recognize the shape of.

【0006】また、映像中に小さな物体が含まれている
場合は、高速再生映像が分割された複数の領域から成る
ために前記小さな物体が表示されないといった可能性が
生じる。例えば、図23に示す例において、同図(a)
の2枚目と3枚目の映像フレームに含まれる雲は、
(b)に示す高速再生映像に含まれていない。このよう
に高速再生を行うことにより、利用者にとって必要な情
報が欠落してしまいかねない。
When a small object is included in an image, there is a possibility that the small object is not displayed because the high-speed playback image is composed of a plurality of divided areas. For example, in the example shown in FIG.
The clouds included in the second and third video frames of
It is not included in the high-speed playback video shown in (b). By performing the high-speed reproduction in this way, information necessary for the user may be lost.

【0007】一方、デジタル映像のフレーム間引き再生
方法では、間引かれた映像フレームは表示されないた
め、出現時間の短い物体は表示されない可能性がある。
例えば、10フレームより短い間しか映っていないよう
な物体を含む映像を10倍速で高速再生すると、この物
体を含む映像フレームが全て間引かれてしまうことによ
り前記物体は全く表示されないといったことが起こり得
る。また、動きの早い物体を含む映像を高速再生したと
きの物体の移動距離は通常再生したときの移動距離より
も長いため、利用者は物体の細かい移動経路を正しく認
識することが困難になる。
[0007] On the other hand, in the digital video frame thinning reproduction method, since the thinned video frame is not displayed, an object having a short appearance time may not be displayed.
For example, if a video containing an object that appears only for less than 10 frames is played back at high speed at 10 times speed, the video frame containing this object will be skipped and the object will not be displayed at all. obtain. In addition, the moving distance of an object when a video including a fast-moving object is reproduced at a high speed is longer than the moving distance when the image is normally reproduced, so that it is difficult for a user to correctly recognize a fine moving path of the object.

【0008】また、形や色が激しく変化する場合も同様
に、上記した2つの高速再生方法では、高速再生した映
像がギクシャクしたりちらついたりしてしまうといった
ことがあった。
[0008] Similarly, when the shape or color changes drastically, the above two high-speed reproduction methods may cause the high-speed reproduced video to be jerky or flickering.

【0009】このように、従来の高速映像再生方法で高
速再生した映像は、元の情報が大きく欠落してしまって
いるため、映像に含まれる物体の動きの速度や大きさ、
出現時間などによっては、利用者が必要とする情報が再
生されない、または再生されてもその認識が非常に困難
である。したがって、利用者が映像を高速再生しながら
視覚でシーンを検索する際には、所望のシーンを発見で
きない恐れがあった。
As described above, since the original information is largely lost in the video reproduced at high speed by the conventional high-speed video reproduction method, the speed and size of the motion of the object included in the video,
Depending on the appearance time or the like, information required by the user is not reproduced, or even if reproduced, it is very difficult to recognize the information. Therefore, when a user visually searches for a scene while reproducing a video at a high speed, there is a possibility that a desired scene cannot be found.

【0010】本発明は、上記従来の問題点に鑑みてなさ
れたものであって、高速再生しても情報の欠落が少な
く、より自然で滑らかな高速再生映像を提供可能な高速
映像再生装置、高速映像再生方法および記録媒体を提供
することを目的としている。
The present invention has been made in view of the above-mentioned conventional problems, and has a high-speed video reproducing apparatus capable of providing a more natural and smooth high-speed reproduction video with little loss of information even at high-speed reproduction. It is an object of the present invention to provide a high-speed video reproduction method and a recording medium.

【0011】[0011]

【課題を解決するための手段】上記課題を解決するため
に、本発明の請求項1に係る高速映像再生装置は、映像
を構成する連続した複数の映像フレームを平均化して、
高速再生用の高速映像フレームを生成する単純平均化手
段と、前記単純平均化手段で生成された高速映像フレー
ムを一定間隔で表示する映像再生手段とを備えたもので
ある。
According to a first aspect of the present invention, there is provided a high-speed video reproducing apparatus which averages a plurality of continuous video frames constituting a video,
A simple averaging unit for generating a high-speed video frame for high-speed reproduction, and a video reproducing unit for displaying the high-speed video frame generated by the simple averaging unit at regular intervals.

【0012】また、請求項2に係る高速映像再生装置
は、映像を構成する連続した複数の映像フレームのそれ
ぞれに重みを付けて、これら複数の映像フレームを平均
化し、高速再生用の高速映像フレームを生成する加重平
均化手段と、前記加重平均化手段で生成された高速映像
フレームを一定間隔で表示する映像再生手段とを備えた
ものである。
According to a second aspect of the present invention, there is provided a high-speed video frame for high-speed playback, wherein each of a plurality of continuous video frames constituting a video is weighted to average the plurality of video frames. And a video reproducing means for displaying the high-speed video frames generated by the weighted averaging means at regular intervals.

【0013】また、請求項3に係る高速映像再生装置
は、映像を構成する連続した複数の映像フレームをそれ
ぞれ複数の領域に分割する映像フレーム分割手段と、前
記映像フレーム分割手段によって分割された各領域に対
して、前記複数の映像フレームにわたる変化の程度を検
出する領域変化検出手段と、前記領域変化検出手段によ
って検出された変化の程度が所定レベル以上の領域に対
して、前記複数の映像フレームの平均化または重みを付
けた加重平均化を行う平均化手段と、前記平均化手段で
平均化または加重平均化された領域の映像データと、前
記領域変化検出手段によって検出された変化の程度が所
定レベルより小さい領域の所定映像フレームの映像デー
タとを合成して、高速再生用の高速映像フレームを生成
する映像データ合成手段と、前記映像データ合成手段で
生成された高速映像フレームを一定間隔で表示する映像
再生手段とを備えたものである。
According to a third aspect of the present invention, there is provided a high-speed video reproducing apparatus, comprising: a video frame dividing means for dividing a plurality of continuous video frames constituting a video into a plurality of regions; An area change detecting means for detecting a degree of change over the plurality of video frames with respect to an area; and an area having a degree of change detected by the area change detecting means of not less than a predetermined level. Averaging means for performing weighted averaging with averaging or weighting, video data of the area averaged or weighted averaged by the averaging means, and the degree of change detected by the area change detection means Video data synthesis for generating high-speed video frames for high-speed playback by synthesizing video data of a predetermined video frame in an area smaller than a predetermined level And the step, the is a high-speed video frame generated by video data combining means that a video reproduction means for displaying at regular intervals.

【0014】また、請求項4に係る高速映像再生装置
は、請求項3に記載の高速映像再生装置において、前記
領域変化検出手段は、映像フレームの色相または輝度の
平均に基づいて変化の程度を検出するものである。
According to a fourth aspect of the present invention, in the high-speed image reproducing apparatus according to the third aspect, the area change detecting means determines a degree of change based on an average of hue or luminance of the image frame. It is to detect.

【0015】また、請求項5に係る高速映像再生装置
は、請求項1、2、3または4に記載の高速映像再生装
置において、前記単純平均化手段、前記加重平均化手段
または前記平均化手段は、直交変換符号化された複数の
映像フレームを平均化または加重平均化して、変換係数
で表される高速映像フレームを生成し、前記変換係数で
表される高速映像フレームを逆直交変換する逆直交変換
手段をさらに備えたものである。
According to a fifth aspect of the present invention, there is provided a high-speed image reproducing apparatus according to the first, second, third or fourth aspect, wherein the simple averaging means, the weighted averaging means or the averaging means is provided. The inverse orthogonal transform is performed by averaging or weighted averaging a plurality of orthogonally coded video frames to generate a high-speed video frame represented by a transform coefficient, and performing inverse orthogonal transform on the high-speed video frame represented by the transform coefficient. It further comprises orthogonal transform means.

【0016】また、請求項6に係る高速映像再生装置
は、請求項1、2、3、4または5に記載の高速映像再
生装置において、映像をN倍速で高速再生する場合、前
記単純平均化手段、前記加重平均化手段または前記平均
化手段は、N枚の映像フレームを平均化または加重平均
化して1枚の高速映像フレームを生成するものである。
According to a sixth aspect of the present invention, in the high-speed image reproducing apparatus according to the first, second, third, fourth or fifth aspect, when the image is reproduced at a high speed at N times speed, the simple averaging is performed. The means, the weighted averaging means, or the averaging means averages or weights the N video frames to generate one high-speed video frame.

【0017】また、請求項7に係る高速映像再生装置
は、請求項1、2、3、4または5に記載の高速映像再
生装置において、映像を構成する連続した所定数の映像
フレームの途中にシーンの区切りがあるとき、区切り位
置に応じて前記単純平均化手段、前記加重平均化手段ま
たは前記平均化手段が平均化または加重平均化する映像
フレームを選択する映像フレーム選択手段を備えたもの
である。
According to a seventh aspect of the present invention, there is provided a high-speed video playback apparatus according to the first, second, third, fourth or fifth aspect of the present invention. When there is a scene break, the simple averaging means, the weighted averaging means or the video frame selecting means for selecting the video frame to be averaged or weighted averaged by the averaging means according to the break position. is there.

【0018】また、請求項8に係る高速映像再生装置
は、請求項7に記載の高速映像再生装置において、前記
所定数の映像フレーム中のシーンの区切りを検出する区
切り検出手段を備えたものである。
The high-speed video reproducing apparatus according to claim 8 is the high-speed video reproducing apparatus according to claim 7, further comprising a break detecting means for detecting a break of a scene in the predetermined number of video frames. is there.

【0019】また、請求項9に係る高速映像再生方法
は、映像を構成する連続した複数の映像フレームを平均
化して、高速再生用の高速映像フレームを生成する単純
平均化ステップと、前記単純平均化ステップで生成され
た高速映像フレームを一定間隔で表示する映像再生ステ
ップとを有するものである。
A high-speed video reproducing method according to claim 9, wherein a simple averaging step of averaging a plurality of continuous video frames constituting a video to generate a high-speed video frame for high-speed reproduction, A video playback step of displaying the high-speed video frames generated in the conversion step at regular intervals.

【0020】また、請求項10に係る高速映像再生方法
は、映像を構成する連続した複数の映像フレームのそれ
ぞれに重みを付けて、これら複数の映像フレームを平均
化し、高速再生用の高速映像フレームを生成する加重平
均化ステップと、前記加重平均化ステップで生成された
高速映像フレームを一定間隔で表示する映像再生ステッ
プとを有するものである。
According to a tenth aspect of the present invention, there is provided a high-speed video frame for high-speed playback, wherein each of a plurality of continuous video frames constituting a video is weighted to average the plurality of video frames. And a video reproduction step of displaying the high-speed video frames generated in the weighted averaging step at regular intervals.

【0021】また、請求項11に係る高速映像再生方法
は、映像を構成する連続した複数の映像フレームをそれ
ぞれ複数の領域に分割する映像フレーム分割ステップ
と、前記映像フレーム分割ステップで分割された各領域
に対して、前記複数の映像フレームにわたる変化の程度
を検出する領域変化検出ステップと、前記領域変化検出
ステップで検出された変化の程度が所定レベル以上の領
域に対して、前記複数の映像フレームの平均化または重
みを付けた加重平均化を行う平均化ステップと、前記平
均化ステップで平均化または加重平均化された領域の映
像データと、前記領域変化検出ステップで検出された変
化の程度が所定レベルより小さい領域の所定映像フレー
ムの映像データとを合成して、高速再生用の高速映像フ
レームを生成する映像データ合成ステップと、前記映像
データ合成ステップで生成された高速映像フレームを一
定間隔で表示する映像再生ステップとを有するものであ
る。
Further, in the high-speed video reproducing method according to claim 11, a plurality of continuous video frames constituting a video are divided into a plurality of regions, and each of the plurality of video frames divided in the video frame dividing step is divided. An area change detecting step of detecting a degree of change over the plurality of video frames with respect to an area; and an area in which the degree of change detected in the area change detecting step is equal to or greater than a predetermined level. Averaging step of performing weighted averaging with averaging or weighting, video data of the area averaged or weighted averaged in the averaging step, and the degree of change detected in the area change detection step is A video that combines high-speed video frames for high-speed playback by combining video data of a predetermined video frame in an area smaller than a predetermined level. And data combining step is a high-speed video frame said generated by the video data synthesis step one having a video playback step of displaying at regular intervals.

【0022】また、請求項12に係る高速映像再生方法
は、請求項11に記載の高速映像再生方法において、前
記領域変化検出ステップは、映像フレームの色相または
輝度の平均に基づいて変化の程度を検出するものであ
る。
According to a twelfth aspect of the present invention, in the high-speed image reproducing method according to the eleventh aspect, the area change detecting step determines a degree of change based on an average of hue or luminance of the image frame. It is to detect.

【0023】また、請求項13に係る高速映像再生方法
は、請求項9、10、11または12に記載の高速映像
再生方法において、前記単純平均化ステップ、前記加重
平均化ステップまたは前記平均化ステップは、直交変換
符号化された複数の映像フレームを平均化または加重平
均化して、変換係数で表される高速映像フレームを生成
し、前記変換係数で表される高速映像フレームを逆直交
変換する逆直交変換ステップをさらに有するものであ
る。
According to a thirteenth aspect of the present invention, in the high-speed image reproducing method according to the ninth, tenth, eleventh or twelfth aspect, the simple averaging step, the weighted averaging step or the averaging step is performed. The inverse orthogonal transform is performed by averaging or weighted averaging a plurality of orthogonally coded video frames to generate a high-speed video frame represented by a transform coefficient, and performing inverse orthogonal transform on the high-speed video frame represented by the transform coefficient. It further comprises an orthogonal transformation step.

【0024】また、請求項14に係る高速映像再生方法
は、請求項9、10、11、12または13に記載の高
速映像再生方法において、映像をN倍速で高速再生する
場合、前記単純平均化ステップ、前記加重平均化ステッ
プまたは前記平均化ステップは、N枚の映像フレームを
平均化または加重平均化して1枚の高速映像フレームを
生成するものである。
According to a fourteenth aspect of the present invention, in the high speed video reproducing method according to the ninth, tenth, eleventh, or thirteenth aspect, when the video is reproduced at a high speed at N times speed, the simple averaging is performed. The step, the weighted averaging step, or the averaging step is for averaging or weighted averaging the N video frames to generate one high-speed video frame.

【0025】また、請求項15に係る高速映像再生方法
は、請求項9、10、11、12または13に記載の高
速映像再生方法において、映像を構成する連続した所定
数の映像フレームの途中にシーンの区切りがあるとき、
区切り位置に応じて前記単純平均化ステップ、前記加重
平均化ステップまたは前記平均化ステップが平均化また
は加重平均化する映像フレームを選択する映像フレーム
選択ステップを有するものである。
According to a fifteenth aspect of the present invention, there is provided the high-speed video reproducing method according to the ninth, tenth, eleventh, twelfth or thirteenth aspect. When there is a scene break,
The method may further include a video frame selecting step of selecting a video frame to be averaged or weighted averaged by the simple averaging step, the weighted averaging step, or the averaging step according to a break position.

【0026】また、請求項16に係る高速映像再生方法
は、請求項15に記載の高速映像再生方法において、前
記所定数の映像フレーム中のシーンの区切りを検出する
区切り検出ステップを有するものである。
A high-speed video playback method according to a sixteenth aspect of the present invention is the high-speed video playback method according to the fifteenth aspect, further comprising a break detection step of detecting a break of a scene in the predetermined number of video frames. .

【0027】さらに、請求項17に係るコンピュータに
より読み取り可能な記録媒体は、請求項9、10、1
1、12、13、14、15または16に記載の高速映
像再生方法をコンピュータに実行させるためのプログラ
ムとして記録したものである。
Further, a computer-readable recording medium according to claim 17 is a computer-readable recording medium.
It is recorded as a program for causing a computer to execute the high-speed video reproduction method described in 1, 12, 13, 14, 15, or 16.

【0028】本発明の請求項1に係る高速映像再生装
置、請求項9に係る高速映像生成方法および請求項17
に係る記録媒体では、単純平均化手段(単純平均化ステ
ップ)において、映像を構成する連続した複数の映像フ
レームを平均化して高速再生用の高速映像フレームを生
成し、映像再生手段(映像再生ステップ)において、高
速映像フレームを一定間隔で表示している。
[0028] A high-speed video playback apparatus according to claim 1 of the present invention, a high-speed video generation method according to claim 9, and claim 17.
In the recording medium according to the first aspect, the simple averaging means (simple averaging step) averages a plurality of continuous video frames constituting the video to generate a high-speed video frame for high-speed playback, and the video playback means (the video playback step 3), high-speed video frames are displayed at regular intervals.

【0029】したがって、高速再生しても映像フレーム
の間引きによる情報の欠落なく全映像フレームの情報が
反映されるため、元の映像と略同様の映像を滑らかで自
然に高速再生することができる。また、映像に移動速度
の速い物体や小さな物体、出現時間の短い物体などが含
まれていても、高速映像は映像フレームを平均化した高
速映像フレームを表示することによって再生されるた
め、これらの物体は必ず再生される。このため、映像を
視覚によって検索する利用者にとっては、従来と比較し
て、同じ再生速度であればより容易に所望のシーンを検
索することができ、また、同じ精度でかつより早く所望
のシーンを見つけることができるため、短時間での検索
が可能となる。
Therefore, even if the image is reproduced at a high speed, the information of all the image frames is reflected without any loss of information due to the thinning of the image frame, so that the image almost similar to the original image can be reproduced smoothly and naturally at a high speed. In addition, even if the video contains fast moving objects, small objects, objects with a short appearance time, etc., the high speed video is reproduced by displaying the high speed video frame which averaged the video frame. The object is always reproduced. For this reason, a user who visually searches for a video can easily search for a desired scene at the same playback speed as compared with the related art, and can obtain a desired scene with the same accuracy and faster. , It is possible to search in a short time.

【0030】また、請求項2に係る高速映像再生装置、
請求項10に係る高速映像生成方法および請求項17に
係る記録媒体では、加重平均化手段(加重平均化ステッ
プ)において、映像を構成する連続した複数の映像フレ
ームのそれぞれに重みを付けてこれら複数の映像フレー
ムを平均化して、高速再生用の高速映像フレームを生成
し、映像再生手段(映像再生ステップ)において、高速
映像フレームを一定間隔で表示している。
Also, a high-speed video reproducing apparatus according to claim 2,
In the high-speed video generation method according to the tenth aspect and the recording medium according to the seventeenth aspect, the weighted averaging means (weighted averaging step) assigns weights to each of a plurality of continuous video frames constituting the video, and Are averaged to generate high-speed video frames for high-speed playback, and the high-speed video frames are displayed at regular intervals in the video playback means (video playback step).

【0031】単純平均化によって生成された高速映像フ
レームではどの映像フレームも一様の明瞭さでしか表示
されず、高速映像を視覚によって検索する利用者は、特
に、動きの速い物体や小さな物体、出現時間の短い物体
を発見することが容易ではないが、大きな重みが付され
た映像フレームに含まれる物体は明確に表示されるた
め、前記利用者は映像中に含まれる所望する物体を容易
に発見することができる。
In the high-speed video frame generated by the simple averaging, all video frames are displayed only with uniform clarity, and the user who searches the high-speed video visually recognizes particularly fast moving objects, small objects, Although it is not easy to find an object with a short appearance time, the object included in the video frame with a large weight is clearly displayed, so that the user can easily find a desired object included in the video. Can be found.

【0032】また、請求項3に係る高速映像再生装置、
請求項11に係る高速映像生成方法および請求項17に
係る記録媒体では、映像フレーム分割手段(映像フレー
ム分割ステップ)において、映像を構成する連続した複
数の映像フレームをそれぞれ複数の領域に分割し、領域
変化検出手段(領域変化検出ステップ)において、各領
域に対して複数の映像フレームにわたる変化の程度を検
出し、平均化手段(平均化ステップ)において、領域変
化検出手段(領域変化検出ステップ)で検出された変化
の程度が所定レベル以上の領域に対して、複数の映像フ
レームの平均化または重みを付けた加重平均化を行い、
映像データ合成手段(映像データ合成ステップ)におい
て、平均化手段(平均化ステップ)で平均化または加重
平均化された領域の映像データと、領域変化検出手段
(領域変化検出ステップ)で検出された変化の程度が所
定レベルより小さい領域の所定映像フレームの映像デー
タとを合成して、高速再生用の高速映像フレームを生成
し、映像再生手段(映像再生ステップ)において、高速
映像フレームを一定間隔で表示している。
Also, a high-speed video reproducing apparatus according to claim 3,
In the high-speed video generation method according to the eleventh aspect and the recording medium according to the seventeenth aspect, the video frame dividing means (video frame dividing step) divides a plurality of continuous video frames constituting the video into a plurality of regions, In the area change detecting means (area change detecting step), the degree of change over a plurality of video frames is detected for each area, and in the averaging means (averaging step), the area change detecting means (area change detecting step) is used. For a region where the detected degree of change is equal to or greater than a predetermined level, average or weighted averaging of a plurality of video frames is performed,
In the video data synthesizing means (video data synthesizing step), the video data of the area averaged or weighted by the averaging means (averaging step) and the change detected by the area change detecting means (area change detecting step) A high-speed video frame for high-speed playback is generated by synthesizing the video data of a predetermined video frame in a region where the degree of the video signal is smaller than a predetermined level, and the high-speed video frame is displayed at regular intervals in the video playback means (video playback step) are doing.

【0033】映像データ合成手段(映像データ合成ステ
ップ)において合成される変化の程度が所定レベルより
小さい領域に対しては、1枚の映像フレームの映像デー
タを用いて他の映像フレームの映像データは間引かれて
いるが、この領域は変化が小さいために間引きによって
欠落する情報の量は少ない。また、高速映像フレームに
含まれる変化の小さい領域で用いられる映像データは平
均化などの加工が行われないため、その領域の映像を鮮
明にすることができる。一方、変化の程度が所定レベル
以上の領域に対しては、複数の映像フレームを平均化ま
たは加重平均化した平均化した映像を再生しているた
め、間引きによる情報の欠落がない滑らかで自然な高速
映像を再生することができる。
In an area where the degree of change synthesized by the image data synthesizing means (image data synthesizing step) is smaller than a predetermined level, the image data of one image frame is used for the image data of another image frame. Although the area is thinned out, the amount of information missing due to the thinning is small because the change in this area is small. Further, video data used in an area with a small change included in a high-speed video frame is not subjected to processing such as averaging, so that the video in that area can be sharpened. On the other hand, for an area in which the degree of change is equal to or greater than a predetermined level, an averaged video obtained by averaging or weighted averaging of a plurality of video frames is reproduced. High-speed video can be played.

【0034】特に、請求項4に係る高速映像再生装置、
請求項12に係る高速映像生成方法および請求項17に
係る記録媒体では、領域変化検出手段(領域変化検出ス
テップ)は、映像フレームの色相または輝度の平均に基
づいて変化の程度を検出することが望ましい。このと
き、領域変化検出手段(領域変化検出ステップ)は、領
域の色相または輝度の平均値を測定し、複数の映像フレ
ームにわたるその変化量と所定レベルとを比較する。
In particular, a high-speed video reproducing apparatus according to claim 4,
In the high-speed image generation method according to the twelfth aspect and the recording medium according to the seventeenth aspect, the area change detection unit (area change detection step) may detect the degree of change based on the average of the hue or luminance of the video frame. desirable. At this time, the area change detecting means (area change detecting step) measures the average value of the hue or luminance of the area, and compares the amount of change over a plurality of video frames with a predetermined level.

【0035】また、請求項5に係る高速映像再生装置、
請求項13に係る高速映像生成方法および請求項17に
係る記録媒体では、単純平均化手段(単純平均化ステッ
プ)、加重平均化手段(加重平均化ステップ)または平
均化手段(平均化ステップ)は、直交変換符号化された
複数の映像フレームを平均化または加重平均化して変換
係数で表される高速映像フレームを生成し、逆直交変換
手段(逆直交変換ステップ)において、変換係数で表さ
れる高速映像フレームを逆直交変換している。
A high-speed video reproducing apparatus according to claim 5,
In the high-speed image generation method according to claim 13 and the recording medium according to claim 17, the simple averaging means (simple averaging step), the weighted averaging means (weighted averaging step) or the averaging means (averaging step) Averaging or weighted averaging of a plurality of orthogonally coded video frames to generate a high-speed video frame represented by a transform coefficient, which is represented by a transform coefficient in an inverse orthogonal transform means (inverse orthogonal transform step). High-speed video frames are subjected to inverse orthogonal transform.

【0036】したがって、映像フレームが直交変換符号
化されていても、単純平均化手段(単純平均化ステッ
プ)、加重平均化手段(加重平均化ステップ)または平
均化手段(平均化ステップ)においてそのまま平均化す
ることができるため、全ての複数の映像フレームを逆変
換する必要なく、短時間で高速映像フレームを生成する
ことができる。
Therefore, even if a video frame is orthogonally coded, the average is directly averaged by the simple averaging means (simple averaging step), the weighted averaging means (weighted averaging step) or the averaging means (averaging step). Therefore, a high-speed video frame can be generated in a short time without having to perform inverse conversion of all the plurality of video frames.

【0037】また、請求項6に係る高速映像再生装置、
請求項14に係る高速映像生成方法および請求項17に
係る記録媒体では、映像をN倍速で高速再生する場合、
単純平均化手段(単純平均化ステップ)、加重平均化手
段(加重平均化ステップ)または平均化手段(平均化ス
テップ)は、N枚の映像フレームを平均化または加重平
均化して1枚の高速映像フレームを生成することが望ま
しい。
A high-speed video reproducing apparatus according to claim 6,
In the high-speed video generation method according to the fourteenth aspect and the recording medium according to the seventeenth aspect, when the video is played back at N times speed,
The simple averaging means (simple averaging step), the weighted averaging means (weighted averaging step) or the averaging means (averaging step) averages or weights the N video frames to obtain one high-speed video. It is desirable to generate frames.

【0038】また、請求項7に係る高速映像再生装置、
請求項15に係る高速映像生成方法および請求項17に
係る記録媒体では、映像を構成する連続した所定数の映
像フレームの途中にシーンの区切りがあるとき、映像フ
レーム選択手段(映像フレーム選択ステップ)におい
て、区切り位置に応じて単純平均化手段(単純平均化ス
テップ)、加重平均化手段(加重平均化ステップ)また
は平均化手段(平均化ステップ)が平均化または加重平
均化する映像フレームを選択している。
Also, a high-speed video reproducing apparatus according to claim 7,
In the high-speed video generation method according to the fifteenth aspect and the recording medium according to the seventeenth aspect, when there is a scene break in the middle of a predetermined number of continuous video frames constituting a video, a video frame selection unit (video frame selection step) , The simple averaging means (simple averaging step), the weighted averaging means (weighted averaging step), or the averaging means (averaging step) selects an image frame to be averaged or weighted averaged according to the break position. ing.

【0039】したがって、同じシーンの映像フレームだ
けを平均化または加重平均化して、生成される高速映像
フレームには複数のシーンが混在しないため、シーンを
明確に認識可能な見やすい高速映像を再生することがで
きる。結果として、シーンが多い場合でも、高速映像を
視覚によって検索する利用者は検索を容易に行うことが
できる。
Therefore, by averaging or weighted averaging only video frames of the same scene, and generating a high-speed video frame, a plurality of scenes are not mixed. Can be. As a result, even when there are many scenes, a user who searches for a high-speed video visually can easily perform the search.

【0040】さらに、請求項8に係る高速映像再生装
置、請求項16に係る高速映像生成方法および請求項1
7に係る記録媒体では、区切り検出手段(区切り検出ス
テップ)において所定数の映像フレーム中のシーンの区
切りを検出することが望ましい。
Furthermore, a high-speed video reproducing apparatus according to claim 8, a high-speed video generating method according to claim 16, and claim 1.
In the recording medium according to the seventh aspect, it is preferable that a break detecting means (a break detecting step) detect a break of a scene in a predetermined number of video frames.

【0041】[0041]

【発明の実施の形態】テレビやパーソナルコンピュータ
のディスプレイ等に表示される映像は、毎秒30フレー
ム程度の一定間隔で静止画(映像フレーム)を表示す
る、すなわちリフレッシュすることによって再生されて
いる。但し、映像を高速再生する場合でもフレームレー
ト(1秒間に表示する映像フレームの数)は通常再生時
のそれと同じであるため、映像をN倍速で再生する場
合、N枚の映像フレームのうちN−1枚分の情報が欠落
してしまう。仮に情報の欠落なく映像を高速再生するた
めには、N倍のフレームレートで映像フレームを表示さ
せなければならない。すなわち、通常であれば33m秒
毎に1枚の映像フレームを表示させるところを、33m
秒毎にN枚の映像フレームを表示させなければならな
い。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An image displayed on a display of a television or a personal computer is reproduced by displaying a still image (video frame) at a constant interval of about 30 frames per second, that is, by refreshing. However, since the frame rate (the number of video frames displayed per second) is the same as that during normal playback even when the video is played back at high speed, when the video is played back at N times speed, N out of N video frames are used. One piece of information is missing. In order to reproduce a video at high speed without loss of information, video frames must be displayed at N times the frame rate. That is, normally, one video frame is displayed every 33 msec.
N video frames must be displayed every second.

【0042】しかしながら、33m秒間という短い時間
の間にN枚の映像フレームを表示させても、人間の目
は、リフレッシュがあまりにも早すぎるためにこれらN
枚の映像フレームを動画として捕えず、静止画として捕
えてしまう。すなわち、人間の目にはN枚の映像フレー
ムが平均化された静止画として見える。以下説明する本
発明に係る高速映像再生装置および高速映像再生方法で
は、映像をN倍速で高速再生する際に、N枚の映像フレ
ームを平均化して高速映像フレームを生成し、規定のフ
レームレートでこの高速映像フレームを表示させてい
る。
However, even if N video frames are displayed during a short time of 33 msec, human eyes cannot refresh these N frames because the refresh is too fast.
A video frame is not captured as a moving image but captured as a still image. That is, human eyes see the N video frames as an averaged still image. In the high-speed video playback device and high-speed video playback method according to the present invention described below, when video is played back at N times high speed, N video frames are averaged to generate a high-speed video frame, and a high-speed video frame is generated at a specified frame rate. This high-speed video frame is displayed.

【0043】以下、本発明の高速映像再生装置および高
速映像再生方法の実施の形態について、〔第1の実施形
態〕、〔第2の実施形態〕、〔第3の実施形態〕、〔第
4の実施形態〕の順に図面を参照して詳細に説明する。
なお、それぞれの実施形態の説明では、本発明に係る高
速映像再生装置および高速映像再生方法について詳述す
るが、本発明に係る記録媒体については高速映像再生方
法を実行させるためのプログラムを記録した記録媒体で
あることから、その説明は以下の高速映像再生方法の説
明に含まれるものである。
The first embodiment, the second embodiment, the third embodiment, and the fourth embodiment of the high-speed video reproducing apparatus and the high-speed video reproducing method according to the present invention will be described below. Embodiment] will be described in detail with reference to the drawings.
In the description of each embodiment, the high-speed video playback device and the high-speed video playback method according to the present invention will be described in detail, but a program for executing the high-speed video playback method is recorded on the recording medium according to the present invention. Since it is a recording medium, its description is included in the following description of the high-speed video reproduction method.

【0044】〔第1の実施形態〕図1は、本発明の第1
の実施形態に係る高速映像再生装置を示すブロック構成
図である。同図において、本実施形態の高速映像再生装
置は、映像データ蓄積部101と、映像データ読込部1
03と、第1の高速映像生成部200と、特許請求の範
囲の映像再生手段に該当する映像再生部105とを備え
て構成されている。
[First Embodiment] FIG. 1 shows a first embodiment of the present invention.
FIG. 2 is a block diagram showing a high-speed video playback device according to the embodiment. In FIG. 1, a high-speed video playback device according to the present embodiment includes a video data storage unit 101 and a video data reading unit 1.
03, a first high-speed video generation unit 200, and a video reproduction unit 105 corresponding to the video reproduction means in the claims.

【0045】まず、映像データ蓄積部101は、映像を
再生するために必要なデジタル形式の映像データを蓄積
するものであり、ハードディスク(HD)やDVD(Di
gital Versatile Disc)等の記録媒体によって実現され
る。なお、映像データ蓄積部101に蓄積されている映
像データのフォーマットは、RGB形式のフレームデー
タが連続した形式である。また、映像データ読込部10
3は、映像データ蓄積部101からフレーム毎に映像デ
ータを順次読み込み、読み込んだ映像データを映像フレ
ーム毎に第1の高速映像生成部200に供給するもので
ある。
First, the video data storage unit 101 stores digital video data required for reproducing a video, and includes a hard disk (HD) and a DVD (Division).
gital Versatile Disc). The format of the video data stored in the video data storage unit 101 is a format in which frame data in RGB format is continuous. The video data reading unit 10
Reference numeral 3 denotes a unit for sequentially reading video data from the video data storage unit 101 for each frame, and supplying the read video data to the first high-speed video generation unit 200 for each video frame.

【0046】また、第1の高速映像生成部200は、映
像データ読込部103を介して映像データ蓄積部101
から読み出された連続したN枚(N≧2)の映像フレー
ムを平均化し、高速再生用の高速映像フレームを生成す
るものである。さらに、映像再生部105は、第1の高
速映像生成部200で生成された高速映像フレームを一
定間隔ΔTで表示して高速映像を再生するものである。
なお、高速再生を行わず、通常の再生速度(1倍速)で
映像を再生する場合、映像データ蓄積部101から読み
出された映像フレームは平均化されずにそのまま映像再
生部105に提供され、一定間隔ΔTで表示される。
Further, the first high-speed video generation section 200 transmits the video data to the video data storage section 101 via the video data reading section 103.
Averaging N (N ≧ 2) consecutive video frames read out from the multiplexing section to generate a high-speed video frame for high-speed reproduction. Further, the video reproduction unit 105 reproduces the high-speed video by displaying the high-speed video frames generated by the first high-speed video generation unit 200 at a constant interval ΔT.
When a video is reproduced at a normal reproduction speed (1 × speed) without performing high-speed reproduction, the video frames read from the video data storage unit 101 are provided to the video reproduction unit 105 without averaging, It is displayed at regular intervals ΔT.

【0047】以下、第1の高速映像生成部200の内部
構成および動作に関して、第1実施例と第2実施例の2
つの場合について説明する。 (第1実施例)まず第1実施例において、第1の高速映
像生成部200は、図2に示すように内部に特許請求の
範囲の単純平均化手段に該当する第1の平均化部201
を備えて構成されている。なお、映像データ蓄積部10
1から読み出される映像データは、通常、離散コサイン
変換(Discrete Cosine Transform:DCT)、量子化
および可変長符号化(Variable Length Coder:VL
C)されているが、本実施例の第1の平均化部201に
供給される映像データは、可変長復号化、逆量子化およ
び逆DCT変換された純粋な映像データであるとする。
The internal structure and operation of the first high-speed video generator 200 will be described below with reference to the first embodiment and the second embodiment.
Two cases will be described. (First Embodiment) First, in the first embodiment, the first high-speed video generation unit 200 internally includes a first averaging unit 201 corresponding to a simple averaging unit according to the claims as shown in FIG.
It is provided with. The video data storage unit 10
The video data read from 1 is usually discrete cosine transform (DCT), quantization and variable length coding (Variable Length Coder: VL).
C), the video data supplied to the first averaging unit 201 of the present embodiment is assumed to be pure video data that has been subjected to variable-length decoding, inverse quantization, and inverse DCT.

【0048】第1の平均化部201は、映像データ蓄積
部101から読み出されたN枚(N≧2)の映像フレー
ムを平均化して、高速映像フレームを生成するものであ
る。例えば、図3(a)に示した映像フレームF1〜F3
を3倍速する際、第1の平均化部201は、映像フレー
ムF1〜F3を重ね合わせて平均化することによって、図
3(b)に示した高速映像フレームSを得る。第1の平
均化部201は、図4に示すように、連続した3つの映
像フレームFを平均化することにより高速映像フレーム
Sを連続して出力する。
The first averaging section 201 averages N (N ≧ 2) video frames read from the video data storage section 101 to generate a high-speed video frame. For example, the video frames F 1 to F 3 shown in FIG.
Is tripled, the first averaging unit 201 obtains the high-speed video frame S shown in FIG. 3B by superimposing and averaging the video frames F 1 to F 3 . The first averaging unit 201 continuously outputs high-speed video frames S by averaging three consecutive video frames F, as shown in FIG.

【0049】以下、図5を参照して、第1の平均化部2
01が行う映像フレームの平均化について詳細に説明す
る。映像フレームF1〜F3の各々が4ピクセル×4ピク
セルで表され、映像フレームFiのカラーC(RGBの
いずれか)における座標(x,y)のピクセル値PをP
(Fi,C,x,y)で表すと、3倍速再生用の高速映
像フレームSのピクセル値Psは以下に示す式(1)に
よって求められる。
Referring now to FIG. 5, first averaging section 2
01 will be described in detail. Each of the video frames F 1 to F 3 is represented by 4 × 4 pixels, and the pixel value P of the coordinates (x, y) in the color C (any of RGB) of the video frame Fi is represented by P
When represented by (Fi, C, x, y), the pixel value Ps of the high-speed video frame S for triple-speed playback is obtained by the following equation (1).

【0050】[0050]

【数1】 (Equation 1)

【0051】例えば、高速映像フレームSの左上のピク
セルP(S,C,1,1)は、P(S,C,1,1)=
(180+180+180)/3=180となり、座標
(1,3)の高速映像フレームSのピクセルP(S,
C,1,1)は、P(S,C,1,3)=(0+180
+180)/3=120となる。
For example, the upper left pixel P (S, C, 1,1) of the high-speed video frame S is represented by P (S, C, 1,1) =
(180 + 180 + 180) / 3 = 180, and the pixel P (S, S) of the high-speed video frame S at the coordinates (1,3)
C, 1,1) is P (S, C, 1,3) = (0 + 180)
+180) / 3 = 120.

【0052】このように、映像フレームFM+1〜FM+N
用いて第1の平均化部201が生成するN倍速再生用の
高速映像フレームSの座標(x,y)におけるピクセル
値Psは、以下に表す式(2)によって求められる。
As described above, the pixel values at the coordinates (x, y) of the high-speed video frame S for N-times speed reproduction generated by the first averaging unit 201 using the video frames F M + 1 to F M + N. Ps is obtained by the following equation (2).

【0053】[0053]

【数2】 (Equation 2)

【0054】第1の平均化部201は、上記した式
(2)を用いて全色(RGB)および全座標に対してピ
クセル値Psを算出することにより、高速映像フレーム
Sを生成して映像再生部105に送る。
The first averaging unit 201 generates a high-speed video frame S by calculating pixel values Ps for all colors (RGB) and all coordinates using the above equation (2). Send it to playback section 105.

【0055】(第2実施例)次に、第2実施例として、
第1の高速映像生成部200の内部構成について説明す
る。なお、映像データ蓄積部101に蓄積されている映
像データは、DCT、量子化および可変長符号化された
映像データである。本実施例において、第1の高速映像
生成部200は、図6に示すように内部に可変長復号化
(Variable Length Decoder:VLD)部203、逆量
子化部205、特許請求の範囲の単純平均化手段に該当
する第2の平均化部207および特許請求の範囲の逆直
交変換手段に該当する逆DCT部209を備えて構成さ
れている。
(Second Embodiment) Next, as a second embodiment,
The internal configuration of the first high-speed video generator 200 will be described. Note that the video data stored in the video data storage unit 101 is video data that has been subjected to DCT, quantization, and variable length coding. In the present embodiment, the first high-speed video generation unit 200 internally includes a variable length decoding (VLD) unit 203, an inverse quantization unit 205, and a simple average in claims as shown in FIG. A second averaging unit 207 corresponding to the averaging unit and an inverse DCT unit 209 corresponding to the inverse orthogonal transform unit in the claims are provided.

【0056】まず、VLD部203は、映像データ蓄積
部101から読み出された映像データを可変長復号化す
るものであり、映像フレーム毎に可変長復号化を行う。
なお、利用者がN倍速の高速再生を要求した場合は、N
枚の映像フレームに対して並列に可変長復号化が可能な
ようにN個のVLD部203が用意されている。また、
逆量子化部205は、VLD部203で可変長復号化さ
れた映像フレームを逆量子化するものであり、VLD部
203と同様に、映像フレーム毎に並列に逆量子化でき
るようN個用意されている。
First, the VLD unit 203 performs variable length decoding of the video data read from the video data storage unit 101, and performs variable length decoding for each video frame.
If the user requests N-times high-speed playback, N
N VLD units 203 are prepared so that variable-length decoding can be performed on one video frame in parallel. Also,
The inverse quantization unit 205 inversely quantizes the video frames that have been subjected to the variable length decoding in the VLD unit 203, and, like the VLD unit 203, prepares N pieces of inverse quantization units so that they can be inversely quantized in parallel for each video frame. ing.

【0057】また、第2の平均化部207は、VLD部
203および逆量子化部205によって可変長復号化お
よび逆量子化された、DCT係数で表されるN枚(N≧
2)の映像フレームを平均化して、DCT係数で表され
る高速映像フレーム(以下、DCT高速映像フレームと
いう)を生成するものである。
Further, the second averaging section 207 performs N (N ≧ N) represented by DCT coefficients that have been subjected to variable-length decoding and inverse quantization by the VLD section 203 and the inverse quantization section 205.
The 2) video frames are averaged to generate a high-speed video frame represented by a DCT coefficient (hereinafter, referred to as a DCT high-speed video frame).

【0058】本実施例の第2の平均化部207は、第1
の平均化部201と同様な平均化方式で各映像フレーム
のDCT係数を平均化する。すなわち、DCTされた映
像フレーム(以下、DCT映像フレームという)FD1
D3の各々が図7に示すような4×4のDCT係数から
成り、利用者が3倍速の高速再生を要求した場合、第2
の平均化部207は、例えば、DCT高速映像フレーム
Dの第1周波数成分である左上のDCT係数を(10
0+180+250)/3≒177とする。
The second averaging section 207 of the present embodiment performs
The DCT coefficient of each video frame is averaged by an averaging method similar to the averaging unit 201 of FIG. That is, DCT-processed video frames (hereinafter referred to as DCT video frames) F D1 to
If each of the F D3 consists DCT coefficients of 4 × 4 as shown in FIG. 7, the user has requested a fast reproduction of triple speed, the second
The averaging unit 207 calculates the upper left DCT coefficient, which is the first frequency component of the DCT high-speed video frame SD , by (10
0 + 180 + 250) / 3 ≒ 177.

【0059】さらに、逆DCT部209は、第2の平均
化部207で生成されたDCT高速映像フレームを逆D
CTして映像再生部105で再生可能な高速映像フレー
ムとし、この高速映像フレームを映像再生部105に送
るものである。
Further, the inverse DCT section 209 converts the DCT high-speed video frame generated by the second averaging section 207 into an inverse D
The CT is used as a high-speed video frame that can be reproduced by the video reproduction unit 105, and the high-speed video frame is sent to the video reproduction unit 105.

【0060】次に、本実施形態の高速映像再生装置で映
像フレームを平均化して映像を高速再生するときの動作
について、図8を参照して説明する。まず、図8(a)
に示した映像フレームが通常の再生速度で表示される場
合、映像フレームFa〜Fgは映像フレームFaから順
に33m秒毎に表示される。このとき、図8(b)に示
すように、ボールが1度バウンドして着地する映像が再
生される。
Next, the operation of the high-speed video reproducing apparatus of this embodiment for averaging video frames and reproducing the video at high speed will be described with reference to FIG. First, FIG.
Are displayed at the normal reproduction speed, the video frames Fa to Fg are displayed every 33 msec from the video frame Fa in order. At this time, as shown in FIG. 8B, an image in which the ball bounces once and lands is reproduced.

【0061】参考のために、映像フレームを間引いて表
示するフレーム間引き再生方法によって高速再生を行う
従来の方式で3倍速再生を行えば、図8(c)に示すよ
うに映像フレームFa,Fd,Fgが順に表示されるた
め、人間の目には、図8(d)に示すようにボールはバ
ウンドせずに地面印向かって一直線に落ちていくように
見える。また、映像フレームFa,Fd,Fg間ではボ
ールとボールの間に距離があるために複数のボールとし
て認識されてしまい、移動しているように見えない可能
性もある。
For reference, if triple-speed playback is performed by a conventional method of performing high-speed playback by a frame thinning playback method in which video frames are thinned out and displayed, as shown in FIG. 8C, video frames Fa, Fd, Since Fg is displayed in order, to the human eye, as shown in FIG. 8D, the ball does not bounce and appears to fall straight on toward the ground mark. In addition, since there is a distance between the balls between the video frames Fa, Fd, and Fg, the balls may be recognized as a plurality of balls and may not appear to be moving.

【0062】一方、本実施形態の高速映像再生方法を用
いて3倍速再生を行えば、映像フレームFa〜Fc,F
d〜Ff,Fgがそれぞれ平均化され、図8(e)に示
すような3つの高速映像フレームS1〜S3が生成され
る。3つの高速映像フレームS 1〜S3は、高速映像フレ
ームS1から順に33m秒毎に表示されるため、人間の
目には3倍速で、かつ従来のようにボールの移動経路が
変わることなく、図8(a)に示した映像フレームFa
〜Fgを11m秒毎に表示した映像と略同様の見え方と
なる。
On the other hand, the high-speed video reproducing method of the present embodiment is used.
And 3 × speed reproduction, video frames Fa to Fc, F
d to Ff and Fg are respectively averaged and shown in FIG.
Three high-speed video frames S1~ SThreeIs generated
You. Three high-speed video frames S 1~ SThreeIs a fast video frame
Room S1Is displayed every 33 ms in order from
Eyes are 3 times faster and the ball travel path is
The video frame Fa shown in FIG.
~ Fg looks almost the same as the video displayed every 11ms
Become.

【0063】以上説明したように、本実施形態の高速映
像再生装置および高速映像再生方法では、映像フレーム
を高速再生する際には、従来のように一部の映像フレー
ムを間引くことなく、複数の映像フレームを平均化する
ことによって高速映像フレームを生成しこれを表示させ
ている。このように、高速再生しても間引きによる情報
の欠落なく全映像フレームの情報が反映されるために、
元の映像と略同様の映像を滑らかかつ自然な形態で高速
に再生することができる。
As described above, according to the high-speed video reproducing apparatus and the high-speed video reproducing method of the present embodiment, when reproducing a video frame at a high speed, a plurality of video frames need not be thinned out as in the related art. By averaging the video frames, high-speed video frames are generated and displayed. In this way, even in high-speed playback, the information of all video frames is reflected without loss of information due to thinning,
A video almost similar to the original video can be reproduced at a high speed in a smooth and natural form.

【0064】また、映像に動きの速い物体や小さな物
体、出現時間の短い物体などが含まれていても、高速映
像は映像フレームを平均化した高速映像フレームを表示
することによって再生されるため、これらの物体は必ず
再生される。したがって、映像を視覚によって検索する
利用者にとっては、従来と比較して、同じ再生速度であ
ればより容易に所望のシーンを検索することができ、ま
た、同じ精度でかつより早く所望のシーンを見つけるこ
とができるため短時間での検索が可能となる。
Even if the video includes a fast moving object, a small object, an object with a short appearance time, etc., the high speed video is reproduced by displaying the high speed video frame obtained by averaging the video frames. These objects are always reproduced. Therefore, a user who visually searches for a video can easily search for a desired scene at the same playback speed as compared with the related art, and can search for a desired scene with the same accuracy and faster. Because it can be found, the search can be performed in a short time.

【0065】また、第2実施例で説明した第1の高速映
像生成部200を備えた高速映像再生装置によれば、映
像データ蓄積部101に蓄積されている映像データが離
散コサイン変換されたデータであっても、第2の平均化
部207においてそのまま平均化することができるた
め、平均化する前に映像データを逆DCTする必要な
く、短時間で高速映像フレームを生成することができ
る。
Further, according to the high-speed video reproducing apparatus provided with the first high-speed video generating section 200 described in the second embodiment, the video data stored in the video data storing section 101 is the data obtained by performing the discrete cosine transform. However, since the second averaging unit 207 can perform averaging as it is, there is no need to perform inverse DCT on video data before averaging, and a high-speed video frame can be generated in a short time.

【0066】なお、本実施形態では、映像データ蓄積部
101に蓄積されている映像データのフォーマットをR
GB形式としたが、どのようなフォーマットであっても
構わず、例えばモーションJPEGのような圧縮映像フ
ォーマットやYUV形式でも構わない。
In this embodiment, the format of the video data stored in the video data storage unit 101 is R
Although the GB format is used, any format may be used. For example, a compressed video format such as Motion JPEG or a YUV format may be used.

【0067】〔第2の実施形態〕図9は、本発明の第2
の実施形態に係る高速映像再生装置を示すブロック構成
図である。同図において、図1(第1の実施形態)と重
複する部分には同一の符号を附して説明を省略する。本
実施形態の高速映像再生装置は、第1の実施形態の高速
映像再生装置が有する第1の高速映像生成部200に代
わって第2の高速映像生成部300を備えて構成されて
いる。
[Second Embodiment] FIG. 9 shows a second embodiment of the present invention.
FIG. 2 is a block diagram showing a high-speed video playback device according to the embodiment. In the figure, the same reference numerals are given to the same parts as those in FIG. 1 (first embodiment), and the description is omitted. The high-speed video playback device according to the present embodiment includes a second high-speed video generation unit 300 instead of the first high-speed video generation unit 200 included in the high-speed video playback device according to the first embodiment.

【0068】第2の高速映像生成部300は、映像デー
タ読込部103を介して映像データ蓄積部101から読
み出された連続したN枚(N≧2)の映像フレームを加
重平均化し、高速再生用の高速映像フレームを生成する
ものであり、図10に示すように、特許請求の範囲の加
重平均化手段に該当する加重平均化部301を備える。
The second high-speed video generation unit 300 performs weighted averaging of N consecutive (N ≧ 2) video frames read from the video data storage unit 101 via the video data reading unit 103, and performs high-speed reproduction. As shown in FIG. 10, a weighted averaging unit 301 corresponding to a weighted averaging unit in claims is provided.

【0069】加重平均化部301は、第1の実施形態の
第1の平均化部201が行うような単純な平均化ではな
く、映像フレームに重みを付けて平均化し、高速映像フ
レームを生成するものである。例えば、図11(a)に
示した映像フレームF1〜F3を3倍速再生する際、加重
平均化部301は、映像フレームF1〜F3を加重平均化
することによって、図11(b)に示した高速映像フレ
ームSwを得る。映像フレームF1〜F3は通常の再生で
あれば映像フレームF1,F2,F3の順に表示され、本
実施形態では時間的に後の映像フレームほど重みを大き
くしているため、加重平均化部301によって生成され
た高速映像フレームSwは映像フレームF3を強く反映
したものとなる。
The weighted averaging section 301 weights and averages video frames to generate high-speed video frames, instead of simple averaging as performed by the first averaging section 201 of the first embodiment. Things. For example, when the 3-speed playback video frames F 1 to F 3 shown in FIG. 11 (a), the weighted average unit 301, by weighted averaging the video frame F 1 to F 3, FIG. 11 (b ) Is obtained. The video frames F 1 to F 3 are displayed in the order of the video frames F 1 , F 2 , and F 3 in the case of normal reproduction. In the present embodiment, the weight is increased in the temporally later video frame. fast video frame Sw generated by the averaging unit 301 is assumed to reflect strongly the video frame F 3.

【0070】また、加重平均化部301は、上記説明し
たような加重平均化を行うために、内部に乗算部303
と加算部305と除算部307とを有している。乗算部
303は、映像データ蓄積部101から読み出された映
像データに対して、映像フレーム毎に異なる重みを付け
るものであって、映像フレームの全ピクセル値に所定の
重み係数を掛け合わせる。本実施形態では、上述したよ
うに、時間的に後の映像フレームほど重みが増す。すな
わち、平均化する映像フレームの内、先頭の映像フレー
ムに対しては重み係数1を掛け合わせ、次の映像フレー
ムには重み係数2を掛け合わせ、N番目の映像フレーム
に対しては重み係数Nを掛け合わせる。なお、乗算部3
03は、それぞれ異なる重み係数を映像フレームに掛け
合わせるよう複数設けられている。
The weighted averaging section 301 internally has a multiplication section 303 for performing the weighted averaging as described above.
And an adder 305 and a divider 307. The multiplication unit 303 assigns different weights to the video data read from the video data storage unit 101 for each video frame, and multiplies all pixel values of the video frame by a predetermined weighting coefficient. In the present embodiment, as described above, the weight increases with time in a later video frame. That is, of the video frames to be averaged, the first video frame is multiplied by the weighting factor 1, the next video frame is multiplied by the weighting factor 2, and the N-th video frame is weighted by the weighting factor N Multiply by Note that the multiplication unit 3
A plurality of reference numerals 03 are provided so as to multiply video frames by different weight coefficients.

【0071】また、加算部305は、それぞれ異なる重
み係数が掛け合わされた複数の映像フレームを足し合わ
せるものである。さらに、除算部307は、加算部30
5で足し合わされた映像フレームを使用された重み係数
の累積数Mで割って、高速映像フレームを出力するもの
である。なお、重み係数の累積数Mは、重み係数として
1〜Nが使用されたとき、M=1+2+・・・+N=N
(1+N)/2となる。
The adder 305 adds a plurality of video frames multiplied by different weighting factors. Further, the division unit 307 includes the addition unit 30
The high-speed video frame is output by dividing the video frame added by 5 by the cumulative number M of the used weighting factors. Note that, when 1 to N are used as the weight coefficients, the cumulative number M of the weight coefficients is M = 1 + 2 +... + N = N
(1 + N) / 2.

【0072】以下、図12を参照して、加重平均化部3
01が行う映像フレームの加重平均化について詳細に説
明する。映像フレームF1〜F3の各々が4ピクセル×4
ピクセルで表され、映像フレームFiのカラーC(RG
Bのいずれか)における座標(x,y)のピクセル値P
をP(Fi,C,x,y)で表すと、本実施形態におけ
る3倍速再生用の高速映像フレームSwのピクセル値P
sは以下に示す式(3)によって求められる。
Hereinafter, referring to FIG. 12, weighted averaging section 3
01 will be described in detail. Each of the video frames F 1 to F 3 is 4 pixels × 4
The color C (RG) of the video frame Fi is expressed in pixels.
B), the pixel value P at the coordinates (x, y)
Is represented by P (Fi, C, x, y), the pixel value P of the high-speed video frame Sw for triple-speed playback in the present embodiment is represented by P (Fi, C, x, y).
s is obtained by the following equation (3).

【0073】[0073]

【数3】 (Equation 3)

【0074】例えば、高速映像フレームSwの左上のピ
クセルP(S,C,1,1)は、P(S,C,1,1)
=(1×180+2×180+3×180)/6=18
0となり、座標(1,4)の高速映像フレームSwのピ
クセルP(S,C,1,4)は、P(S,C,1,4)
=(1×0+2×0+3×180)/6=90となる。
For example, the upper left pixel P (S, C, 1,1) of the high-speed video frame Sw is P (S, C, 1,1)
= (1 × 180 + 2 × 180 + 3 × 180) / 6 = 18
0, and the pixel P (S, C, 1,4) of the high-speed video frame Sw at the coordinates (1,4) is P (S, C, 1,4)
= (1 × 0 + 2 × 0 + 3 × 180) / 6 = 90.

【0075】このように、映像フレームFM+1〜FM+N
用いて加重平均化部301が生成するN倍速再生用の高
速映像フレームSwの座標(x,y)におけるピクセル
値Psは、以下に表す式(4)によって求められる。
As described above, the pixel value Ps at the coordinates (x, y) of the high-speed video frame Sw for N-times speed reproduction generated by the weighted averaging unit 301 using the video frames F M + 1 to F M + N is , Is obtained by the following equation (4).

【0076】[0076]

【数4】 (Equation 4)

【0077】加重平均化部301は、上記した式(4)
を用いて全色(RGB)および全座標に対してピクセル
値Psを算出することにより、高速映像フレームSwを
生成して映像再生部105に送る。
The weighted averaging section 301 calculates the above equation (4)
Is used to calculate a pixel value Ps for all colors (RGB) and all coordinates, thereby generating a high-speed video frame Sw and sending it to the video reproduction unit 105.

【0078】このように、本実施形態において映像フレ
ームを高速再生する際には、第1実施形態のように映像
フレームを単純に平均化するのではなく、重みを付けた
加重平均化を行うことによって高速映像フレームを生成
しこれを表示させている。したがって、より大きな重み
が付けられた映像フレームは高速映像フレーム中に強く
反映され、より鮮明に再生される。
As described above, when the video frames are reproduced at high speed in the present embodiment, weighted averaging with weighting is performed instead of simply averaging the video frames as in the first embodiment. Generates a high-speed video frame and displays it. Therefore, a video frame with a larger weight is strongly reflected in a high-speed video frame, and is reproduced more clearly.

【0079】例えば、図13に示すように、第1の実施
形態の平均化によって得られた高速映像フレーム(図1
3(b))では、元の映像フレーム(図13(a))に
含まれる各物体(三角)の濃度がどれも一様であるため
に物体が背景に溶け込んでしまい、特に、物体の細かい
部分が明瞭に表示されないが、本実施形態の加重平均化
によって得られた高速映像フレーム(図13(c))で
は、大きな重み係数が掛け合わされた映像フレームに含
まれる物体が他の映像フレームに含まれる物体よりも濃
く明瞭に表示される。また、短時間だけ表示される物体
も、単純に平均化して生成された高速映像フレームと比
較してより明確に表示される。
For example, as shown in FIG. 13, high-speed video frames (FIG. 1) obtained by averaging in the first embodiment
3 (b)), since the density of each object (triangle) included in the original video frame (FIG. 13 (a)) is all uniform, the object melts into the background. Although the portion is not clearly displayed, in the high-speed video frame obtained by the weighted averaging of the present embodiment (FIG. 13C), the object included in the video frame multiplied by the large weight coefficient is replaced by another video frame. It is displayed darker and clearer than the included objects. Also, an object that is displayed for a short time is displayed more clearly than a high-speed video frame generated by simply averaging.

【0080】以上説明したように、本実施形態の高速映
像再生装置および高速映像再生方法では、映像フレーム
を平均化する際には、一様な平均化ではなく重み係数を
用いた加重平均化を行っている。このため、加重平均化
して生成された高速映像フレームを用いることによって
再生された高速映像は、第1の実施形態で生成される高
速映像と比較して、大きな重み係数が掛け合わされた映
像フレーム中の物体などをより明確に表示する。したが
って、高速映像を視覚によって検索する利用者は、映像
中に動きの速い物体や小さな物体、出現時間の短い物体
が含まれていてもこれらを容易に発見することができ
る。
As described above, according to the high-speed video reproducing apparatus and the high-speed video reproducing method of the present embodiment, when averaging video frames, weighted averaging using weighting factors is performed instead of uniform averaging. Is going. For this reason, the high-speed video reproduced by using the high-speed video frame generated by the weighted averaging is different from the high-speed video generated in the first embodiment in the video frame multiplied by a large weighting factor. Objects are displayed more clearly. Therefore, a user who visually searches a high-speed image can easily find a fast-moving object, a small object, or an object with a short appearance time even if the image includes the object.

【0081】なお、本実施形態では、時間的に後の映像
フレームほど大きな重み係数を掛け合わせているが、時
間的に先の映像フレームほど重み係数を大きくしても良
い。また、本実施形態では、重み係数を正の整数(1,
2,・・・,N)としているが小数としても良い。また、
テクスチャが複雑な高周波成分を多く含む映像フレーム
に対して、大きな重み係数を掛け合わせるようにしても
良い。このとき、高速映像フレームにはディテールが明
確に現れる。また、所定の色を多く含む映像フレームに
対して重み係数を大きくしても良い。このとき、色に基
づいて映像を視覚で検索する利用者は、映像中に存在す
る所定色の物体を短時間かつ容易に検索することができ
る。
In this embodiment, a larger weighting factor is applied to a temporally later video frame, but a larger weighting factor may be applied to a temporally earlier video frame. Further, in the present embodiment, the weighting coefficient is a positive integer (1,
2,..., N), but may be a decimal number. Also,
A video frame including many complex high-frequency components with a texture may be multiplied by a large weighting factor. At this time, details appear clearly in the high-speed video frame. Further, the weight coefficient may be increased for a video frame including many predetermined colors. At this time, a user who visually searches for an image based on a color can easily search for an object of a predetermined color existing in the image in a short time.

【0082】また、本実施形態においても、第1の実施
形態の第2実施例と同様に、映像データが離散コサイン
変換されていれば、加重平均化部301はDCT係数に
よって表されるDCT映像フレームに上述した加重平均
化を行っても良い。
Also in this embodiment, as in the second example of the first embodiment, if the video data has been subjected to discrete cosine transform, the weighted averaging unit 301 causes the DCT video represented by the DCT coefficient to The above-described weighted averaging may be performed on the frame.

【0083】〔第3の実施形態〕図14は、本発明の第
3の実施形態に係る高速映像再生装置を示すブロック構
成図である。同図において、図1(第1の実施形態)と
重複する部分には同一の符号を附して説明を省略する。
本実施形態の高速映像再生装置は、第1の実施形態の高
速映像再生装置が有する第1の高速映像生成部200に
代わって第3の高速映像生成部400を備えて構成され
ている。
[Third Embodiment] FIG. 14 is a block diagram showing a high-speed video reproducing apparatus according to a third embodiment of the present invention. In the figure, the same reference numerals are given to the same parts as those in FIG. 1 (first embodiment), and the description is omitted.
The high-speed video playback device according to the present embodiment is configured to include a third high-speed video generation unit 400 instead of the first high-speed video generation unit 200 included in the high-speed video playback device according to the first embodiment.

【0084】第3の高速映像生成部400は、映像デー
タ読込部103を介して映像データ蓄積部101から読
みだされた連続したN枚の映像フレームそれぞれを複数
の領域に分割し、各領域の変化を検出した結果、変化の
小さい領域に対しては映像フレームの間引きを行い、変
化の大きい領域に対しては平均化を行うものである。第
3の高速映像生成部400は、図15に示すように、特
許請求の範囲の映像フレーム分割手段に該当する映像フ
レーム分割部401と、領域変化検出手段に該当する領
域変化検出部403と、平均化手段に該当する第3の平
均化部405と、映像データ合成手段に該当する映像デ
ータ合成部407とを備えて構成されている。
The third high-speed video generation unit 400 divides each of the N consecutive video frames read from the video data storage unit 101 via the video data reading unit 103 into a plurality of regions, and As a result of detecting the change, the image frame is thinned out in the region where the change is small, and the averaging is performed in the region where the change is large. As shown in FIG. 15, the third high-speed video generation unit 400 includes a video frame division unit 401 corresponding to a video frame division unit described in claims, an area change detection unit 403 corresponding to a region change detection unit, A third averaging unit 405 corresponding to the averaging unit and a video data combining unit 407 corresponding to the video data combining unit are provided.

【0085】まず、映像フレーム分割部401は、映像
データ蓄積部101から読み出されたN枚(N≧2)の
映像フレームそれぞれを複数の領域に分割するものであ
る。また、領域変化検出部403は、映像フレーム分割
部401で分割された領域毎に対して、N枚の映像フレ
ームにわたる変化の程度を検出するものであり、変化の
大きい領域の映像データは第3の平均化部405に送ら
れ、変化の小さい領域の映像データは映像データ合成部
407に送られる。
First, the video frame division unit 401 divides each of N (N ≧ 2) video frames read from the video data storage unit 101 into a plurality of areas. The area change detection unit 403 detects the degree of change over N video frames for each of the areas divided by the video frame division unit 401. Are transmitted to the video data synthesizing unit 407.

【0086】なお、変化の程度は、領域中の色相や輝度
の平均値に基づいて検出され、例えば、時間的に隣り合
う映像フレーム間で輝度が大きく変化したとき、領域変
化検出部403はその領域の映像が大きく変化したと判
断する。なお、変化の程度は、時間的に隣り合った映像
フレーム間での色相や輝度の差分をN枚の映像フレーム
にわたって累積した合計値から判断しても良い。このと
き領域変化検出部403は、合計値が規定値を越えた領
域に大きな変化があったと判断する。
The degree of the change is detected based on the average value of the hue and the luminance in the area. For example, when the luminance changes greatly between temporally adjacent video frames, the area change detecting unit 403 detects the change. It is determined that the image in the area has changed significantly. Note that the degree of change may be determined from a total value obtained by accumulating differences in hue and luminance between temporally adjacent video frames over N video frames. At this time, the area change detection unit 403 determines that there is a large change in the area where the total value exceeds the specified value.

【0087】また、第3の平均化部405は、領域変化
検出部403で変化大と判断された領域をN枚の映像フ
レームにわたって平均化するものであり、平均化によっ
て生成された高速再生用の映像データは映像データ合成
部407に供給される。なお、本実施形態では、第3の
平均化部405を、第1の実施形態で説明した単純な平
均化を行うものとして説明するが、第2の実施形態で説
明した重み係数を用いた加重平均化を行うものとしても
良い。また、第1の実施形態の第2実施例と同様に、映
像データが離散コサイン変換されていれば、第3の平均
化部405は、DCT係数によって表されるDCT映像
フレームに対して平均化または加重平均化を行っても良
い。
The third averaging section 405 averages the area determined to have a large change by the area change detecting section 403 over N video frames, and generates the high-speed reproduction generated by the averaging. Are supplied to the video data synthesizing unit 407. In the present embodiment, the third averaging unit 405 is described as performing the simple averaging described in the first embodiment. However, the third averaging unit 405 performs weighting using the weight coefficient described in the second embodiment. Averaging may be performed. Also, as in the second example of the first embodiment, if the video data has been subjected to the discrete cosine transform, the third averaging unit 405 performs averaging on the DCT video frame represented by the DCT coefficient. Alternatively, weighted averaging may be performed.

【0088】さらに、映像データ合成部407には、第
3の平均化部405からの映像データと、領域変化検出
部403から送られた変化の小さい領域の映像データと
を合成して、高速再生用の高速映像フレームを生成する
ものである。映像データを合成する際には、変化の小さ
い領域の映像データとして、N枚の映像フレームの内、
先頭の映像フレームの該当する領域の映像データのみが
合成され、他の映像フレームの該当する領域の映像デー
タは間引くことによって用いられることはない。また、
本実施形態では、合成するための変化の小さい領域の映
像データとして先頭の映像フレームの映像データが用い
られるとしたが、変化が小さい領域においてはどの映像
フレームの映像データも大体同じであると考えられるた
め、いずれの映像フレームの映像データを用いても良
い。
Further, the video data synthesizing section 407 synthesizes the video data from the third averaging section 405 and the video data of the small change area sent from the area change detection section 403 to reproduce the data at high speed. To generate a high-speed video frame for use. When synthesizing the video data, as the video data of the area where the change is small, of the N video frames,
Only the video data of the corresponding area of the first video frame is synthesized, and the video data of the corresponding area of another video frame is not used by thinning. Also,
In the present embodiment, it is assumed that the video data of the first video frame is used as the video data of the small change area for synthesis, but it is considered that the video data of every video frame is almost the same in the small change area. Therefore, video data of any video frame may be used.

【0089】次に、本実施形態の高速映像再生装置で映
像を高速再生するための高速映像フレームを生成すると
きの動作について、図16を参照して説明する。まず、
図16(a)に示す4枚の映像フレームF1〜F4は、映
像フレーム分割部401において、それぞれ4×4の1
6個の領域に分割される。この4枚の映像フレームF1
〜F4を再生したとき、上側領域では物体(ボール)が
左側から右側へ移動する一方で、下側領域ではブロック
並んだ映像が表示されほとんど変化しない。このため、
領域変化検出部403は、上半分(2×4)の8個の領
域を変化の大きい部分と判断して、これらの領域の映像
データを第3の平均化部405に送り、残る下半分(2
×4)の8個の領域を変化の小さい部分と判断し、これ
らの領域の映像データを映像データ合成部407に送
る。
Next, an operation for generating a high-speed video frame for high-speed video reproduction by the high-speed video reproduction device of the present embodiment will be described with reference to FIG. First,
The four video frames F 1 to F 4 shown in FIG.
It is divided into six regions. These four video frames F 1
When playing to F 4, the object in the upper region (ball) is while moving from the left to the right, almost no change appears lined block image is in the lower region. For this reason,
The area change detection unit 403 determines that the eight areas of the upper half (2 × 4) are the parts having a large change, sends the video data of these areas to the third averaging unit 405, and sends the remaining lower half ( 2
The eight areas of (× 4) are determined to be small changes, and the image data of these areas is sent to the image data synthesizing unit 407.

【0090】第3の平均化部405では、領域変化検出
部403から送られた映像フレームF1〜F4それぞれの
上半分の映像データを領域毎に平均化して、平均化され
た映像データを映像データ合成部407に送る。次に、
映像データ合成部407は、第3の平均化部405から
送られた映像データと、領域変化検出部403から送ら
れた変化の小さい部分の映像データを合成することによ
って、図16(b)に示す4倍速再生用の高速映像フレ
ームを生成する。
The third averaging section 405 averages the upper half video data of each of the video frames F 1 to F 4 sent from the area change detection section 403 for each area, and outputs the averaged video data. The data is sent to the video data synthesizing unit 407. next,
The video data combining unit 407 combines the video data sent from the third averaging unit 405 with the video data of a small change sent from the area change detecting unit 403, as shown in FIG. A high-speed video frame for quadruple-speed playback shown is generated.

【0091】以上説明したように、本実施形態の高速映
像再生装置および高速映像再生方法では、高速映像フレ
ームの生成において、変化の小さい領域に対しては1枚
の映像フレームの映像を再生して他の映像フレームの映
像データを間引いているが、変化が小さいために間引き
によって欠落する情報の量は少ない。また、高速映像フ
レームに含まれる変化の小さい領域の映像データは平均
化等の加工が行われないために、その領域の映像を鮮明
にすることができる。一方、変化の大きい領域に対して
は、第1の実施形態と同様に複数の映像フレームを平均
化した映像を再生しているため、間引きによる情報の欠
落がない滑らかで自然な高速映像を再生することができ
る。
As described above, in the high-speed video reproducing apparatus and the high-speed video reproducing method according to the present embodiment, in the generation of the high-speed video frame, the video of one video frame is reproduced in the area where the change is small. Although video data of other video frames is thinned out, the amount of information missing due to the thinning is small because the change is small. In addition, since processing such as averaging is not performed on video data of a small change area included in the high-speed video frame, the video of the area can be sharpened. On the other hand, for an area having a large change, a video in which a plurality of video frames are averaged is reproduced as in the first embodiment, so that a smooth and natural high-speed video without information loss due to thinning is reproduced. can do.

【0092】なお、映像フレームを複数の領域に分割せ
ずに、高速映像フレームを生成する際に、N枚の映像フ
レームに対して従来のように間引きによる高速映像フレ
ームの生成、第1の実施形態のように単純な平均化また
は第2の実施形態のように重み係数を用いた加重平均化
による高速映像フレームの生成、または本実施形態のよ
うに間引きと平均化を組み合わせた高速映像フレームの
生成の中から、N枚の映像フレームの変化の程度によっ
ていずれかを選択する生成タイプ選択部(図示せず)を
さらに設けても良い。こうすることによって、映像フレ
ームの変化の程度に応じて従来技術と本発明に係る第1
の実施形態と第3の実施形態とを切り替えて、選択的に
実行することができる。
When generating a high-speed video frame without dividing the video frame into a plurality of regions, the generation of a high-speed video frame by thinning out N video frames as in the prior art is performed. Generation of high-speed video frames by simple averaging as in the embodiment or weighted averaging using weighting coefficients as in the second embodiment, or generation of high-speed video frames by combining thinning and averaging as in this embodiment A generation type selection unit (not shown) for selecting one of the generations depending on the degree of change of the N video frames may be further provided. By doing so, the first technology according to the prior art and the present invention can be changed according to the degree of change of the video frame.
The third embodiment can be selectively executed by switching between the third embodiment and the third embodiment.

【0093】〔第4の実施形態〕第1〜第3の実施形態
に係る高速映像再生装置および高速映像再生方法はN枚
の映像フレームから1枚の高速映像フレームを生成して
いたが、本実施形態に係る高速映像再生装置および高速
映像方法ではN枚に限定せず、シーンの区切り(以下、
カット点と称す)に合わせてN枚前後の映像フレームか
ら高速映像フレームを生成することがある。例えば、図
17(a)に示す映像フレームF1〜F9中の映像フレー
ムF4と映像フレームF5との間にカット点Bが存在する
場合が示されている。以下、映像フレームF1〜F4から
成るシーンをシーン1、映像フレームF5〜F9から成る
シーンをシーン2とする。
[Fourth Embodiment] The high-speed video reproducing apparatus and the high-speed video reproducing method according to the first to third embodiments generate one high-speed video frame from N video frames. In the high-speed video playback device and the high-speed video method according to the embodiment, the number of frames is not limited to N.
A high-speed video frame may be generated from around N video frames in accordance with the cut point. For example, if is shown that there is a cut point B between the image frame F 4 and the video frame F 5 in the video frame F 1 to F 9 shown in FIG. 17 (a). Hereinafter, a scene comprising a scene consisting of a video frame F 1 to F 4 Scene 1, the image frame F 5 to F 9 scene 2.

【0094】このとき、第1の実施形態の高速映像再生
装置および高速映像再生方法を用いた3倍速再生用の高
速映像フレームは、図17(c)に示すように、映像フ
レームF1〜F3、映像フレームF4〜F6、映像フレーム
7〜F9のそれぞれから生成される高速映像フレームS
1,S2,S3となる。しかしながら、高速映像フレーム
2はシーン1とシーン2とが混在したフレームとなっ
ているため、人間が認識できる情報としてはいささか不
便であり、特に、映像フレームF4に含まれている物体
(ボール)の認識は困難である。このため、本実施形態
の高速映像再生装置および高速映像再生方法では、図1
7(b)に示すように、映像フレームF 1〜F4、映像フ
レームF5,F6、映像フレームF7〜F9のそれぞれから
高速映像フレームS1′,S2′,S3′を生成する。
At this time, the high-speed video reproduction of the first embodiment is performed.
Device for triple-speed playback using the apparatus and high-speed video playback method
The fast video frame is, as shown in FIG.
Laem F1~ FThree, Video frame FFour~ F6, Picture frame
F7~ F9High-speed video frame S generated from each of
1, STwo, SThreeBecomes However, high-speed video frames
STwoIs a frame in which scene 1 and scene 2 are mixed
Information that humans can recognize.
A stool, especially an object included in the video frame F4
Recognition of (ball) is difficult. For this reason, the present embodiment
In the high-speed video reproducing apparatus and the high-speed video reproducing method of FIG.
As shown in FIG. 7 (b), the video frame F 1~ FFour,
Laem FFive, F6, Video frame F7~ F9From each of
High-speed video frame S1', STwo', SThree'.

【0095】図18は、本発明の第4の実施形態に係る
高速映像再生装置を示すブロック構成図である。同図に
おいて、図1(第1の実施形態)と重複する部分には同
一の符号を附して説明を省略する。本実施形態の高速映
像再生装置は、特許請求の範囲の区切り検出手段に該当
するカット点検出部501をさらに備え、第1の実施形
態の高速映像再生装置が有する第1の高速映像生成部2
00に代わって第4の高速映像生成部600を備えて構
成されている。
FIG. 18 is a block diagram showing a high-speed video reproducing apparatus according to the fourth embodiment of the present invention. In the figure, the same reference numerals are given to the same parts as those in FIG. 1 (first embodiment), and the description is omitted. The high-speed video playback device according to the present embodiment further includes a cut point detection unit 501 corresponding to a break detection unit described in the claims, and the first high-speed video generation unit 2 included in the high-speed video playback device according to the first embodiment.
A fourth high-speed video generation unit 600 is provided instead of 00.

【0096】カット点検出部501は、映像データ読込
部103を介して映像データ蓄積部101から読み出さ
れた映像フレームにカット点があるとき、そのカット点
を検出して、その位置を示すカット点位置情報CPを第
4の高速映像生成部600に供給するものである。本実
施形態では、映像フレームの平均輝度値に基づいて値が
ピークとなる点をカット点として検出している。
The cut point detecting section 501 detects a cut point in a video frame read from the video data storage section 101 via the video data reading section 103, and detects the cut point to indicate the cut point. The point position information CP is supplied to the fourth high-speed video generation unit 600. In the present embodiment, a point having a peak value is detected as a cut point based on the average luminance value of a video frame.

【0097】なお、第1〜第3の実施形態では、N倍速
再生用の高速映像フレームを生成する際には、N枚の映
像フレームが映像データ蓄積部101から読み出される
が、本実施形態では、中心となるN枚の映像フレームに
加え、前後の2枚ずつのフレームを含めた計5N枚の映
像フレーム(映像フレームFM+1-2N〜FM+3N)が映像デ
ータ蓄積部101から読み出される。また、5N枚の映
像フレーム中にカット点が複数ある場合は、対象となる
カット点は中心となるN枚の映像フレームに最も近いカ
ット点である。
In the first to third embodiments, when generating a high-speed video frame for N × speed reproduction, N video frames are read from the video data storage unit 101. A total of 5N video frames (video frames FM + 1-2N to FM + 3N ) including the front and rear two frames in addition to the central N video frames are stored in the video data storage unit 101. Is read. If there are a plurality of cut points in 5N video frames, the target cut point is the cut point closest to the central N video frames.

【0098】第4の高速映像生成部600は、映像フレ
ームの途中にカット点があるとき、カット点前後の枚数
が多い方の映像フレームだけを用いて平均化を行い、高
速再生用の高速映像フレームを生成するものである。な
お、枚数が少ない方の映像フレームは、枚数が多い方の
映像フレームから生成された高速映像フレームの前後の
高速映像フレームを生成する際に使用される。
When there is a cut point in the middle of a video frame, the fourth high-speed video generation section 600 performs averaging using only the video frame having the larger number of frames before and after the cut point, and outputs a high-speed video for high-speed reproduction. A frame is generated. The smaller number of video frames is used when generating high-speed video frames before and after the high-speed video frame generated from the larger number of video frames.

【0099】第4の高速映像生成部600は、図19に
示すように、特許請求の範囲の映像フレーム選択手段に
該当するシーン連動フレーム選択部601と、第1の実
施形態の略同様の第4の平均化部603とを備えて構成
されている。シーン連動フレーム選択部601は、カッ
ト点検出部501から送られたカット点位置情報CPを
用いて、どこからどこまでの映像フレームを平均化する
かを決定するものである。
As shown in FIG. 19, the fourth high-speed video generation unit 600 is similar to the scene-linked frame selection unit 601 corresponding to the video frame selection means in the claims. 4 averaging unit 603. The scene-linked frame selection unit 601 uses the cut point position information CP sent from the cut point detection unit 501 to determine where and how many video frames are averaged.

【0100】例えば、図20(a)に示すように、中心
となるN枚の映像フレームに加え、前後の2枚ずつのフ
レームを含めた計5N枚の映像フレーム(映像フレーム
M+ 1-2N〜FM+3N)が第4の高速映像生成部600に供
給されており、映像フレームFM+(N+1)/2を中心として
5倍速再生用の高速映像フレームを生成する場合、シー
ン連動フレーム選択部601は、カット点の位置に応じ
て平均化のために使用する映像フレームを選択する。
For example, as shown in FIG. 20 (a), in addition to N central video frames, a total of 5N video frames including the front and rear two frames (video frames FM + 1-2N) To F M + 3N ) are supplied to the fourth high-speed video generation unit 600, and when a high-speed video frame for 5 × -speed reproduction is generated around the video frame F M + (N + 1) / 2 , scene-linked The frame selection unit 601 selects a video frame used for averaging according to the position of the cut point.

【0101】まず、図20(b)に示すように、カット
点B1が映像フレームFM-(N-1)/2の後から映像フレー
ムFM+1の前にある場合、カット点B1の後の映像フレ
ームから映像フレームFM+Nまでの映像フレームを選択
する。また、図20(c)に示すように、カット点B2
が映像フレームFM+1の後から映像フレームFM+(N+1) /2
の前にある場合、カット点B2の後の映像フレームから
映像フレームFM+Nまでの映像フレームを選択する。
First, as shown in FIG. 20 (b), when the cut point B1 is located after the video frame FM- (N-1) / 2 and before the video frame FM + 1 , the cut point B1 The video frames from the subsequent video frame to the video frame FM + N are selected. Further, as shown in FIG.
There video frames from after the video frame F M + 1 F M + ( N + 1) / 2
, A video frame from the video frame after the cut point B2 to the video frame FM + N is selected.

【0102】また、図20(d)に示すように、カット
点B3が映像フレームFM+(N+1)/2の後から映像フレー
ムFM+Nの前にある場合、映像フレームFM+1からカット
点B3の前の映像フレームまでの映像フレームを選択す
る。さらに、図20(e)に示すように、カット点B4
が映像フレームFM+Nの後から映像フレームFM+(3N+1
)/2の前にある場合、映像フレームFM+1からカット点B
4の前の映像フレームまでの映像フレームを選択する。
As shown in FIG. 20D, when the cut point B3 is located after the video frame F M + (N + 1) / 2 and before the video frame F M + N , the video frame F M + The video frames from 1 to the video frame before the cut point B3 are selected. Further, as shown in FIG.
Is the video frame FM + (3N + 1) after the video frame FM + N.
) / 2, the cut point B from the video frame FM + 1
The video frames up to the video frame before 4 are selected.

【0103】以下に、シーン連動フレーム選択部601
が行う映像フレームの選択方法について、図21のフロ
ーチャートを参照して詳細に説明する。まず、ステップ
S701では、カット点検出部501から送られたカッ
ト点位置情報CPから、映像フレームFM+1-2N〜FM+3N
中にカット点があるかを調べる。次に、ステップS70
3では、ステップS701におけるカット点の有無に応
じて、カット点が無ければステップS705に進み、カ
ット点が有ればステップS707に進む。
A scene-linked frame selection unit 601 will be described below.
Will be described in detail with reference to the flowchart in FIG. First, in step S701, the video frames FM + 1-2N to FM + 3N are obtained from the cut point position information CP sent from the cut point detecting unit 501.
Check if there is a cut point inside. Next, step S70
In 3, in accordance with the presence or absence of a cut point in step S701, if there is no cut point, the process proceeds to step S705, and if there is a cut point, the process proceeds to step S707.

【0104】ステップS705では、映像フレームF
M+1〜FM+Nを選択して処理を終了する。また、ステップ
S707では、カット点が1つのみであればそのカット
点の位置をカット点位置BPとし、カット点が複数あれ
ば映像フレームFM+(N+1)/2に最も近いカット点の位置
をカット点位置BPとする。次に、ステップS709で
は、カット点位置BPが映像フレームM-(N-1)/2と映像
フレームM+(N+1)/2との間に在るかを調べ、カット点位
置BPがこの範囲にあればステップS711に進み、な
ければステップS713に進む。
In step S705, the video frame F
M + 1 to FM + N are selected and the process is terminated. In step S707, if there is only one cut point, the position of the cut point is set as the cut point position BP, and if there are a plurality of cut points, the cut point closest to the video frame FM + (N + 1) / 2 is set. The position is defined as a cut point position BP. Next, in step S709, it is checked whether or not the cut point position BP is between the video frame M- (N-1) / 2 and the video frame M + (N + 1) / 2. If it is within the range, the process proceeds to step S711; otherwise, the process proceeds to step S713.

【0105】ステップS711では、カット点位置BP
の後の映像フレームから映像フレームFM+Nまでを選択
して処理を終了する。なお、このフローは図20
(b),(c)に示した例に相当する。また、ステップ
S713では、カット点位置BPが映像フレーム
M+(N+1)/2と映像フレームM+(3N+1)/2との間に在るかを
調べ、カット点位置BPがこの範囲にあればステップS
715に進み、この範囲になければステップS717に
進む。
In step S711, the cut point position BP
After that, the video frames from the video frame F M + N to the video frame F M + N are selected, and the process ends. This flow is shown in FIG.
This corresponds to the examples shown in (b) and (c). In step S713, the cut point position BP is
It is checked whether it is between M + (N + 1) / 2 and the video frame M + (3N + 1) / 2, and if the cut point position BP is in this range, step S
The process proceeds to 715, and if not within this range, the process proceeds to step S717.

【0106】ステップS715では、映像フレームF
M+1からカット点位置BPの前の映像フレームまでを選
択して処理を終了する。なお、このフローは図20
(d),(e)に示した例に相当する。また、ステップ
S717では、映像フレームFM+1から映像フレームF
M+Nまでを選択して処理を終了する。
In the step S715, the video frame F
The process from M + 1 to the video frame before the cut point position BP is selected, and the process is terminated. This flow is shown in FIG.
This corresponds to the examples shown in (d) and (e). In step S717, the video frames F M + 1 to F
Select up to M + N and end the process.

【0107】第4の平均化部603は、このようにして
シーン連動フレーム選択部601で選択された映像フレ
ームを平均化して高速映像フレームを生成するものであ
る。なお、本実施形態では、第4の平均化部603を、
第1の実施形態で説明した単純な平均化を行うものとし
て説明するが、第2の実施形態で説明した重み係数を用
いた加重平均化を行うものとしても良い。また、第1の
実施形態の第2実施例と同様に、映像データが離散コサ
イン変換されていれば、第4の平均化部603はDCT
係数によって表されるDCT映像フレームに対して平均
化または加重平均化を行っても良い。
The fourth averaging section 603 averages the video frames selected by the scene-linked frame selecting section 601 in this way to generate a high-speed video frame. In the present embodiment, the fourth averaging unit 603 is
Although the description will be made assuming that the simple averaging described in the first embodiment is performed, the weighted averaging using the weighting coefficients described in the second embodiment may be performed. Also, as in the second example of the first embodiment, if the video data is subjected to the discrete cosine transform, the fourth averaging unit 603 sets the DCT
Averaging or weighted averaging may be performed on the DCT video frame represented by the coefficient.

【0108】以上説明したように、本実施形態の高速映
像再生装置および高速映像再生方法では、同じシーンの
映像フレームだけを平均化して高速映像フレームを生成
しているため、高速映像中には異なるシーンの映像フレ
ームが表示されない。したがって、シーンを明確に認識
可能な見やすい高速映像を再生することができる。この
ため、シーンが多い場合でも、高速映像を視覚によって
検索する利用者は検索を容易に行うことができる。
As described above, in the high-speed video reproducing apparatus and the high-speed video reproducing method of the present embodiment, only high-speed video frames are generated by averaging video frames of the same scene. The video frame of the scene is not displayed. Therefore, it is possible to reproduce an easy-to-view high-speed video in which a scene can be clearly recognized. Therefore, even when there are many scenes, a user who visually searches for a high-speed video can easily perform the search.

【0109】なお、本実施形態では、映像フレームを読
み込みながらカット点をリアルタイムに検出している
が、カット点を検出した情報を予め蓄積しておき、高速
再生を行うときにその蓄積されたカット点位置情報CP
を読み出す形態としても良い。このとき、本実施形態の
高速映像再生装置が備えるカット点検出部501は必要
なく、読み出されたカット点位置情報CPは第4の高速
映像生成部600のシーン連動フレーム選択部601に
供給される。
In this embodiment, the cut point is detected in real time while the video frame is being read. However, information on the detection of the cut point is stored in advance, and the cut point is stored when high-speed playback is performed. Point position information CP
May be read out. At this time, the cut point detection unit 501 provided in the high-speed video playback device of the present embodiment is not necessary, and the read cut point position information CP is supplied to the scene-linked frame selection unit 601 of the fourth high-speed video generation unit 600. You.

【0110】また、本実施形態では、カット点検出部5
01および第4の高速映像生成部600に5N枚の映像
フレームが供給されているが、3N枚や7N枚の映像フ
レームを供給しても良い。なお、上述した第1〜第4の
実施形態では、映像データのフォーマットがRGB形式
であるとしたがYUV形式としても良い。
In this embodiment, the cut point detecting section 5
Although 5N video frames are supplied to the 01 and fourth high-speed video generation units 600, 3N or 7N video frames may be supplied. In the first to fourth embodiments described above, the format of the video data is the RGB format, but may be the YUV format.

【0111】[0111]

【発明の効果】以上説明したように、本発明の高速映像
再生装置、高速映像再生方法および記録媒体によれば、
単純平均化手段(単純平均化ステップ)において、映像
を構成する連続した複数の映像フレームを平均化して高
速再生用の高速映像フレームを生成し、映像再生手段
(映像再生ステップ)において、高速映像フレームを一
定間隔で表示している。
As described above, according to the high-speed video reproducing apparatus, the high-speed video reproducing method and the recording medium of the present invention,
In a simple averaging means (simple averaging step), a plurality of continuous video frames constituting the video are averaged to generate a high-speed video frame for high-speed reproduction. Are displayed at regular intervals.

【0112】したがって、高速再生しても映像フレーム
の間引きによる情報の欠落なく全映像フレームの情報が
反映されるため、元の映像と略同様の映像を滑らかで自
然に高速再生することができる。また、映像に移動速度
の速い物体や小さな物体、出現時間の短い物体などが含
まれていても、高速映像は映像フレームを平均化した高
速映像フレームを表示することによって再生されるた
め、これらの物体は必ず再生される。このため、映像を
視覚によって検索する利用者にとっては、従来と比較し
て、同じ再生速度であればより容易に所望のシーンを検
索することができ、また、同じ精度でかつより早く所望
のシーンを見つけることができるため、短時間での検索
が可能となる。
Therefore, even if the image is reproduced at a high speed, the information of all the video frames is reflected without any loss of information due to the thinning of the video frames, so that a video substantially similar to the original video can be reproduced smoothly and naturally at a high speed. In addition, even if the video contains fast moving objects, small objects, objects with a short appearance time, etc., the high speed video is reproduced by displaying the high speed video frame which averaged the video frame. The object is always reproduced. For this reason, a user who visually searches for a video can easily search for a desired scene at the same playback speed as compared with the related art, and can obtain a desired scene with the same accuracy and faster. , It is possible to search in a short time.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施形態に係る高速映像再生装
置を示すブロック構成図である。である。
FIG. 1 is a block diagram illustrating a high-speed video playback device according to a first embodiment of the present invention. It is.

【図2】第1の実施形態の第1の高速映像生成部の第1
実施例の内部構成を示すブロック構成図である。
FIG. 2 illustrates a first high-speed video generation unit according to the first embodiment.
FIG. 2 is a block diagram illustrating an internal configuration of the embodiment.

【図3】第1の実施形態の第1の平均化部による高速映
像フレームの生成を説明する説明図である。
FIG. 3 is an explanatory diagram illustrating generation of a high-speed video frame by a first averaging unit according to the first embodiment.

【図4】第1の実施形態の第1の平均化部による高速映
像フレームの連続生成を説明する説明図である。
FIG. 4 is an explanatory diagram illustrating continuous generation of high-speed video frames by a first averaging unit according to the first embodiment.

【図5】第1の実施形態の第1の平均化部が行う映像フ
レームの平均化について説明する説明図である。
FIG. 5 is an explanatory diagram illustrating averaging of video frames performed by a first averaging unit according to the first embodiment.

【図6】第1の実施形態の第1の高速映像生成部の第2
実施例の内部構成を示すブロック構成図である。
FIG. 6 illustrates a second example of the first high-speed image generation unit according to the first embodiment.
FIG. 2 is a block diagram illustrating an internal configuration of the embodiment.

【図7】第1の実施形態の第2の平均化部が行う映像フ
レームの平均化について説明する説明図である。
FIG. 7 is an explanatory diagram illustrating averaging of video frames performed by a second averaging unit according to the first embodiment.

【図8】第1の実施形態の高速映像再生装置で映像フレ
ームを平均化して再生するときの動作について説明する
説明図である。
FIG. 8 is an explanatory diagram illustrating an operation when averaging and reproducing a video frame in the high-speed video reproduction device according to the first embodiment.

【図9】本発明の第2の実施形態に係る高速映像再生装
置を示すブロック構成図である。
FIG. 9 is a block diagram illustrating a high-speed video playback device according to a second embodiment of the present invention.

【図10】第2の実施形態の第2の高速映像生成部の内
部構成を示すブロック構成図である。
FIG. 10 is a block diagram illustrating an internal configuration of a second high-speed video generation unit according to the second embodiment.

【図11】第2の実施形態の加重平均化部による高速映
像フレームの生成を説明する説明図である。
FIG. 11 is an explanatory diagram illustrating generation of a high-speed video frame by a weighted averaging unit according to the second embodiment.

【図12】第2の実施形態の加重平均化部が行う映像フ
レームの加重平均化について説明する説明図である。
FIG. 12 is an explanatory diagram illustrating weighted averaging of a video frame performed by a weighted averaging unit according to the second embodiment.

【図13】元の映像フレーム、第1の実施形態の平均化
によって生成された高速映像フレームおよび第2の実施
形態の加重平均化によって生成された高速映像フレーム
を示す説明図である。
FIG. 13 is an explanatory diagram showing an original video frame, a high-speed video frame generated by averaging in the first embodiment, and a high-speed video frame generated by weighted averaging in the second embodiment.

【図14】本発明の第3の実施形態に係る高速映像再生
装置を示すブロック構成図である。
FIG. 14 is a block diagram illustrating a high-speed video playback device according to a third embodiment of the present invention.

【図15】第3の実施形態の第3の高速映像生成部の内
部構成を示すブロック構成図である。
FIG. 15 is a block diagram showing an internal configuration of a third high-speed video generator of the third embodiment.

【図16】複数の映像フレームおよび第3の実施形態に
よって生成された高速映像フレームを示す説明図であ
る。
FIG. 16 is an explanatory diagram showing a plurality of video frames and a high-speed video frame generated according to the third embodiment.

【図17】複数の映像フレームと、第1の実施形態によ
って生成された高速映像フレームと、第3の実施形態に
よって生成された高速映像フレームとを示す説明図であ
る。
FIG. 17 is an explanatory diagram showing a plurality of video frames, a high-speed video frame generated according to the first embodiment, and a high-speed video frame generated according to the third embodiment.

【図18】本発明の第4の実施形態に係る高速映像再生
装置を示すブロック構成図である。
FIG. 18 is a block diagram illustrating a high-speed video playback device according to a fourth embodiment of the present invention.

【図19】第4の実施形態の第4の高速映像生成部の内
部構成を示すブロック構成図である。
FIG. 19 is a block diagram showing the internal configuration of a fourth high-speed video generation unit according to the fourth embodiment.

【図20】5N枚の映像フレーム、およびカット点に応
じた平均化の対象となる映像フレームの選択規則につい
て説明する説明図である。
FIG. 20 is an explanatory diagram illustrating 5N video frames and a rule of selecting a video frame to be averaged according to a cut point.

【図21】シーン連動フレーム選択部が行う映像フレー
ムの選択方法を説明するフローチャートである。
FIG. 21 is a flowchart illustrating a method of selecting a video frame performed by a scene-linked frame selection unit.

【図22】VTRの早送り再生方法について説明する説
明図である。
FIG. 22 is an explanatory diagram illustrating a fast-forward playback method of a VTR.

【図23】VTRの早送り再生方法によって表示された
映像を示す説明図である。
FIG. 23 is an explanatory diagram showing an image displayed by the VTR fast-forward playback method.

【図24】デジタル映像のフレーム間引き再生方法につ
いて説明する説明図である。
FIG. 24 is an explanatory diagram for explaining a frame skipping reproduction method of a digital video.

【符号の説明】[Explanation of symbols]

101 映像データ蓄積部 103 映像データ読込部 105 映像再生部 200 第1の高速映像生成部 201 第1の平均化部 203 可変長復号化(VLD)部 205 逆量子化部 207 第2の平均化部 209 逆DCT部 300 第2の高速映像生成部 301 加重平均化部 303 乗算部 305 加算部 307 除算部 400 第3の高速映像生成部 401 映像フレーム分割部 403 領域変化検出部 405 第3の平均化部 407 映像データ合成部 501 カット点検出部 600 第4の高速映像生成部 601 シーン連動フレーム選択部 603 第4の平均化部 Reference Signs List 101 Video data storage unit 103 Video data reading unit 105 Video reproduction unit 200 First high-speed video generation unit 201 First averaging unit 203 Variable length decoding (VLD) unit 205 Inverse quantization unit 207 Second averaging unit 209 Inverse DCT unit 300 Second high-speed video generation unit 301 Weighted averaging unit 303 Multiplication unit 305 Addition unit 307 Division unit 400 Third high-speed video generation unit 401 Video frame division unit 403 Region change detection unit 405 Third averaging Unit 407 video data synthesis unit 501 cut point detection unit 600 fourth high-speed video generation unit 601 scene-linked frame selection unit 603 fourth averaging unit

Claims (17)

【特許請求の範囲】[Claims] 【請求項1】 映像を構成する連続した複数の映像フレ
ームを平均化して、高速再生用の高速映像フレームを生
成する単純平均化手段と、 前記単純平均化手段で生成された高速映像フレームを一
定間隔で表示する映像再生手段と、を備えたことを特徴
とする高速映像再生装置。
1. A simple averaging means for averaging a plurality of continuous video frames constituting a video to generate a high-speed video frame for high-speed reproduction, and a constant high-speed video frame generated by the simple averaging means. A high-speed video playback device comprising: video playback means for displaying at intervals.
【請求項2】 映像を構成する連続した複数の映像フレ
ームのそれぞれに重みを付けて、これら複数の映像フレ
ームを平均化し、高速再生用の高速映像フレームを生成
する加重平均化手段と、 前記加重平均化手段で生成された高速映像フレームを一
定間隔で表示する映像再生手段と、を備えたことを特徴
とする高速映像再生装置。
2. A weighted averaging means for weighing each of a plurality of continuous video frames forming a video, averaging the plurality of video frames, and generating a high-speed video frame for high-speed reproduction, A high-speed video playback device, comprising: video playback means for displaying the high-speed video frames generated by the averaging means at regular intervals.
【請求項3】 映像を構成する連続した複数の映像フレ
ームをそれぞれ複数の領域に分割する映像フレーム分割
手段と、 前記映像フレーム分割手段によって分割された各領域に
対して、前記複数の映像フレームにわたる変化の程度を
検出する領域変化検出手段と、 前記領域変化検出手段によって検出された変化の程度が
所定レベル以上の領域に対して、前記複数の映像フレー
ムの平均化または重みを付けた加重平均化を行う平均化
手段と、 前記平均化手段で平均化または加重平均化された領域の
映像データと、前記領域変化検出手段によって検出され
た変化の程度が所定レベルより小さい領域の所定映像フ
レームの映像データとを合成して、高速再生用の高速映
像フレームを生成する映像データ合成手段と、 前記映像データ合成手段で生成された高速映像フレーム
を一定間隔で表示する映像再生手段と、 を備えたことを特徴とする高速映像再生装置。
3. A video frame dividing unit which divides a plurality of continuous video frames constituting a video into a plurality of regions, respectively; Region change detection means for detecting a degree of change; and weighted averaging for averaging or weighting the plurality of video frames for an area in which the degree of change detected by the area change detection means is equal to or greater than a predetermined level. Averaging means for performing the averaging or weighted averaging by the averaging means, and video of a predetermined video frame in an area where the degree of change detected by the area change detecting means is smaller than a predetermined level. Video data synthesizing means for synthesizing data and generating a high-speed video frame for high-speed reproduction; Fast video reproducing apparatus characterized by comprising: a video reproduction means, the displaying fast video frame at regular intervals.
【請求項4】 前記領域変化検出手段は、映像フレーム
の色相または輝度の平均に基づいて変化の程度を検出す
ることを特徴とする請求項3記載の高速映像再生装置。
4. The high-speed video reproducing apparatus according to claim 3, wherein said area change detecting means detects a degree of change based on an average of hue or luminance of a video frame.
【請求項5】 前記単純平均化手段、前記加重平均化手
段または前記平均化手段は、直交変換符号化された複数
の映像フレームを平均化または加重平均化して、変換係
数で表される高速映像フレームを生成し、 前記変換係数で表される高速映像フレームを逆直交変換
する逆直交変換手段をさらに備えたことを特徴とする請
求項1、2、3または4記載の高速映像再生装置。
5. The high-speed image represented by a transform coefficient, wherein the simple averaging means, the weighted averaging means or the averaging means averages or weights a plurality of orthogonally coded video frames. 5. The high-speed video reproducing apparatus according to claim 1, further comprising: an inverse orthogonal transform unit for generating a frame and performing an inverse orthogonal transform on the high-speed video frame represented by the transform coefficient.
【請求項6】 映像をN倍速で高速再生する場合、前記
単純平均化手段、前記加重平均化手段または前記平均化
手段は、N枚の映像フレームを平均化または加重平均化
して1枚の高速映像フレームを生成することを特徴とす
る請求項1、2、3、4または5記載の高速映像再生装
置。
6. When reproducing a video at N times speed, the simple averaging means, the weighted averaging means or the averaging means averages or weights the N video frames to obtain one high speed video frame. 6. The high-speed video playback device according to claim 1, wherein the video frame is generated.
【請求項7】 映像を構成する連続した所定数の映像フ
レームの途中にシーンの区切りがあるとき、 区切り位置に応じて前記単純平均化手段、前記加重平均
化手段または前記平均化手段が平均化または加重平均化
する映像フレームを選択する映像フレーム選択手段を備
えたことを特徴とする請求項1、2、3、4または5記
載の高速映像再生装置。
7. When there is a scene break in the middle of a predetermined number of continuous video frames constituting a video, the simple averaging means, the weighted averaging means or the averaging means averages according to a break position. 6. The high-speed video reproducing apparatus according to claim 1, further comprising a video frame selecting means for selecting a video frame to be weighted and averaged.
【請求項8】 前記所定数の映像フレーム中のシーンの
区切りを検出する区切り検出手段を備えたことを特徴と
する請求項7記載の高速映像再生装置。
8. The high-speed video reproducing apparatus according to claim 7, further comprising a delimiter detecting means for detecting a delimiter of a scene in the predetermined number of video frames.
【請求項9】 映像を構成する連続した複数の映像フレ
ームを平均化して、高速再生用の高速映像フレームを生
成する単純平均化ステップと、 前記単純平均化ステップで生成された高速映像フレーム
を一定間隔で表示する映像再生ステップと、を有するこ
とを特徴とする高速映像再生方法。
9. A simple averaging step of averaging a plurality of continuous video frames constituting a video to generate a high-speed video frame for high-speed reproduction, and fixing the high-speed video frame generated in the simple averaging step to a constant value. A high-speed video playback method, comprising: a video playback step of displaying at intervals.
【請求項10】 映像を構成する連続した複数の映像フ
レームのそれぞれに重みを付けて、これら複数の映像フ
レームを平均化し、高速再生用の高速映像フレームを生
成する加重平均化ステップと、 前記加重平均化ステップで生成された高速映像フレーム
を一定間隔で表示する映像再生ステップと、を有するこ
とを特徴とする高速映像再生方法。
10. A weighted averaging step of assigning weights to each of a plurality of continuous video frames constituting a video, averaging the plurality of video frames, and generating a high-speed video frame for high-speed playback; A video playback step of displaying the high-speed video frames generated in the averaging step at regular intervals.
【請求項11】 映像を構成する連続した複数の映像フ
レームをそれぞれ複数の領域に分割する映像フレーム分
割ステップと、 前記映像フレーム分割ステップで分割された各領域に対
して、前記複数の映像フレームにわたる変化の程度を検
出する領域変化検出ステップと、 前記領域変化検出ステップで検出された変化の程度が所
定レベル以上の領域に対して、前記複数の映像フレーム
の平均化または重みを付けた加重平均化を行う平均化ス
テップと、 前記平均化ステップで平均化または加重平均化された領
域の映像データと、前記領域変化検出ステップで検出さ
れた変化の程度が所定レベルより小さい領域の所定映像
フレームの映像データとを合成して、高速再生用の高速
映像フレームを生成する映像データ合成ステップと、 前記映像データ合成ステップで生成された高速映像フレ
ームを一定間隔で表示する映像再生ステップと、を有す
ることを特徴とする高速映像再生方法。
11. A video frame dividing step of dividing each of a plurality of continuous video frames constituting a video into a plurality of regions, and for each of the regions divided in the video frame dividing step, the plurality of video frames extend over the plurality of regions. An area change detection step of detecting a degree of change, and averaging or weighting the plurality of video frames with respect to an area in which the degree of change detected in the area change detection step is equal to or greater than a predetermined level. Averaging or weighted averaging in the averaging step, and video of a predetermined video frame in an area where the degree of change detected in the area change detection step is smaller than a predetermined level. Synthesizing the video data to generate a high-speed video frame for high-speed playback; Fast video reproducing method characterized in that it comprises a video reproducing step of displaying a high-speed video frame generated by the synthesis step at regular intervals, the.
【請求項12】 前記領域変化検出ステップは、映像フ
レームの色相または輝度の平均に基づいて変化の程度を
検出することを特徴とする請求項11記載の高速映像再
生方法。
12. The high-speed video reproduction method according to claim 11, wherein the area change detection step detects a degree of change based on an average of hue or luminance of the video frame.
【請求項13】 前記単純平均化ステップ、前記加重平
均化ステップまたは前記平均化ステップは、直交変換符
号化された複数の映像フレームを平均化または加重平均
化して、変換係数で表される高速映像フレームを生成
し、 前記変換係数で表される高速映像フレームを逆直交変換
する逆直交変換ステップをさらに有することを特徴とす
る請求項9、10、11または12記載の高速映像再生
方法。
13. The high-speed image represented by a transform coefficient, wherein the simple averaging step, the weighted averaging step, or the averaging step averages or weights a plurality of orthogonally coded video frames. 13. The high-speed video reproduction method according to claim 9, further comprising an inverse orthogonal transforming step of generating a frame and performing an inverse orthogonal transform on the high-speed video frame represented by the transform coefficient.
【請求項14】 映像をN倍速で高速再生する場合、前
記単純平均化ステップ、前記加重平均化ステップまたは
前記平均化ステップは、N枚の映像フレームを平均化ま
たは加重平均化して1枚の高速映像フレームを生成する
ことを特徴とする請求項9、10、11、12または1
3記載の高速映像再生方法。
14. When reproducing an image at N times speed at a high speed, the simple averaging step, the weighted averaging step or the averaging step averages or weights and averages N image frames to obtain one high-speed image. The video frame is generated, wherein the video frame is generated.
3. The high-speed video reproduction method according to 3.
【請求項15】 映像を構成する連続した所定数の映像
フレームの途中にシーンの区切りがあるとき、 区切り位置に応じて前記単純平均化ステップ、前記加重
平均化ステップまたは前記平均化ステップが平均化また
は加重平均化する映像フレームを選択する映像フレーム
選択ステップを有することを特徴とする請求項9、1
0、11、12または13記載の高速映像再生方法。
15. When there is a scene break in the middle of a predetermined number of continuous video frames constituting a video, the simple averaging step, the weighted averaging step or the averaging step averages according to a break position. Or a video frame selecting step of selecting a video frame to be weighted and averaged.
The high-speed video reproduction method according to 0, 11, 12 or 13.
【請求項16】 前記所定数の映像フレーム中のシーン
の区切りを検出する区切り検出ステップを有することを
特徴とする請求項15記載の高速映像再生方法。
16. The high-speed video playback method according to claim 15, further comprising a break detection step of detecting a break of a scene in the predetermined number of video frames.
【請求項17】 請求項9、10、11、12、13、
14、15または16に記載の高速映像再生方法をコン
ピュータに実行させるためのプログラムとして記録した
コンピュータにより読み取り可能な記録媒体。
17. The method of claim 9, 10, 11, 12, 13,
A computer-readable recording medium that records a program for causing a computer to execute the high-speed video reproduction method according to 14, 15, or 16.
JP2000276829A 2000-09-12 2000-09-12 High-speed video playback device, high-speed video playback method, and recording medium Pending JP2002094947A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000276829A JP2002094947A (en) 2000-09-12 2000-09-12 High-speed video playback device, high-speed video playback method, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000276829A JP2002094947A (en) 2000-09-12 2000-09-12 High-speed video playback device, high-speed video playback method, and recording medium

Publications (1)

Publication Number Publication Date
JP2002094947A true JP2002094947A (en) 2002-03-29

Family

ID=18762243

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000276829A Pending JP2002094947A (en) 2000-09-12 2000-09-12 High-speed video playback device, high-speed video playback method, and recording medium

Country Status (1)

Country Link
JP (1) JP2002094947A (en)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007036680A (en) * 2005-07-27 2007-02-08 Victor Co Of Japan Ltd Record playback apparatus
JP2008035280A (en) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd Image decoding method, and image display method
WO2008056606A1 (en) * 2006-11-07 2008-05-15 Panasonic Corporation Imaging device
JP2008205693A (en) * 2007-02-19 2008-09-04 Canon Inc IMAGING DEVICE, VIDEO REPRODUCTION DEVICE, AND CONTROL METHOD THEREOF
JP2009110536A (en) * 2004-05-19 2009-05-21 Sony Computer Entertainment Inc Image frame processing method and device, rendering processor and moving image display method
WO2009139096A1 (en) * 2008-05-12 2009-11-19 三菱電機株式会社 Video reproducing apparatus and video reproducing method
JP2010021708A (en) * 2008-07-09 2010-01-28 Nikon Corp Image processor, and imaging device
JP2010045609A (en) * 2008-08-13 2010-02-25 Casio Comput Co Ltd Moving image reproducing apparatus, imaging apparatus and program
US8559798B2 (en) 2004-05-19 2013-10-15 Sony Corporation Image frame processing method and device for displaying moving images to a variety of displays
US8787466B2 (en) 2009-09-16 2014-07-22 Fujitsu Limited Video playback device, computer readable medium and video playback method
JP2016105587A (en) * 2014-11-20 2016-06-09 アクシス アーベー Method and apparatus for visualizing information of digital video stream
KR20180121341A (en) * 2017-04-28 2018-11-07 연세대학교 산학협력단 Method and Apparatus for Synthesizing Video Including Key Frame in Compression Domain

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309486B1 (en) * 2004-05-19 2019-04-03 Sony Interactive Entertainment Inc. Image frame processing method and device for displaying moving images to a variety of displays
US8559798B2 (en) 2004-05-19 2013-10-15 Sony Corporation Image frame processing method and device for displaying moving images to a variety of displays
JP2009110536A (en) * 2004-05-19 2009-05-21 Sony Computer Entertainment Inc Image frame processing method and device, rendering processor and moving image display method
JP2007036680A (en) * 2005-07-27 2007-02-08 Victor Co Of Japan Ltd Record playback apparatus
JP2008035280A (en) * 2006-07-28 2008-02-14 Sanyo Electric Co Ltd Image decoding method, and image display method
JP5084741B2 (en) * 2006-11-07 2012-11-28 パナソニック株式会社 Imaging device
US8958682B2 (en) 2006-11-07 2015-02-17 Panasonic Intellectual Property Management Co., Ltd. Imaging device
WO2008056606A1 (en) * 2006-11-07 2008-05-15 Panasonic Corporation Imaging device
JP2008205693A (en) * 2007-02-19 2008-09-04 Canon Inc IMAGING DEVICE, VIDEO REPRODUCTION DEVICE, AND CONTROL METHOD THEREOF
WO2009139096A1 (en) * 2008-05-12 2009-11-19 三菱電機株式会社 Video reproducing apparatus and video reproducing method
JP2010021708A (en) * 2008-07-09 2010-01-28 Nikon Corp Image processor, and imaging device
JP2010045609A (en) * 2008-08-13 2010-02-25 Casio Comput Co Ltd Moving image reproducing apparatus, imaging apparatus and program
US8787466B2 (en) 2009-09-16 2014-07-22 Fujitsu Limited Video playback device, computer readable medium and video playback method
JP2016105587A (en) * 2014-11-20 2016-06-09 アクシス アーベー Method and apparatus for visualizing information of digital video stream
US10878850B2 (en) 2014-11-20 2020-12-29 Axis Ab Method and apparatus for visualizing information of a digital video stream
KR20180121341A (en) * 2017-04-28 2018-11-07 연세대학교 산학협력단 Method and Apparatus for Synthesizing Video Including Key Frame in Compression Domain
KR102170570B1 (en) * 2017-04-28 2020-10-27 연세대학교 산학협력단 Method and Apparatus for Synthesizing Video Including Key Frame in Compression Domain

Similar Documents

Publication Publication Date Title
US8411735B2 (en) Data processing apparatus, data processing method, and program
US20180192063A1 (en) Method and System for Virtual Reality (VR) Video Transcode By Extracting Residual From Different Resolutions
EP1024444B1 (en) Image information describing method, video retrieval method, video reproducing method, and video reproducing apparatus
US7242850B2 (en) Frame-interpolated variable-rate motion imaging system
JP4789494B2 (en) Image frame processing method, apparatus, rendering processor, and moving image display method
JP3319678B2 (en) High-speed video browsing system
US8233769B2 (en) Content data processing device, content data processing method, program, and recording/ playing device
US20070198931A1 (en) Data processing apparatus, data processing method, and program
JP4761403B2 (en) Image frame processing method, apparatus, rendering processor, and moving image display method
KR20030056783A (en) Video highlight generating system based on scene transition
JPH10503341A (en) Method and apparatus for compressing and analyzing video
JP2002094947A (en) High-speed video playback device, high-speed video playback method, and recording medium
JP3240871B2 (en) Video summarization method
US20070076978A1 (en) Moving image generating apparatus, moving image generating method and program therefor
JP2980387B2 (en) Video content compression display processing method
JP4189575B2 (en) Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program
US7593463B2 (en) Video signal coding method and video signal encoder
KR101493091B1 (en) Rapid video playback method using skip function and video thumbnail generation method using skip function
WO2009139096A1 (en) Video reproducing apparatus and video reproducing method
JP2008263657A (en) Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program
JPH0898172A (en) Image encoding device and image decoding device
JP4881045B2 (en) MOVIE GENERATION DEVICE, MOVIE GENERATION METHOD, AND PROGRAM
JP2005295426A (en) VIDEO INFORMATION RECORDING DEVICE, VIDEO INFORMATION RECORDING METHOD, VIDEO INFORMATION REPRODUCING DEVICE, AND VIDEO INFORMATION REPRODUCING METHOD
JP4934066B2 (en) Information generating apparatus, information generating method, and information generating program
JP2011171862A (en) Playback device, playback method, and program

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060324