JPH11308567A - Layout video editing method and apparatus with page display function and recording medium recording the program - Google Patents
Layout video editing method and apparatus with page display function and recording medium recording the programInfo
- Publication number
- JPH11308567A JPH11308567A JP10112949A JP11294998A JPH11308567A JP H11308567 A JPH11308567 A JP H11308567A JP 10112949 A JP10112949 A JP 10112949A JP 11294998 A JP11294998 A JP 11294998A JP H11308567 A JPH11308567 A JP H11308567A
- Authority
- JP
- Japan
- Prior art keywords
- video
- representative image
- layout
- representative
- editing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Management Or Editing Of Information On Record Carriers (AREA)
Abstract
(57)【要約】
【課題】 各映像素材の一部から映像内容把握支援出力
物を制作し、対応する映像から自動的に映像を編集する
システムを構築する。
【解決手段】 入力映像0を幾つかの映像区間1に映像
区間分割段階20により分割する。この映像区間1に対
しインデクス情報となる代表画像2を映像代表画像出力
段階21にて出力する。代表画像2を元に編集者10は
指示11を与え、代表画像レイアウト段階22により素
材を編集し、映像内容把握の支援出力物となるレイアウ
ト結果3を得る。このレイアウト結果3に基づき映像編
集段階23で映像を編集する。レイアウト結果3上の代
表画像に対し代表画像減少段階24により代表画像の関
係を評価して代表画像数を減少させる。これにより得ら
れる減少代表画像5は、代表画像表示段階25におい
て、編集者や利用者である視聴者14に表示13を経て
視聴される。
(57) [Summary] [Problem] To create a video content comprehension support output from a part of each video material and construct a system for automatically editing a video from a corresponding video. SOLUTION: An input video 0 is divided into several video sections 1 by a video section dividing step 20. A representative image 2 serving as index information for the video section 1 is output in a video representative image output step 21. The editor 10 gives an instruction 11 based on the representative image 2, edits the material in the representative image layout step 22, and obtains a layout result 3 as a support output for grasping the video contents. The video is edited in the video editing step 23 based on the layout result 3. The representative image on the layout result 3 is evaluated in a representative image reduction step 24 to reduce the number of representative images by evaluating the relationship between the representative images. The reduced representative image 5 thus obtained is viewed by the viewer 14 who is an editor or a user via the display 13 in the representative image display stage 25.
Description
【0001】[0001]
【発明の属する技術分野】本発明は、撮影や、ネットワ
ークを介して取得した映像を解析し、編集する際に映像
編集を容易にするシステムに関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for facilitating video editing when analyzing and editing video captured or obtained via a network.
【0002】[0002]
【従来の技術】小型ビデオカメラと、ビデオデッキの普
及から、一般の人々が映像を記録、撮影することは非常
に多くなっている。2. Description of the Related Art Due to the widespread use of small video cameras and video decks, ordinary people record and shoot images very often.
【0003】しかし、映像の編集は、その内容を視聴
し、把握する必要があり、かつ、繰り返し映像を視聴す
るなどの反復作業を必要とするため困難な作業を伴い、
ほとんどの人々が編集作業を行っていないという事情が
ある。[0003] However, video editing involves a difficult task because it is necessary to view and understand the contents and requires repetitive operations such as repeatedly watching the video.
Most people do not edit.
【0004】いくつかの問題点があると思われるが、第
1には撮影した映像の内容を把握することが困難であ
り、従来の編集機が時間情報の制約を大きく受けるもの
であり、シーケンシャルなアクセスしか許されず、ラン
ダムにアクセスできないなどの問題点を抱えていたた
め、編集作業に多大な労力と時間を必要としていたため
と思われる。また、第2には、映像の視聴は、時間的な
拘束が強く与えられるため、せっかく編集が行われても
映像を第3者に視聴させる機会が少なく、障害となって
いたと考えられる。Although it seems that there are some problems, firstly, it is difficult to grasp the contents of the shot video, and the conventional editing machine is greatly restricted by time information. It is thought that the editing work required a great deal of labor and time because of the problems such as being unable to access at random and being unable to access at random. Secondly, it is considered that viewing of the video is strongly restricted in terms of time, so that even if the video is edited, there is little opportunity for the video to be viewed by a third party, which is an obstacle.
【0005】映像編集を促進させるためには、 1.映像編集作業が容易であること。[0005] To promote video editing: Video editing is easy.
【0006】2.映像編集作業の結果、制作された映像
の内容がどのようなものか理解しやすく、かつ、視聴し
やすくなっていること。[0006] 2. As a result of the video editing work, the content of the produced video should be easy to understand and easy to watch.
【0007】の2点が必要であると考えられる。It is considered that the following two points are necessary.
【0008】上述の問題点を解析するためにいくつかの
従来方法が提案されている。Several conventional methods have been proposed to analyze the above problems.
【0009】第1の問題点である映像編集におけるシー
ケンシャルアクセスの問題点を解決するために、ノンリ
ニア編集機の利用が盛んになっている。これは、映像を
デジタル動画像化し、ハードディスクに編集中の作業を
記録することでランダムアクセスを可能にし、容易な編
集作業を実現している。このノンリニア編集機はすでに
いくつか有名なものが提案されており、そのインタフェ
ースはタイムラインを表示し、映像アイコンをタイムラ
インにそって表示していくというものに事実上規格化さ
れているといってよい。これは映像という時間方向への
情報を全て空間方向に展開して表示するものである。そ
の有名な例として、Avid社 Media Comp
oserやAdobe社のPremiere等のシリー
ズが存在する。これらの方法は一般化しており既に放送
や映像プロダクションにおいても利用されているが、要
求されるハードウェアに強力なものが必要とされるため
一般の人々が扱うには困難が伴う。そこでより映像編集
を一般化するためには、こうした場所などの制約を妨げ
ることなく映像編集作業が可能なものが望ましい。In order to solve the first problem, that is, the problem of sequential access in video editing, the use of non-linear editing machines has become popular. In this method, a video is converted into a digital moving image, and a work being edited is recorded on a hard disk, thereby enabling random access and realizing an easy editing work. Some non-linear editing machines have already been proposed, and its interface is said to be virtually standardized to display a timeline and display video icons along the timeline. May be. In this method, all information in the time direction, ie, video, is developed and displayed in the spatial direction. A well-known example is Avi Media Comp.
There are series such as Oser and Adobe Premiere. These methods have been generalized and are already used in broadcasting and video production. However, since the required hardware is required to be strong, it is difficult for ordinary people to handle. Therefore, in order to generalize video editing, it is desirable to be able to perform video editing work without hindering such restrictions on places and the like.
【0010】一方、第2の問題点を解決するために、映
像の内容を簡単に把握し、かつ、視聴させる一つの提案
として、映像情報のカット点の情報を抽出し、表示した
り、カメラワーク情報を抽出し、カメラワークの作用分
だけ画像をずらせることで、カメラ全体の画像を作成し
たものを画面上ないしは紙の上に配置して、表示するな
どの方法がいくつか提案されている(Yukinobu
Taniguti,Yoshinobu Tonom
ura,「Panorama Excerpts:Ex
tracting and packing Pano
ramas for Video Browsing」
1996 ACM Multimedia97…
[1])。[0010] On the other hand, in order to solve the second problem, as one proposal for easily grasping and viewing the contents of a video, information of a cut point of the video information is extracted and displayed, or a camera is provided. By extracting work information and shifting the image by the amount of camera work, several methods have been proposed, such as placing an image of the entire camera on a screen or paper and displaying it. Yes (Yukinobu
Taniguti, Yoshinobu Tonom
ura, "Panorama Exceptions: Ex
tracting and packing Pano
ramas for Video Browsing "
1996 ACM Multimedia97 ...
[1]).
【0011】[0011]
【発明が解決しようとする課題】しかしながら、これら
の従来方法は個別の問題解決しかできない。単純に組み
合わせるだけでも、ある程度、問題点を解決できるもの
が製作可能であることは期待できるものの、従来方法
[1]は、内容の機械的な理解にはある程度有効である
が、それ自体では魅力的なインタフェースではなく、編
集者が編集に利用する場合などには有効であっても、利
用者への視聴を促すものではない。これは、編集された
映像から、機械的な特徴等を選び出すことを行っている
からである。従って、視聴者にとっては、どれが必要
で、どれが不必要な映像なのかが分かりずらく、視聴者
の積極的な視聴につながっていかなかったのである。However, these conventional methods can only solve individual problems. Although it can be expected that a product that can solve the problem can be produced to some extent by simple combination, the conventional method [1] is effective for mechanical understanding of the content to some extent, but is attractive in itself. This is not a typical interface, and is effective when the editor uses it for editing, but does not prompt the user to view. This is because mechanical features and the like are selected from the edited video. Therefore, it is difficult for the viewer to understand what is necessary and what is unnecessary video, and the viewer has not been actively viewed.
【0012】また、映像は上述したように、空間方向だ
けでなく時間方向への展開を必要とされる。映像の1フ
レームの画像というのは狭い範囲であるため、時間方向
への展開を行い、被写体に対する画角、アングル等を切
り替えることで、映像における演出を行っていた。従っ
て、上述の従来方法[1]に示すように機械的にショッ
トチェンジ点を表示していくと、表示される映像の個数
が多くなり、一本の映像作品から、視聴したい箇所を取
り出す際に問題になることが知られている。これは、映
像編集時に生じるショットチェンジ等を基準とした映像
内容の表示密度と、内容把握支援出力物に求められる映
像内容の密度の間に差が生じているため、映像からの機
械的な特徴量に基づいたものが、すなわち内容把握支援
出力物と等価なものにならないことを示している。Further, as described above, the video needs to be developed not only in the spatial direction but also in the time direction. Since an image of one frame of a video is a narrow range, rendering in the time direction and switching the angle of view, angle, and the like with respect to the subject have been used to produce an effect in the video. Therefore, when the shot change points are displayed mechanically as shown in the above-mentioned conventional method [1], the number of displayed videos increases, and when a point desired to be viewed is extracted from one video work, It is known to be a problem. This is because there is a difference between the display density of the video content based on shot changes and the like that occur during video editing and the video content density required for the content comprehension support output. This indicates that the one based on the quantity, that is, is not equivalent to the content grasp support output.
【0013】しかし、映像の編集者にとっては、映像編
集作業を終了したあとに、さらに映像の視聴を魅力的な
ものにさせるような映像の内容把握のための支援ツール
である内容把握支援出力物を映像に加えて生成すること
は、本来映像の編集作業だけで終わった作業に、さらに
別のコンテンツを作る必要が生じるため、大変面倒な作
業を伴い、これまで以上の労力が要求されるという問題
があげられる。However, for a video editor, after finishing the video editing work, a content comprehension support output, which is a support tool for comprehending the video content, which makes the viewing of the video more attractive. Creating video in addition to video requires a lot of labor and requires much more effort because it is necessary to create additional content in addition to the work that was originally done only with video editing. There is a problem.
【0014】したがって、映像編集を行うと自動的に内
容把握支援出力物を作ってくれるシステムか、内容把握
支援出力物を作っていると自動的に映像を編集してくれ
るシステムか、のいずれかのシステムがあれば、こうし
た問題が解決できると思われる。Therefore, either a system that automatically produces a content grasping support output when video editing is performed, or a system that automatically edits a video when a content grasping support output is produced. The system would solve these problems.
【0015】そこで、本発明では、各映像素材の一部か
ら、映像内容把握支援出力物を制作すると、対応する映
像から自動的に映像が編集及び生成されるシステムを構
築することを課題とする。さらに、映像制作に求められ
る映像内容の密度と、内容把握出力物に求められる映像
内容の密度との差をうめることも考慮したシステムを構
築することを課題とする。Therefore, an object of the present invention is to construct a system for automatically editing and generating a video from a corresponding video when a video content comprehension support output is produced from a part of each video material. . It is another object of the present invention to construct a system that takes into account the difference between the density of video contents required for video production and the density of video contents required for a content grasp output.
【0016】[0016]
【課題を解決するための手段】上記の課題を解決するた
めの手段として、本発明を以下に列記する。As means for solving the above-mentioned problems, the present invention is listed below.
【0017】(1)の発明は、映像素材をレイアウトし
て出力し、その出力結果を基に映像素材に対して編集作
業を行いつつ、レイアウトした映像素材を表示し、出力
するページ表示機能付きレイアウト映像編集方法であっ
て、映像素材を区間単位に分割する映像区間分割段階
と、該分割された映像区間毎に代表画像を出力する代表
画像出力段階と、該代表画像をレイアウトすることでレ
イアウト結果を得る代表画像レイアウト段階と、該レイ
アウト結果に応じて映像を自動編集する映像編集段階
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少段階と、該減少代表画像を表示する
代表画像表示段階と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集方法である。The invention of (1) has a page display function of laying out and outputting the video material, displaying the laid-out video material while editing the video material based on the output result, and outputting the layout. A layout video editing method, comprising: a video section division step of dividing a video material into sections; a representative image output step of outputting a representative image for each of the divided video sections; and a layout by laying out the representative image. A representative image layout stage for obtaining a result, a video editing stage for automatically editing a video according to the layout result, and associating the representative images used in the layout result with the size, shape, and representative image of the representative image A representative image reduction stage for generating a reduced representative image by reducing the number of representative images by association in accordance with the characteristics of the representative image such as the length of the video section being set. When a page display function layout image editing method characterized by comprising a representative image display step of displaying the reduced representative image.
【0018】(2)の発明は、映像素材をレイアウトし
たレイアウト結果を基に映像素材に対して編集作業を行
いつつ、レイアウトした映像素材を表示し、出力するペ
ージ表示機能付きレイアウト映像編集方法であって、レ
イアウト結果に応じて映像を自動編集する映像編集段階
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少段階と、該減少代表画像を表示する
代表画像表示段階と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集方法である。The invention of (2) is a layout video editing method with a page display function for displaying and outputting the laid out video material while performing editing work on the video material based on a layout result of laying out the video material. A video editing step of automatically editing a video according to the layout result; and the representative images used in the layout result are represented by the size, shape, and length of the video section associated with the representative image. A representative image reduction step of generating a reduced representative image by reducing the number of representative images by association in accordance with the characteristics of the representative image such as the size of the representative image, and a representative image display step of displaying the reduced representative image. This is a layout video editing method with a page display function.
【0019】(3)の発明は、映像素材をレイアウトし
て出力し、その出力結果を基に映像素材に対して編集作
業を行いつつ、レイアウトした映像素材を表示し、出力
するページ表示機能付きレイアウト映像編集装置であっ
て、映像素材を区間単位に分割する映像区間分割手段
と、該分割された映像区間毎に代表画像を出力する代表
画像出力手段と、該代表画像をレイアウトすることでレ
イアウト結果を得る代表画像レイアウト手段と、該レイ
アウト結果に応じて映像を自動編集する映像編集手段
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少手段と、該減少代表画像を表示する
代表画像表示手段と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集装置である。The invention of (3) has a page display function of laying out and outputting the video material, displaying the laid-out video material while editing the video material based on the output result, and outputting the laid out video material. A layout video editing device, comprising: a video section dividing unit that divides a video material into sections; a representative image output unit that outputs a representative image for each of the divided video sections; and a layout by laying out the representative image. A representative image layout unit for obtaining a result, a video editing unit for automatically editing a video according to the layout result, and associating the representative images used in the layout result with the size, shape, and representative image of the representative image. The representative image reduction method for generating a reduced representative image by reducing the number of representative images by association in accordance with the characteristics of the representative image, such as the length of the video section being set. When a page display function layout image editing apparatus characterized by comprising a representative image display means for displaying the reduced representative image.
【0020】(4)の発明は、映像素材をレイアウトし
たレイアウト結果を基に映像素材に対して編集作業を行
いつつ、レイアウトした映像素材を表示し、出力するペ
ージ表示機能付きレイアウト映像編集装置であって、レ
イアウト結果に応じて映像を自動編集する映像編集手段
と、該レイアウト結果に用いられた代表画像同士を、代
表画像の大きさ、形状、代表画像と対応つけられている
映像区間の長さ等の代表画像の特徴に応じて、関連付け
によって代表画像の個数を減少させて減少代表画像を生
成する代表画像減少手段と、該減少代表画像を表示する
代表画像表示手段と、を具備することを特徴とするペー
ジ表示機能付きレイアウト映像編集装置である。The invention of (4) is a layout video editing apparatus with a page display function for displaying and outputting the laid out video material while performing editing work on the video material based on the layout result of laying out the video material. A video editing means for automatically editing a video according to the layout result; and the size and shape of the representative image and the length of the video section associated with the representative image. A representative image reducing unit configured to reduce the number of representative images by association to generate a reduced representative image in accordance with a characteristic of the representative image such as a representative image, and a representative image display unit displaying the reduced representative image. This is a layout video editing apparatus with a page display function.
【0021】(5)の発明は、上記(1)または(2)
に記載のページ表示機能付きレイアウト映像編集方法で
の各段階をコンピュータで実現するためのプログラム
を、該コンピュータが読み取り可能な記録媒体に記録し
たことを特徴とするページ表示機能付きレイアウト映像
編集プログラムを記録した記録媒体である。The invention of (5) is characterized in that (1) or (2)
A program for realizing each step in the layout video editing method with page display function described in the above with a computer, recorded on a computer-readable recording medium, a layout video editing program with page display function It is a recording medium on which recording is performed.
【0022】本発明においては、映像素材から一部の情
報を抽出して詳細な内容把握出力物を構成しつつ、その
内容把握出力物の情報に従って、あるいはすでに構成さ
れた内容把握出力物の情報に従って、映像を編集、生成
する。さらに、内容把握出力物をより扱いやすくするた
めに、内容把握出力物の内容を減少させるように加工
し、表示する。In the present invention, while extracting a part of the information from the video material to form a detailed content grasp output, according to the information of the content grasp output, or information of the already configured content grasp output, Edit and generate the video in accordance with. Further, in order to make the contents grasped output more easily handled, the contents of the contents grasped output are processed and displayed so as to be reduced.
【0023】[0023]
【発明の実施の形態】本発明によるページ表示機能付き
レイアウト映像編集方法及び装置の具体的な実施の形態
について以下に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Specific embodiments of a layout video editing method and apparatus with a page display function according to the present invention will be described below.
【0024】図1に、本発明の一実施形態例によるペー
ジ表示機能付きレイアウト映像編集方法の処理フロー図
を示す。FIG. 1 shows a processing flowchart of a layout video editing method with a page display function according to an embodiment of the present invention.
【0025】入力映像0から、編集及び加工された映像
4の素材となる映像素材を生成するために、映像をいく
つかの映像区間1に映像区間分割段階20によって分割
する。The video is divided into several video sections 1 by the video section dividing step 20 in order to generate a video material which is the material of the edited and processed video 4 from the input video 0.
【0026】この映像区間に対して、映像編集の際のイ
ンデクス情報となる代表画像2を映像代表画像出力段階
21にて出力する。For this video section, a representative image 2 serving as index information at the time of video editing is output in a video representative image output step 21.
【0027】代表画像2を元に利用者である編集者10
は、指示11を与えて代表画像レイアウト段階22によ
って素材を編集し、レイアウト結果3を得る。このレイ
アウト結果3は、生成する映像の内容を把握するための
支援出力物となるものであり、かつ、このレイアウト結
果3に基づいて映像を実際に編集する。An editor 10 as a user based on the representative image 2
Gives the instruction 11 and edits the material in the representative image layout stage 22 to obtain the layout result 3. The layout result 3 is a support output for grasping the content of the generated video, and the video is actually edited based on the layout result 3.
【0028】レイアウト結果上の代表画像に対し、代表
画像減少段階24によって、代表画像の関係を評価して
代表画像の個数を減少させる。これにより減少代表画像
5を得る。代表画像が減少するのに従って代表画像と対
応していた映像区間との間の対応も変化する。従って、
減少代表画像と編集された映像との間の対応も変化す
る。In the representative image on the layout result, the representative image relation is evaluated in the representative image reduction step 24 to reduce the number of representative images. Thus, a reduced representative image 5 is obtained. As the representative image decreases, the correspondence between the representative image and the corresponding video section also changes. Therefore,
The correspondence between the reduced representative image and the edited video also changes.
【0029】一方、減少代表画像を編集者やその他の利
用者に表示するために、代表画像表示段階25にて、視
聴者14に対し、表示13を経て視聴させる。On the other hand, in order to display the reduced representative image to the editor and other users, the viewer 14 is caused to view the display 13 via the display 13 in the representative image display step 25.
【0030】なお、入力映像0は、コンピュータが解析
可能なデジタル映像であれば良く、MPEGやJPEG
等の圧縮符号化されていても構わない。その時間及び空
間方向へのパラメータは任意で構わない。また、デジタ
ル映像でない場合には、アナログ映像データをキャプチ
ャツール等によるデジタル化する機能を映像区間分割段
階20に備えていても構わない。映像区間1について
も、同様の特性が反映される。The input video 0 may be any digital video that can be analyzed by a computer, such as MPEG or JPEG.
Or the like. The parameters in the time and space directions may be arbitrary. If the image is not a digital image, a function of digitizing analog image data using a capture tool or the like may be provided in the image section dividing step 20. Similar characteristics are reflected in the video section 1 as well.
【0031】代表画像は、各映像区間を元にしており、
映像区間から得られる特徴量に応じてさまざまな代表画
像が生成される。最も簡単なものは、ショットチェンジ
直後のフレームをそのまま用いる場合であるが、ショッ
トチェンジ直後である必要はなく、ショットチェンジ直
前や、ショットチェンジと次のショットチェンジのちょ
うど真ん中のものや、最も明度の高いもの、色相の高い
もの等のフレームを選択することで、代表画像とするこ
ともできる。また、カメラワークの開始、終了、カメラ
ワークが最大に行われているフレームを選択しても良い
し、手ぶれや、被写体の急激な動きが急な部分を取り除
いた場合や、それらの開始、終了時のフレーム、動き被
写体の有無、動き被写体の有無に応じて動き被写体の出
現、消滅等のフレームといったフレームをそのまま利用
することもできる。また、抽出されたカメラワーク情報
を元にカメラワークの動きずれを計測し、そのずれだけ
時系列画像をずらしていくことで生成される高精細画像
等の画像を利用しても構わない。この高精細画像中に動
き被写体が存在する場合には、動き被写体をこの高精細
画像中に貼り付けたものも可能とする。これらの代表画
像は、それぞれ映像のある時間区間の内容を元に生成さ
れるものであり、映像の一部の内容を反映したものであ
る。これら、代表画像には、それを作成した映像の一部
を代表させる意味を持たせておくこととし、リンクを与
えておく。なお、リンクは一対一対応である必要は必ず
しもない。さまざまな条件によって、複数のリンクが存
在しても良いし、また、入れ子になっていても構わな
い。The representative image is based on each video section.
Various representative images are generated according to the feature amount obtained from the video section. The simplest case is to use the frame immediately after the shot change as it is, but it does not need to be immediately after the shot change. By selecting a frame such as a high one or a high hue, the representative image can also be used. In addition, the start and end of the camera work, the frame in which the camera work is performed to the maximum may be selected, or when the camera shake or the sudden movement of the subject is removed, or the start and the end thereof Frames such as frames at the time, presence / absence of a moving subject, and frames such as appearance and disappearance of a moving subject can be used as they are in accordance with the presence / absence of a moving subject. Alternatively, an image such as a high-definition image generated by measuring a motion shift of the camera work based on the extracted camera work information and shifting the time-series image by the shift may be used. When a moving subject is present in the high-definition image, a moving subject can be attached to the high-definition image. These representative images are generated based on the contents of a certain time section of the video, and reflect a part of the video. These representative images are given a meaning to represent a part of the video that has been created, and are given links. It is not always necessary that the links have a one-to-one correspondence. Depending on various conditions, multiple links may exist or may be nested.
【0032】代表画像が生成されたレイアウトによっ
て、映像と対応した代表画像を配置し、編集者が望む映
像を生成する。この際レイアウトとは、ただ順番に選択
し、ある定められたフィールドに配置するだけでなく、
拡大、縮小、伸縮、回転などの空間的な加工や、明度、
色相などの変更に加えて、字幕、擬音、マンガにおける
セリフ、等のテキスト情報を付加してもこうしたレイア
ウトの一部である。また、代表画像の解像度を変更した
り、一部ないし全てを透明化しても構わない。これら
は、いずれもマンガを製作するために必要な加工であ
り、編集者の映像製作に対する意図を表現する重要な加
工となる。According to the layout in which the representative image is generated, the representative image corresponding to the video is arranged, and the video desired by the editor is generated. In this case, layout means not only selecting in order and arranging in a certain field,
Spatial processing such as enlargement, reduction, expansion, contraction, rotation, brightness,
The addition of text information such as subtitles, onomatopoeia, serifs in comics, etc. in addition to changes in hue, etc., is part of such a layout. Further, the resolution of the representative image may be changed, or some or all of the image may be made transparent. These are all processes necessary for producing manga, and are important processes for expressing the editor's intentions for video production.
【0033】レイアウトに際して代表画像は、ある電子
ページ上に配置されていくことになる。ここで、このペ
ージは、電子化された仮想的なフィールドである。その
ページサイズ、形状、色等は任意で構わない。もちろ
ん、均一なページにしても構わない。このページ上に配
置する場所は、任意で構わない。左から右へ、上から下
へというルールや、左から右、下から上といったアレン
ジは自由に行って構わない。At the time of layout, the representative image is arranged on a certain electronic page. Here, this page is an electronic virtual field. The page size, shape, color, etc. may be arbitrary. Of course, a uniform page may be used. The location on this page may be arbitrary. Arrangements such as left-to-right and top-to-bottom, and arrangements such as left-to-right and bottom-to-top are optional.
【0034】複数の代表画像が選択され、加工され、配
置されることで、これらの映像の一部を利用したレイア
ウト結果を得ることができる。レイアウト結果は、映像
素材の内容から生成され、その映像の内容を反映した代
表画像の情報を元に生成された内容把握支援出力物であ
り、レイアウト結果には、セリフ、擬音等の情報が入れ
込まれたものであり、レイアウト結果から大体の内容が
把握できるものである。By selecting, processing, and arranging a plurality of representative images, a layout result using a part of these images can be obtained. The layout result is a content comprehension support output that is generated from the content of the video material and is generated based on the information of the representative image that reflects the content of the video, and the layout result includes information such as dialogue and onomatopoeic sounds. This is the content that can be roughly grasped from the layout result.
【0035】映像編集段階23では、レイアウト結果3
を元に、レイアウト中の代表画像に対応する映像区間1
を、配置した順番に映像をつないで編集する。また、も
しテキスト情報などや、編集時に対する指示があらかじ
め与えられていれば、それに対応した指示を反映して映
像の編集を行う。これにより編集された映像4が得られ
る。この編集された映像4を映像表示段階26に投入
し、視聴者14に表示13により視聴させる。In the video editing stage 23, the layout result 3
, Video section 1 corresponding to the representative image in the layout
And edit them by connecting the images in the order in which they were arranged. If text information or the like or an instruction at the time of editing is given in advance, the video is edited by reflecting the corresponding instruction. As a result, an edited video 4 is obtained. The edited video 4 is input to the video display stage 26, and the viewer 14 is viewed on the display 13.
【0036】一方、レイアウト結果3は編集された映像
の内容把握を支援する出力物となり、編集者10に対し
て表示12が行われるが、このレイアウト結果3では、
内容把握を支援する出力物を基に、映像を編集するため
に使用したものであるため、映像の内容を反映している
が、映像の密度と内容把握に必要な各映像内容の表示密
度は異なる。一般には、編集する映像のすべてのショッ
ト数よりも、少ない個数の代表画像が存在すれば十分で
あるといわれている。そこで、代表画像間の関係をみ
て、代表画像の個数を減少させる。この処理を代表画像
減少段階24にて行う。ここでは、各代表画像に対し
て、その大きさ、形状、代表画像とリンクしている映像
区間長さを、絶対評価、または、同一電子ページ内に限
定した相対評価で評価し、代表画像関係を変化させる。
例えば、巨大な代表画像に隣接する小さな代表画像は、
巨大な代表画像一つに、巨大な代表画像と小さな代表画
像の双方に対応する映像区間を対応付け、小さな代表画
像を消去させるものである。この処理の結果、内容把握
支援出力物であるレイアウト結果上では、代表画像の個
数が減少することになる。代表画像を減少することによ
って得られたレイアウト結果である減少代表画像5を代
表画像表示段階25または映像表示段階26に投入し、
視聴者14に表示13により視聴させる。On the other hand, the layout result 3 is an output that assists in comprehending the contents of the edited video, and the display 12 is displayed to the editor 10. In the layout result 3,
Since it was used to edit the video based on the output that supports the content grasp, it reflects the content of the video, but the density of the video and the display density of each video content necessary for grasping the content are different. It is generally said that it is sufficient if there are a smaller number of representative images than the total number of shots of the video to be edited. Therefore, the number of representative images is reduced in view of the relationship between the representative images. This process is performed in the representative image reduction stage 24. Here, for each representative image, its size, shape, and video section length linked to the representative image are evaluated by absolute evaluation or relative evaluation limited to the same electronic page. To change.
For example, a small representative image adjacent to a huge representative image
One large representative image is associated with video sections corresponding to both the large representative image and the small representative image, and the small representative image is deleted. As a result of this processing, the number of representative images is reduced on the layout result, which is a content grasp support output. A reduced representative image 5 which is a layout result obtained by reducing the representative image is input to a representative image display stage 25 or a video display stage 26,
The viewer 14 is caused to view by the display 13.
【0037】次に、図2に、本発明の一実施形態例によ
る装置構成を実現するためのブロック図を表示する。Next, FIG. 2 shows a block diagram for realizing an apparatus configuration according to an embodiment of the present invention.
【0038】入力映像30から、編集された映像34の
素材となる映像素材を生成するために、映像をいくつか
の映像区間31に映像区間分割手段50によって分割す
る。In order to generate a video material as a material of the edited video 34 from the input video 30, the video is divided into several video sections 31 by the video section dividing means 50.
【0039】この映像区間に対して、映像編集の際のイ
ンデクス情報となる代表画像32を映像代表画像出力手
段51にて出力する。For this video section, a representative image 32 serving as index information at the time of video editing is output by the video representative image output means 51.
【0040】代表画像32を元に利用者である編集者4
0は、指示41を与えて代表画像レイアウト手段52に
よって素材を編集し、レイアウト結果33を得る。この
レイアウト結果は、生成する映像の内容を把握するため
の支援出力物となるものであり、かつ、このレイアウト
結果33に基づいて映像を実際に編集する。レイアウト
結果33を映像編集手段53に送り、素材となった映像
区間1に対して処理を行うことで編集された映像34を
得ることができる。Editor 4 as a user based on representative image 32
0 gives the instruction 41 and edits the material by the representative image layout means 52 to obtain a layout result 33. The layout result is a support output for grasping the content of the video to be generated, and the video is actually edited based on the layout result 33. The layout result 33 is sent to the video editing means 53, and the edited video 34 can be obtained by performing processing on the video section 1 as a material.
【0041】一方、レイアウト結果33上の代表画像に
対し、代表画像減少手段54によって、代表画像の個数
を減少させ、減少代表画像35を得る。視聴者44は、
この減少代表画像及びレイアウト結果を代表画像表示手
段55による表示43を介して、一方で編集された映像
34を映像表示手段56による表示43を介して、視聴
する。なお、代表画像が減少しても編集された映像その
ものは変化しないため、各代表画像に対応つけられた映
像区間と代表画像との間の関係が変化するのみにとどま
る。この代表画像減少手段54及び対応つけられる編集
された映像34及び代表画像表示手段55の関係につい
ては詳細を後述する。On the other hand, the representative image on the layout result 33 is reduced by the representative image reducing means 54 to obtain a reduced representative image 35. Viewer 44
The reduced representative image and the layout result are viewed via the display 43 by the representative image display means 55, while the edited video 34 is viewed via the display 43 by the video display means 56. Since the edited video itself does not change even if the number of representative images decreases, only the relationship between the video section and the representative image associated with each representative image changes. The relationship between the representative image reducing unit 54, the edited video 34 associated with the representative image displaying unit 55, and the representative image displaying unit 55 will be described later in detail.
【0042】入力映像30は、コンピュータが解析可能
なデジタル映像であれば良く、MPEGやJPEG等の
圧縮符号化されていても構わない。その時間及び空間方
向へのパラメータは任意で構わない。また、デジタル映
像でない場合には、アナログ映像データをキャプチャツ
ール等によるデジタル化する機能を50に備えていても
構わない。映像区間31についても、同様の特性が反映
される。The input video 30 may be any digital video that can be analyzed by a computer, and may be compression-coded such as MPEG or JPEG. The parameters in the time and space directions may be arbitrary. In the case where the image is not a digital image, the function of digitizing analog image data by a capture tool or the like may be provided in 50. Similar characteristics are reflected in the video section 31 as well.
【0043】代表画像は、各映像区間を元にしており、
映像区間から得られる特徴量に応じてさまざまな代表画
像が生成される。最も簡単なものは、ショットチェンジ
直後のフレームをそのまま用いる場合であるが、ショッ
トチェンジ直後である必要はなく、ショットチェンジ直
前や、ショットチェンジと次のショットチェンジのちょ
うど真ん中のものや、最も明度の高いもの、色相の高い
もの等のフレームを選択することで、代表画像とするこ
ともできる。また、カメラワークの開始、終了、カメラ
ワークが最大に行われているフレームを選択しても良い
し、手ぶれや、被写体の急激な動きが急な部分を取り除
いた場合や、それらの開始、終了時のフレーム、動き被
写体の有無、動き被写体の有無に応じて動き被写体の出
現、消滅等のフレームといったフレームをそのまま利用
することもできる。また、抽出されたカメラワーク情報
を元にカメラワークの動きずれを計測し、そのずれだけ
時系列画像をずらしていくことで生成される高精細画像
等の画像を利用しても構わない。この高精細画像中に動
き被写体が存在する場合には、動き被写体をこの高精細
画像中に貼り付けたものも可能とする。これらの代表画
像は、各映像区間の内容を元に生成されるものであり、
映像の一部の内容を反映したものである。これら、代表
画像には、それを作成した映像の一部を代表させる意味
を持たせておくこととし、リンクを与えておく。なお、
リンクは一対一対応である必要は必ずしもない。さまざ
まな条件によって、複数のリンクが存在しても良いし、
また、入れ子になっていても構わない。The representative image is based on each video section.
Various representative images are generated according to the feature amount obtained from the video section. The simplest case is to use the frame immediately after the shot change as it is, but it does not need to be immediately after the shot change. By selecting a frame such as a high one or a high hue, the representative image can also be used. In addition, the start and end of the camera work, the frame in which the camera work is performed to the maximum may be selected, or when the camera shake or the sudden movement of the subject is removed, or the start and the end thereof Frames such as frames at the time, presence / absence of a moving subject, and frames such as appearance and disappearance of a moving subject can be used as they are in accordance with the presence / absence of a moving subject. Alternatively, an image such as a high-definition image generated by measuring a motion shift of the camera work based on the extracted camera work information and shifting the time-series image by the shift may be used. When a moving subject is present in the high-definition image, a moving subject can be attached to the high-definition image. These representative images are generated based on the contents of each video section,
It reflects a part of the video. These representative images are given a meaning to represent a part of the video that has been created, and are given links. In addition,
Links need not be one-to-one. Depending on various conditions, there may be multiple links,
They can also be nested.
【0044】編集者の指示を基に代表画像をレイアウト
する。このレイアウト処理では、映像と対応した代表画
像を配置し、編集者が希望する映像を生成する。この際
レイアウトとは、ただ順番に選択し、ある定められたフ
ィールドに配置するだけでなく、拡大、縮小、伸縮、回
転などの空間的な加工や、明度、色相などの変更に加え
て、字幕、擬音、例えばマンガ制作におけるセリフにあ
たるもの等のテキスト情報を付加してもよく、これらは
レイアウトの一部である。また、代表画像の解像度を変
更したり、一部ないし全てを透明化しても構わない。こ
れらは、いずれもマンガを製作するために必要な加工で
あり、編集者の映像製作に対する意図を表現する重要な
加工となる。The representative image is laid out based on the instruction of the editor. In this layout processing, a representative image corresponding to a video is arranged, and a video desired by the editor is generated. In this case, layout means not only selecting in order and arranging it in a fixed field, but also spatial processing such as enlargement, reduction, expansion, rotation, rotation, change of brightness, hue, etc. On the other hand, text information such as onomatopoeia, for example, a line in a manga production may be added, and these are part of the layout. Further, the resolution of the representative image may be changed, or some or all of the image may be made transparent. These are all processes necessary for producing manga, and are important processes for expressing the editor's intentions for video production.
【0045】レイアウトに際して代表画像は、ある電子
ページ上に配置されていくことになる。ここでこのペー
ジは、電子化された仮想的なフィールドである。そのペ
ージサイズ、形状、色等は任意で構わない。もちろん、
均一なページにしても構わない。このページの上に配置
する場所は、任意で構わない。左から右へ、上から下へ
というルールや、左から右、下から上といったアレンジ
は自由に行って構わない。At the time of layout, the representative image is arranged on a certain electronic page. Here, this page is an electronic virtual field. The page size, shape, color, etc. may be arbitrary. of course,
It may be a uniform page. The place to be placed on this page is arbitrary. Arrangements such as left-to-right and top-to-bottom, and arrangements such as left-to-right and bottom-to-top are optional.
【0046】複数の代表画像が選択され、加工され、配
置されることで、これらの映像の一部を利用したレイア
ウト結果を得ることができる。レイアウト結果は、映像
素材の内容から生成され、その映像の内容を反映した代
表画像の情報を元に生成された内容把握支援出力物であ
り、レイアウト結果には、セリフ、擬音等の情報を入れ
込み、代表画像を見るだけで大体の内容が把握できるも
のである。By selecting, processing, and arranging a plurality of representative images, a layout result using a part of these images can be obtained. The layout result is a content comprehension support output that is generated from the content of the video material and is generated based on the information of the representative image that reflects the content of the video, and the layout result includes information such as dialogue and onomatopoeia. However, the contents can be roughly grasped only by looking at the representative image.
【0047】この代表画像をレイアウトしたレイアウト
結果から、レイアウト結果上の代表画像に対応する映像
区間を、配置した順番に映像をつないで編集する。ま
た、もしテキスト情報などや、編集時に対する指示があ
らかじめ与えられていればそれに対応した指示を反映し
て映像の編集を行う。これにより編集された映像が得ら
れるのである。From the layout result obtained by laying out the representative images, video sections corresponding to the representative images on the layout result are edited by connecting the images in the arrangement order. Also, if text information or the like or an instruction for editing is given in advance, the video is edited by reflecting the corresponding instruction. As a result, an edited video is obtained.
【0048】図3には、レイアウト結果から制作された
映像との関係を示している。(a)はレイアウト結果で
あり、各方形の形状は代表画像を示している。各代表画
像の下にある小さな数字は、それぞれレイアウトの順番
を示している。なお、6番目の代表画像は、カメラワー
クなどの動きがある場合、同一シーンにおける移動のず
れを意識して張り合わせた高精細画像の一例である。こ
のレイアウト結果から映像編集手段53に基づいて対応
する映像区間を編集した結果が(b)に示す編集された
映像区間である。それぞれ代表区間の番号と、映像区間
の番号が対応している。FIG. 3 shows the relationship with the video produced from the layout result. (A) is a layout result, and the shape of each square indicates a representative image. Small numbers below each representative image indicate the layout order. Note that the sixth representative image is an example of a high-definition image stuck together when there is a movement such as a camera work, with consideration given to a shift in movement in the same scene. The result of editing the corresponding video section from the layout result based on the video editing means 53 is the edited video section shown in (b). The number of the representative section and the number of the video section correspond to each other.
【0049】一方で、レイアウト結果に対し、代表画像
減少手段54を介して代表画像の個数を減少させ、減少
代表画像35を得る。ここでは、定められたルールに従
って、代表画像を見直し、減少させる。この処理は、代
表画像の形状、大きさ、代表画像に対応する映像区間長
さ等を比較し、代表画像同士の評価を行う。この評価
は、絶対的な評価によっても良いし、同一ページ上の相
対的な評価を元にしても良い。On the other hand, with respect to the layout result, the number of representative images is reduced via the representative image reducing means 54 to obtain a reduced representative image 35. Here, the representative image is reviewed and reduced according to a predetermined rule. In this process, the representative images are evaluated by comparing the shape and size of the representative images, the length of the video section corresponding to the representative images, and the like. This evaluation may be based on an absolute evaluation or based on a relative evaluation on the same page.
【0050】代表画像同士の評価の結果、代表画像が減
少したことによって得られる減少代表画像35を基に代
表画像表示手段55によって視聴者44に対して表示4
3を行う。視聴者44は、表示された減少代表画像とレ
イアウト結果を基に、希望する代表画像に対応する映像
区間を探し出し、映像を表示し、視聴する。映像そのも
のの表示はレイアウトした結果の上で再生しても良い
し、電子モニター上の別のウインドウでも良いし、他の
独立したモニター上で表示しても良い。なお、レイアウ
ト結果の表示は、視聴者44の必要に応じてさらに変化
しても良いものとする。As a result of the evaluation of the representative images, the representative image display means 55 displays the display 4 for the viewer 44 on the basis of the reduced representative image 35 obtained when the representative image is reduced.
Perform Step 3. The viewer 44 searches for a video section corresponding to the desired representative image based on the displayed reduced representative image and the layout result, and displays and views the video. The display of the image itself may be reproduced on the layout result, another window on the electronic monitor, or displayed on another independent monitor. The display of the layout result may be further changed as needed by the viewer 44.
【0051】以下に、代表画像減少手段と、それによる
代表画像間関係が変化した例を示す。The following is an example in which the representative image reducing means and the relation between the representative images are changed.
【0052】その第一の例が図4に示すように、隣接す
る代表画像同士を比較し、時間的に後から出現する小さ
い代表画像は直前に出現する大きな代表画像に吸収され
る、小さな代表画像を除去するというルールに基づくも
のである。すなわち、まず、(a)に示すレイアウト結
果上の代表画像101〜104が存在し、対応して
(c)編集された映像区間が存在する。(c)の横方向
の長さは映像区間の時間長を示しているものとする。こ
の図4の例では、ここで大小関係を基に同一ページ内の
隣接する画像間の関係から大きい代表画像103に小さ
い代表画像104が吸収され、(b)変化した代表画像
関係が得られる。このとき表示されるレイアウト結果
は、代表画像104がなくなった状態となる。しかし、
一方で編集された映像そのものに変化はなく、代表画像
と映像区間との対応が変化するのみである。代表画像1
03に対応するものは、(d)に示すように映像区間2
03と204の2つの区間が対応する。In the first example, as shown in FIG. 4, adjacent representative images are compared with each other, and a small representative image appearing later in time is absorbed by a large representative image appearing immediately before. This is based on the rule of removing images. That is, first, there are representative images 101 to 104 on the layout result shown in (a), and there is (c) an edited video section corresponding thereto. The horizontal length in (c) indicates the time length of the video section. In the example of FIG. 4, the small representative image 104 is absorbed by the large representative image 103 from the relationship between adjacent images in the same page based on the magnitude relationship, and (b) a changed representative image relationship is obtained. The layout result displayed at this time is such that the representative image 104 has disappeared. But,
On the other hand, the edited video itself does not change, only the correspondence between the representative image and the video section changes. Representative image 1
03 corresponds to video section 2 as shown in (d).
Two sections 03 and 204 correspond to each other.
【0053】第二の例として、図5では、同一ページ
で、一つの代表画像を選択するというルールに従った場
合であり、(a)のレイアウト結果でのページ中の最大
の代表画像に他の代表画像が吸収され、除去され、結
果、(b)に示した一つの代表画像103が得られ、
(d)に示すように映像区間201〜204が、全てそ
の代表画像103に対応づけられていることを示す。As a second example, FIG. 5 shows a case where the same page is followed by the rule of selecting one representative image. In the layout result of FIG. Are absorbed and removed, and as a result, one representative image 103 shown in (b) is obtained.
As shown in (d), the video sections 201 to 204 are all associated with the representative image 103.
【0054】第三の例として、図6は、同一ページで一
つの代表画像を選択する際に、代表画像の特徴量より
も、対応づけられた映像区間の情報を基に、代表画像の
構成を変化した例である。この例では、(b)のように
選択された代表画像104は(a)のレイアウト結果で
の他の代表画像と比較して小さいものの、(c)の映像
区間長さを基に、最も長い映像区間204に対応する代
表画像104を選択して、ページ上の代表画像を変化さ
せていることを示す。As a third example, FIG. 6 shows the structure of a representative image based on information of the associated video section rather than the feature amount of the representative image when one representative image is selected on the same page. Is an example in which In this example, the representative image 104 selected as in (b) is smaller than other representative images in the layout result in (a), but is the longest based on the video section length in (c). The representative image 104 corresponding to the video section 204 is selected to indicate that the representative image on the page is being changed.
【0055】もちろん、図4〜図6の例で示したルール
以外の別個のルールを設けても構わない。例えば、大き
な代表画像ではなく、小さな代表画像を選択したり、代
表画像に対して、字幕などのテキスト情報が付加されて
いる場合にはそれらを優先したり、また、テキスト情報
が複数存在する場合にはテキスト情報の文字の数、面積
を優先したり、等の処理である。Of course, separate rules other than the rules shown in the examples of FIGS. 4 to 6 may be provided. For example, if a small representative image is selected instead of a large representative image, or if text information such as subtitles is added to the representative image, those are prioritized. Is processing such as giving priority to the number and area of characters of text information.
【0056】また、ページ間での処理を行うことももち
ろん可能である。ページ毎に代表画像が1つになるよう
に、他の代表画像を除去し、ページごとの代表画像同士
を評価して、ページそのものを減少するという処理も可
能である。It is of course possible to perform processing between pages. It is also possible to remove other representative images so as to have one representative image for each page, evaluate the representative images for each page, and reduce the number of pages themselves.
【0057】また、除去する、あるいは選択する代表画
像を特徴量により自動判別するのではなく、編集者から
の指示によって変化させるようにしても良い。Further, the representative image to be removed or selected may not be automatically determined based on the feature amount, but may be changed according to an instruction from the editor.
【0058】なお、図4では、同一ページ上での代表画
像4個を代表画像3個にし、図5、図6は、代表画像4
個を代表画像1個としている。こうした代表画像の個数
の変化は、固定にしても良いし、編集者の利用要求に応
じて変化しても構わない。各ページに代表画像1個とす
るのであれば、大きさ、面積、平均明度、対応する映像
区間など評価すべき特徴量が最大の代表画像をそれぞれ
選択して、他の代表画像は除去し、除去された代表画像
に対応する区間は全て最大の代表画像に対応させれば良
い。2個の場合には、各特徴量に基づく最大のものと次
のものを選択し、他の代表画像を除去し、除去された代
表画像に対応していた映像区間は、除去されなかった代
表画像のいずれかに対応つければ良い。映像区間の対応
付けを行う場合には、対応する映像区間同士の中で、最
も時間的に近い代表画像に対応つけるようにすれば良
い。In FIG. 4, four representative images on the same page are replaced with three representative images, and FIGS.
Are set as one representative image. Such a change in the number of representative images may be fixed or may be changed according to a use request of the editor. If one representative image is used for each page, each representative image having the largest feature amount to be evaluated such as size, area, average brightness, and corresponding video section is selected, and other representative images are removed. All the sections corresponding to the removed representative images may correspond to the largest representative image. In the case of two, the largest one based on each feature amount and the next one are selected, the other representative images are removed, and the video section corresponding to the removed representative image is represented by the non-removed representative. It only has to correspond to one of the images. In the case of associating video sections, it is only necessary to associate a temporally closest representative image among the corresponding video sections.
【0059】編集者からの指示によって、ページ毎に減
少する代表画像の枚数を限定しても良いし、複数のペー
ジを含む中で代表画像の個数を限定する等の処理を行っ
ても良い。複数ページに渡る場合には、評価する特徴量
の大きなものから個数分をページとは無関係に選択し、
対応付けを行えば良い。According to an instruction from the editor, the number of representative images to be reduced for each page may be limited, or a process of limiting the number of representative images including a plurality of pages may be performed. In the case of multiple pages, select the number of features to evaluate from large ones irrespective of the page,
What is necessary is just to make correspondence.
【0060】代表画像表示手段では、減少代表画像乃
至、レイアウト結果を表示することが可能である。この
切り替えは、利用者の指示によって行う。また、利用者
の指示を察知し、自動的に行うなどの処理を行っても良
い。The representative image display means can display a reduced representative image or a layout result. This switching is performed according to a user's instruction. Further, processing such as detecting a user's instruction and automatically performing the processing may be performed.
【0061】本実施形態例を視聴者が利用する際の利用
方法の例を図7に示す。FIG. 7 shows an example of a method of using the present embodiment when a viewer uses it.
【0062】利用者は、まず(a)に示すように、ペー
ジ毎に1枚の代表画像に集約されたものを内容把握表示
手段によって視聴する。ここで視聴したいページ(b)
を絞る。ついでページ上の代表画像1枚に存在していた
が除去された代表画像(c)の一部乃至全てを表示す
る。全て表示する場合は、レイアウト結果を表示してい
ることになる。視聴者は、この代表画像群401〜40
5の中から希望する代表画像402を選択し、402に
対応する映像区間502(d)を視聴することができ
る。除去された代表画像を表示させる同一ページ上に表
示させる手段は、代表画像は、1枚か全部かではなく、
ある程度のレベルを指定して、2枚、3枚という中間レ
ベルで表示しても良い。図7のサービスイメージに従え
ば、適切な映像の内容の密度に沿って映像を視聴するこ
とが可能となる。First, as shown in (a), the user views the one image that has been combined into one representative image for each page using the content grasp display means. The page you want to watch here (b)
Squeeze. Next, a part or all of the representative image (c) which was present in one representative image on the page but has been removed is displayed. When all are displayed, the layout result is displayed. The viewer can select the representative image groups 401 to 40
5, a desired representative image 402 can be selected, and a video section 502 (d) corresponding to 402 can be viewed. Means for displaying the removed representative image on the same page is that the representative image is not one or all,
A certain level may be designated and displayed at an intermediate level of two or three. According to the service image of FIG. 7, it is possible to view the video in accordance with an appropriate video content density.
【0063】以上、ページ機能付きレイアウト映像編集
装置について、説明を加えてきた。上述の実施形態例に
対し、いろいろなアレンジを加えることは容易に類推出
来、それらも本発明の範囲内である。このインタフェー
スは内容把握支援出力物を編集すると同時に自動的に映
像を生成するというアプローチをとっており、映像と、
映像の内容を紹介するレイアウト出力とを生成できると
いう特徴がある。この方法により、編集者はよりわかり
やすく、利用者はより視聴しやすい環境を構築すること
ができる。The layout video editing apparatus with a page function has been described above. It is easy to guess, by adding various arrangements to the above-described embodiment, and these are also within the scope of the present invention. This interface takes the approach of editing the output of the content comprehension support and automatically generating a video at the same time.
The feature is that a layout output that introduces the contents of the video can be generated. By this method, the editor can construct an environment that is easier for the editor to understand and the user can more easily view.
【0064】なお、この方法をコンピュータプログラム
で記載し、記録メディアと、映像等の保存メディアと、
プログラムを読み取り、実行するコンピュータが存在す
れば、本発明を実施することも可能である。その際、コ
ンピュータプログラムは、例えば、FD(フロッピーデ
ィスク)や、MO、ROM、メモリカード、CD、DV
D、リムーバブルディスクなどの記録媒体に記録して提
供し、配布することが可能である。Note that this method is described in a computer program, and a recording medium, a storage medium such as video,
The present invention can be implemented as long as there is a computer that reads and executes a program. At this time, the computer program is, for example, FD (floppy disk), MO, ROM, memory card, CD, DV
D, it can be recorded on a recording medium such as a removable disk, provided, and distributed.
【0065】[0065]
【発明の効果】本発明は、映像編集において、利用者が
簡単に内容把握出力物と映像とを生成し、映像を扱いや
すくすることを可能とする。また、内容把握出力物にお
いて、レイアウトした代表画像の特徴量から、代表画像
を評価し、重要と思われる代表画像を選別することで、
より重要な映像区間を探しやすくなるという効果を有
し、映像の利用の促進に有効となる。According to the present invention, in video editing, a user can easily generate a content grasp output and a video to make the video easy to handle. Also, in the content grasp output, the representative image is evaluated based on the feature amount of the laid-out representative image, and the representative image considered important is selected.
This has the effect of making it easier to find more important video sections, and is effective in promoting the use of video.
【図1】本発明の一実施形態例によるページ表示機能付
きレイアウト映像編集方法の処理フロー図である。FIG. 1 is a processing flowchart of a layout video editing method with a page display function according to an embodiment of the present invention.
【図2】本発明の一実施形態例による装置構成を実現す
るためのブロック図である。FIG. 2 is a block diagram for realizing a device configuration according to an embodiment of the present invention.
【図3】上記実施形態例でのレイアウト結果からの映像
編集の例を示す図である。FIG. 3 is a diagram showing an example of video editing from a layout result in the embodiment.
【図4】(1),(2)は、上記実施形態例での代表画
像減少手段の処理による代表画像間関係が変化した第一
の例を示す図である。FIGS. 4A and 4B are diagrams illustrating a first example in which the relationship between the representative images has been changed by the processing of the representative image reducing unit in the embodiment.
【図5】(1),(2)は、上記実施形態例での代表画
像減少手段の処理による代表画像間関係が変化した第二
の例を示す図である。FIGS. 5A and 5B are diagrams illustrating a second example in which the relationship between the representative images is changed by the processing of the representative image reducing unit in the embodiment.
【図6】(1),(2)は、上記実施形態例での代表画
像減少手段の処理による代表画像間関係が変化した第三
の例を示す図である。FIGS. 6A and 6B are diagrams showing a third example in which the relationship between the representative images has been changed by the processing of the representative image reducing unit in the embodiment.
【図7】上記実施形態例を視聴者が利用する際の利用方
法の例を示す図である。FIG. 7 is a diagram showing an example of a usage method when a viewer uses the above embodiment.
1…映像区間 2…代表画像 3…レイアウト結果 4…編集された映像 5…減少代表画像 20…映像区間分割段階 21…映像代表画像出力段階 22…代表画像レイアウト段階 23…映像編集段階 24…代表画像減少段階 25…代表画像表示段階 26…映像表示段階 31…映像区間 32…代表画像 33…レイアウト結果 34…編集された映像 35…減少代表画像 50…映像区間分割手段 51…映像代表画像出力手段 52…代表画像レイアウト手段 53…映像編集手段 54…代表画像減少手段 55…代表画像表示手段 56…映像表示手段 DESCRIPTION OF SYMBOLS 1 ... Video section 2 ... Representative image 3 ... Layout result 4 ... Edited video 5 ... Reduced representative image 20 ... Video section division stage 21 ... Video representative image output stage 22 ... Representative image layout stage 23 ... Video editing stage 24 ... Representative Image reduction stage 25 ... Representative image display stage 26 ... Video display stage 31 ... Video section 32 ... Representative image 33 ... Layout result 34 ... Edited video 35 ... Reduced representative image 50 ... Video section dividing means 51 ... Video representative image output means 52 ... representative image layout means 53 ... video editing means 54 ... representative image reduction means 55 ... representative image display means 56 ... video display means
Claims (5)
出力結果を基に映像素材に対して編集作業を行いつつ、
レイアウトした映像素材を表示し、出力するページ表示
機能付きレイアウト映像編集方法であって、 映像素材を区間単位に分割する映像区間分割段階と、 該分割された映像区間毎に代表画像を出力する代表画像
出力段階と、 該代表画像をレイアウトすることでレイアウト結果を得
る代表画像レイアウト段階と、 該レイアウト結果に応じて映像を自動編集する映像編集
段階と、 該レイアウト結果に用いられた代表画像同士を、代表画
像の大きさ、形状、代表画像と対応つけられている映像
区間の長さ等の代表画像の特徴に応じて、関連付けによ
って代表画像の個数を減少させて減少代表画像を生成す
る代表画像減少段階と、 該減少代表画像を表示する代表画像表示段階と、 を具備することを特徴とするページ表示機能付きレイア
ウト映像編集方法。1. A video material is laid out and output, and editing work is performed on the video material based on the output result.
A layout video editing method with a page display function for displaying and outputting a laid out video material, comprising: a video section dividing step of dividing the video material into sections; and a representative outputting a representative image for each of the divided video sections. An image output step, a representative image layout step of laying out the representative image to obtain a layout result, a video editing step of automatically editing a video according to the layout result, and a representative image used in the layout result. A representative image that generates a reduced representative image by reducing the number of representative images by associating the representative image according to characteristics of the representative image, such as the size and shape of the representative image, and the length of the video section associated with the representative image. A layout image having a page display function, comprising: a reducing step; and a representative image displaying step of displaying the reduced representative image. Collection method.
果を基に映像素材に対して編集作業を行いつつ、レイア
ウトした映像素材を表示し、出力するページ表示機能付
きレイアウト映像編集方法であって、 レイアウト結果に応じて映像を自動編集する映像編集段
階と、 該レイアウト結果に用いられた代表画像同士を、代表画
像の大きさ、形状、代表画像と対応つけられている映像
区間の長さ等の代表画像の特徴に応じて、関連付けによ
って代表画像の個数を減少させて減少代表画像を生成す
る代表画像減少段階と、 該減少代表画像を表示する代表画像表示段階と、 を具備することを特徴とするページ表示機能付きレイア
ウト映像編集方法。2. A layout video editing method with a page display function for displaying and outputting a laid-out video material while performing editing work on the video material based on a layout result obtained by laying out the video material. A video editing step of automatically editing a video according to the representative image used for the layout result, and a representative image such as the size and shape of the representative image and the length of a video section associated with the representative image. A page comprising: a representative image reducing step of generating a reduced representative image by reducing the number of representative images by association in accordance with the feature of the above; and a representative image displaying step of displaying the reduced representative image. Layout video editing method with display function.
出力結果を基に映像素材に対して編集作業を行いつつ、
レイアウトした映像素材を表示し、出力するページ表示
機能付きレイアウト映像編集装置であって、 映像素材を区間単位に分割する映像区間分割手段と、 該分割された映像区間毎に代表画像を出力する代表画像
出力手段と、 該代表画像をレイアウトすることでレイアウト結果を得
る代表画像レイアウト手段と、 該レイアウト結果に応じて映像を自動編集する映像編集
手段と、 該レイアウト結果に用いられた代表画像同士を、代表画
像の大きさ、形状、代表画像と対応つけられている映像
区間の長さ等の代表画像の特徴に応じて、関連付けによ
って代表画像の個数を減少させて減少代表画像を生成す
る代表画像減少手段と、 該減少代表画像を表示する代表画像表示手段と、 を具備することを特徴とするページ表示機能付きレイア
ウト映像編集装置。3. A video material is laid out and output, and editing work is performed on the video material based on the output result.
What is claimed is: 1. A layout video editing apparatus with a page display function for displaying and outputting a laid-out video material, comprising: a video section dividing means for dividing the video material into sections; and a representative for outputting a representative image for each of the divided video sections. Image output means; representative image layout means for obtaining a layout result by laying out the representative image; video editing means for automatically editing a video according to the layout result; and representative images used in the layout result. A representative image that generates a reduced representative image by reducing the number of representative images by associating the representative image according to characteristics of the representative image, such as the size and shape of the representative image, and the length of the video section associated with the representative image. And a representative image display means for displaying the reduced representative image. Collector.
果を基に映像素材に対して編集作業を行いつつ、レイア
ウトした映像素材を表示し、出力するページ表示機能付
きレイアウト映像編集装置であって、 レイアウト結果に応じて映像を自動編集する映像編集手
段と、 該レイアウト結果に用いられた代表画像同士を、代表画
像の大きさ、形状、代表画像と対応つけられている映像
区間の長さ等の代表画像の特徴に応じて、関連付けによ
って代表画像の個数を減少させて減少代表画像を生成す
る代表画像減少手段と、 該減少代表画像を表示する代表画像表示手段と、 を具備することを特徴とするページ表示機能付きレイア
ウト映像編集装置。4. A layout video editing apparatus with a page display function for displaying and outputting a laid-out video material while performing an editing operation on the video material based on a layout result obtained by laying out the video material. A video editing means for automatically editing a video according to a representative image such as the size and shape of the representative image and the length of a video section associated with the representative image. A page comprising: a representative image reducing unit configured to generate a reduced representative image by reducing the number of representative images by association in accordance with the characteristic of; and a representative image display unit displaying the reduced representative image. Layout video editing device with display function.
表示機能付きレイアウト映像編集方法での各段階をコン
ピュータで実現するためのプログラムを、該コンピュー
タが読み取り可能な記録媒体に記録した、 ことを特徴とするページ表示機能付きレイアウト映像編
集プログラムを記録した記録媒体。5. A program for realizing each step of the layout video editing method with page display function according to claim 1 or 2 by a computer, wherein the program is recorded on a computer-readable recording medium. A recording medium recording a layout video editing program with a page display function, characterized by the following.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11294998A JP3426960B2 (en) | 1998-04-23 | 1998-04-23 | Video editing method and apparatus and recording medium recording the program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11294998A JP3426960B2 (en) | 1998-04-23 | 1998-04-23 | Video editing method and apparatus and recording medium recording the program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11308567A true JPH11308567A (en) | 1999-11-05 |
| JP3426960B2 JP3426960B2 (en) | 2003-07-14 |
Family
ID=14599566
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP11294998A Expired - Fee Related JP3426960B2 (en) | 1998-04-23 | 1998-04-23 | Video editing method and apparatus and recording medium recording the program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3426960B2 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002533841A (en) * | 1998-12-23 | 2002-10-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Personal video classification and search system |
| US7701811B2 (en) | 2001-07-11 | 2010-04-20 | Sony Corporation | Editing apparatus for optical disc reproducing device |
| US7848598B2 (en) | 2002-09-19 | 2010-12-07 | Fuji Xerox Co., Ltd. | Image retrieval processing to obtain static image data from video data |
| US7873905B2 (en) | 2002-09-19 | 2011-01-18 | Fuji Xerox Co., Ltd. | Image processing system |
-
1998
- 1998-04-23 JP JP11294998A patent/JP3426960B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002533841A (en) * | 1998-12-23 | 2002-10-08 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | Personal video classification and search system |
| US7701811B2 (en) | 2001-07-11 | 2010-04-20 | Sony Corporation | Editing apparatus for optical disc reproducing device |
| US7782719B2 (en) | 2001-07-11 | 2010-08-24 | Sony Corporation | Editing apparatus for optical disc reproducing device |
| US7848598B2 (en) | 2002-09-19 | 2010-12-07 | Fuji Xerox Co., Ltd. | Image retrieval processing to obtain static image data from video data |
| US7873905B2 (en) | 2002-09-19 | 2011-01-18 | Fuji Xerox Co., Ltd. | Image processing system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3426960B2 (en) | 2003-07-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6584463B2 (en) | Video searching method, apparatus, and program product, producing a group image file from images extracted at predetermined intervals | |
| EP2127368B1 (en) | Concurrent presentation of video segments enabling rapid video file comprehension | |
| US6988244B1 (en) | Image generating apparatus and method | |
| US5440677A (en) | Method and apparatus for processing audio and graphic images to create an interleaved file suitable for use as a CD-ROM product | |
| GB2372658A (en) | A method of creating moving video data from a static image | |
| KR20070090751A (en) | Image display method and video player | |
| JP2006515476A (en) | Method and apparatus for interactive network sharing of digital video content | |
| JPWO2005050986A1 (en) | Video content presentation method and apparatus | |
| CN109936763A (en) | The processing of video and dissemination method | |
| JP2006512859A (en) | Method and apparatus for interactive viewpoint authoring of digital video content | |
| JP2006514796A (en) | Method and apparatus for interactive map-based analysis of digital video content | |
| US6272279B1 (en) | Editing method of moving images, editing apparatus and storage medium storing its editing method program | |
| EP2034484A1 (en) | Method and apparatus for controlling editing image display | |
| JP4667356B2 (en) | Video display device, control method therefor, program, and recording medium | |
| JP4189575B2 (en) | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program | |
| JPH11308567A (en) | Layout video editing method and apparatus with page display function and recording medium recording the program | |
| JP4656199B2 (en) | Image processing apparatus, thumbnail movie creation method, and thumbnail movie creation program | |
| JP3595871B2 (en) | Apparatus for displaying / editing continuous media information, method for displaying / editing continuous media information, and recording medium recording the processing procedure thereof | |
| KR102078479B1 (en) | Method for editing video and videos editing device | |
| JP2003283968A (en) | Video display device | |
| JP3496866B2 (en) | Manga-type video editing method and apparatus, and recording medium recording the editing method | |
| US20240371408A1 (en) | Method of editing a video file | |
| JP4375286B2 (en) | Video display method and video display device | |
| US20060233419A1 (en) | Image display control method, image display control program, image data recording method and computer-readable medium | |
| JPH11341349A (en) | Video editing apparatus, video editing method, and recording medium recording this method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090509 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100509 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |