[go: up one dir, main page]

WO2012176367A1 - 画像処理装置、画像処理方法および集積回路 - Google Patents

画像処理装置、画像処理方法および集積回路 Download PDF

Info

Publication number
WO2012176367A1
WO2012176367A1 PCT/JP2012/002787 JP2012002787W WO2012176367A1 WO 2012176367 A1 WO2012176367 A1 WO 2012176367A1 JP 2012002787 W JP2012002787 W JP 2012002787W WO 2012176367 A1 WO2012176367 A1 WO 2012176367A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
super
image
pixel data
processing
Prior art date
Application number
PCT/JP2012/002787
Other languages
English (en)
French (fr)
Inventor
匡夫 濱田
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Priority to JP2012545001A priority Critical patent/JP5809164B2/ja
Priority to CN2012800011537A priority patent/CN102959580A/zh
Priority to US13/639,047 priority patent/US8934720B2/en
Publication of WO2012176367A1 publication Critical patent/WO2012176367A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387—Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3871—Composing, repositioning or otherwise geometrically modifying originals the composed originals being of different kinds, e.g. low- and high-resolution originals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal

Definitions

  • the present invention relates to an image processing technique for outputting an image subjected to super-resolution processing.
  • full HD High Definition
  • full HD is an image having 1920 pixels in the vertical direction and 1080 pixels in the horizontal direction.
  • contour enhancement filter processing and super-resolution processing are known as processing for sharpening an image.
  • the super-resolution processing is processing for correcting image details with a precision that cannot be obtained by the edge enhancement filter processing (see, for example, Non-Patent Document 1, Non-Patent Document 2, and Non-Patent Document 3).
  • encoding noise is generated at the time of encoding / decoding.
  • Such noise is often generated in a high frequency region (around the edge portion) particularly in an image constituting an image.
  • the present invention has been made in view of the above problems, and an object of the present invention is to provide an image processing apparatus that can perform super-resolution processing even in a high-frequency region and obtain a higher quality image.
  • An image processing apparatus is an image processing apparatus that generates an output image by performing image processing on an input image, and performs super-resolution processing on input pixel data constituting the input image.
  • a super-resolution processing unit that generates data, a region determination unit that distinguishes each of the input pixel data into high-frequency region data and non-high-frequency region data, and a noise amount of the input pixel data determined as the high-frequency region data
  • a generation unit that generates output pixel data constituting the output image using the super-resolution processing data.
  • FIG. 1 is a block diagram illustrating a configuration example of an image processing apparatus 100 according to Embodiment 1.
  • FIG. FIG. 3 is a block diagram illustrating a configuration example of a video selection unit 140 in the first embodiment. The figure which shows the example of a determination of the noise amount determination part 201 in Embodiment 1.
  • FIG. 6 is a flowchart illustrating an operation example of the image processing apparatus 100 according to the first embodiment.
  • FIG. 9 is a block diagram illustrating a configuration example of an image processing apparatus 500 according to the second embodiment.
  • FIG. 9 is a block diagram illustrating a configuration example of a video mixing unit 540 according to Embodiment 2.
  • 8 is a flowchart illustrating an operation example of the image processing apparatus 500 according to the second embodiment.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus 100 according to an embodiment of the present invention.
  • the image processing apparatus 100 includes an area determination unit 110, a filter processing unit 120, a super-resolution processing unit 130, and a video selection unit 140, and receives input image data 101 and noise information data 102 as inputs.
  • Output image data 103 is output.
  • the input image data 101 is image data obtained by performing an enlargement process on a low-resolution image to convert it to a high-resolution image, and position information in an image (frame) of a pixel to be processed.
  • the pixel to be processed is a pixel to be processed by the region determination unit 110, the filter processing unit 120, and the super-resolution processing unit 130.
  • the noise information data 102 is the amount of noise included in each pixel of the image data converted to the high resolution.
  • the image processing apparatus 100 receives the noise information data 102 estimated in advance using the compression rate and the quantization coefficient when the data that is the source of the input image data 101 is encoded.
  • the region determination unit 110 refers to the pixel value of the pixel to be processed (input pixel data) and the pixel value of the surrounding pixels (peripheral pixel data) from the position information of the pixel to be processed of the input image data 101, and It is determined whether the pixel belongs to a high frequency region where the luminance change is large, a medium frequency region where the luminance change is small, or a low frequency region where there is almost no luminance change. Output.
  • spectrum analysis with frequency conversion may be performed, and it may be determined which region is included using two thresholds from the maximum frequency component included in the pixel, or a high-pass type It is also possible to extract and determine a specific frequency using a filter such as a low-pass type or a band-pass type.
  • the high frequency region may be referred to as an edge portion, the middle frequency region as a texture portion, and the low frequency region as a flat portion.
  • the filter processing unit 120 refers to the input pixel data and surrounding pixel data, performs noise removal and contour enhancement filter processing, and outputs contour-enhanced filter processing data 121.
  • the super-resolution processing unit 130 performs super-resolution processing using the input image data 101, and outputs super-resolution processing data 131 obtained by performing the super-resolution processing.
  • a known technique such as super-resolution or color super-resolution using self-congruity disclosed in Non-Patent Document 1 can be used.
  • the video selection unit 140 Based on the estimated noise amount of the pixel to be processed in the noise information data 102 and the determination result of the area determination unit 110, the video selection unit 140 performs a pixel value (input pixel data) of a pixel to be processed in the input image data 101, a filter Output pixel data constituting the output image data 103 is selected and output from the processing data 121 and the super-resolution processing data 131.
  • FIG. 2 is a block diagram showing a configuration of the video selection unit 140.
  • the video selection unit 140 includes a noise amount determination unit 201, a selection unit 202, and a selection unit 203.
  • the noise amount determination unit 201 generates a signal for selecting either the filter processing data 121 or the super-resolution processing data 131 in the selection unit 202 based on the noise amount of the noise information data 102 and the region determination data 111.
  • the region determination data 111 is a high frequency region, a signal to be generated is determined based on the amount of noise.
  • the noise amount of the noise information data 102 is small, a signal for selecting the super-resolution processing data 131 for generating a high image quality is generated.
  • noise enhancement is performed. In order to avoid this, a signal for selecting the filtering data 121 is generated.
  • FIG. 3 shows a determination example of the noise amount determination unit 201.
  • the noise amount determination unit 201 generates a signal for selecting the filter processing data 121 when the region determination data 111 is in a high frequency region and the noise amount of the noise information data 102 is larger than a preset threshold value.
  • a signal for selecting the super-resolution processing data 131 is generated.
  • the noise amount determination unit 201 generates a signal for selecting the super-resolution processing data 131 when the region determination data 111 is in the medium frequency region, and the filter processing data 121 or the super-processing data when the region determination data 111 is in the low frequency region.
  • a signal for selecting a preset one of the resolution processing data 131 is generated.
  • the selection unit 202 selects and outputs either the filter processing data 121 or the super-resolution processing data 131 according to the signal generated by the noise amount determination unit 201.
  • the selection unit 203 outputs input pixel data as output pixel data according to a signal indicating the region determination data 111 when the region determination data 111 is a low frequency region.
  • the output of the selection unit 202 is output as output pixel data after waiting for the output of the selection unit 202.
  • video selection part 140 is implement
  • the image processing apparatus 100 when starting the frame processing, the image processing apparatus 100 first selects a pixel to be processed from the input image data 101 and the noise information data 102 (step S401). As a selection method, each pixel of the input image data 101 is selected by a raster scan method.
  • the filter processing unit 120 outputs filter processing data 121 obtained by performing filter processing on the input pixel data (step S402).
  • the super-resolution processing unit 130 outputs super-resolution processing data 131 obtained by performing super-resolution processing on the input pixel data (step S403).
  • the region determination unit 110 performs a region determination process for determining whether a pixel to be processed of the input image data 101 belongs to a high frequency region, a medium frequency region, or a low frequency region (step S404).
  • the selection unit 203 When the region determination data 111 is a low frequency region (when step 405 is YES), the selection unit 203 outputs the input pixel data as output pixel data regardless of the processing results of the noise amount determination unit 201 and the selection unit 202 ( Step S408).
  • the noise amount determination unit 201 When the region determination data 111 is a medium frequency region (when step S405 and step S406 are NO), the noise amount determination unit 201 outputs a signal for selecting the super-resolution processing data 131, and the selection unit 202 includes a noise amount determination unit.
  • the super-resolution processing data 131 is output according to the signal generated by 201, and the selection unit 203 outputs the super-resolution processing data 131 output from the selection unit 202 as output pixel data (step S409).
  • the noise amount of the noise information data 102 is compared with a preset threshold value (step S407).
  • the noise amount determination unit 201 When the noise amount is equal to or smaller than the threshold (NO in step S407), the noise amount determination unit 201 outputs a signal for selecting the super-resolution processing data 131, and the selection unit 202 follows the signal generated by the noise amount determination unit 201.
  • the super-resolution processing data 131 is output, and the selection unit 203 outputs the super-resolution processing data 131 output from the selection unit 202 as output pixel data (step S409).
  • the noise amount determination unit 201 When the noise amount is larger than the threshold value (in the case of YES at step S407), the noise amount determination unit 201 outputs a signal for selecting the filter processing data 121, and the selection unit 202 performs filtering according to the signal generated by the noise amount determination unit 201.
  • the processing data 121 is output, and the selection unit 203 outputs the filter processing data 121 output by the selection unit 202 as output pixel data (step S410).
  • the image processing apparatus 100 determines whether all the pixels of the input image data 101 have been processed (step S411). If there is a pixel that has not been processed (NO in step S411), the process returns to step S401 again. If all the pixels have been processed (YES in step S411), the frame processing ends.
  • step S411 a pixel that has not been processed
  • step S411 the process returns to step S401 again. If all the pixels have been processed (YES in step S411), the frame processing ends.
  • FIG. 5 is a block diagram illustrating a configuration of the image processing apparatus 500.
  • the image processing apparatus 500 includes a video mixing unit 540 instead of the video selection unit 140 as compared with the first embodiment.
  • the video mixing unit 540 mixes and outputs the input pixel data, the filter processing data 121, and the super-resolution processing data 131 based on the estimated noise amount of the processing target pixel of the noise information data 102 and the region determination data 111.
  • FIG. 6 is a block diagram showing the configuration of the video mixing unit 540.
  • the video mixing unit 540 includes a mixing ratio calculation unit 601, a mixing unit 602, and a mixing unit 603.
  • the mixing ratio calculation unit 601 calculates a mixing ratio ⁇ : (1 ⁇ ) for mixing the filter processing data 121 and the super-resolution processing data 131 based on the noise amounts of the area determination data 111 and the noise information data 102. And output.
  • the region determination data 111 is a high frequency region
  • the mixing ratio ⁇ : (1 ⁇ ) is set so that ⁇ increases as the amount of noise increases so that the noise is not emphasized by the super-resolution processing.
  • the mixing ratio of 121 is increased. However, 0 ⁇ ⁇ ⁇ 1.
  • ⁇ 0.0.
  • the mixing unit 602 uses the mixing ratio ⁇ : (1- ⁇ ) output from the mixing ratio calculation unit 601 to mix the filter processing data 121 and the super-resolution processing data 131 at ⁇ : (1- ⁇ ). Output mixed pixel data.
  • ⁇ is used to adjust the effect of image processing performed by the image processing apparatus 500 by determining the mixing ratio between the input pixel data and the mixed pixel data, and is set according to the user's preference.
  • the image processing apparatus 100 when starting the frame processing, the image processing apparatus 100 first selects a pixel to be processed from the input image data 101 and the noise information data 102 (step S701). As a selection method, each pixel of the input image data 101 is selected by a raster scan method.
  • the filter processing unit 120 outputs the filter processing data 121 obtained by filtering the input pixel data (Step S702).
  • the super-resolution processing unit 130 outputs super-resolution processing data 131 obtained by performing super-resolution processing on the input pixel data (step S703).
  • the area determination unit 110 performs an area determination process for determining whether the pixel to be processed of the input image data 101 belongs to a high frequency area, a medium frequency area, or a low frequency area (step S704).
  • the mixing unit 603 converts the input pixel data and the mixed pixel data to 1: regardless of the processing results of the mixing ratio calculation unit 601 and the mixing unit 602. Data mixed at 0, that is, input pixel data is output as output pixel data (step S710).
  • step S705 When the region determination data 111 is a high frequency region (when step S705 is NO and step S706 is YES), the mixture ratio calculation unit 601 mixes the filter processing data 121 and the super-resolution processing data 131 with a mixture ratio ⁇ :( 1 ⁇ ) is calculated, and the value ⁇ is output (step S708).
  • the mixing unit 602 uses the mixing ratio ⁇ : (1 ⁇ ) output from the mixing ratio calculation unit 601 to filter data 121 and super-resolution processing data 131. Are mixed with ⁇ : (1- ⁇ ) to output mixed pixel data (step S709).
  • the mixing unit 603 uses the preset mixing ratio ⁇ : (1- ⁇ ) to convert the input pixel data and the mixed pixel data into ⁇ : (1
  • the output pixel data mixed at - ⁇ ) is output (step S711).
  • the image processing apparatus 500 determines whether all pixels of the input image data 101 have been processed (step S712). If there is a pixel that has not been processed (NO in step S712), the process returns to step S701 again. If all the pixels have been processed (YES in step S712), the frame processing ends. ⁇ Supplement 1> Although the said embodiment was demonstrated, this invention is not limited to this. Hereinafter, various modifications included as the idea of the present invention will be described.
  • the input image data 101 is image data obtained by performing an enlargement process on a low resolution image and converting it to a high resolution image.
  • image data that has not been subjected to enlargement processing may be input for sharpening.
  • the input image data 101 is image data obtained by performing an enlargement process on a low resolution image and converting it to a high resolution image.
  • the enlargement process may be performed inside the image processing apparatus by adding an enlargement processing unit to the configuration.
  • the noise information data 102 estimates coding noise, but the present invention is not limited to this.
  • the image processing apparatus is an imaging apparatus
  • optical noise is estimated as the noise information data 102.
  • the noise amount of each pixel can be estimated using a stochastic distribution from the sensor characteristics of the imaging device and the luminance value of the image.
  • the region determination unit 110 performs spectrum analysis with frequency conversion as a region determination method, but simply calculates from difference information with luminance values of surrounding pixels. It may be a method.
  • the mixing ratio calculation unit 601 calculates the mixing ratio ⁇ using the CLIP function.
  • the filter processing data 121 increases as the noise amount increases. It suffices if the mixing ratio becomes large, and it may be calculated from a monotonically increasing function having a noise amount other than the CLIP function as a variable, or a value corresponding to the region determination data 111 and the noise amount using a mixing ratio table. May be output.
  • Machine language or high-level code for causing the processor of the image processing apparatus and various circuits connected to the processor to execute the processes (filtering process, super-resolution process, etc.) shown in the first and second embodiments.
  • a control program composed of a language program code can be recorded on a recording medium, or can be distributed and distributed via various communication paths.
  • a recording medium includes an IC card, a hard disk, an optical disk, a flexible disk, a ROM, a flash memory, and the like.
  • the distributed and distributed control program is used by being stored in a memory or the like that can be read by the processor, and the processor executes the control program to realize each function as shown in each embodiment. Will come to be.
  • the processor may be compiled and executed or executed by an interpreter.
  • Each functional component (filter processing unit, super-resolution processing unit, etc.) described in the first and second embodiments may be realized as a circuit that executes the function, or by one or a plurality of processors. It may be realized by executing a program.
  • the image processing apparatus shown in the first and second embodiments may be configured as a package of an IC, an LSI, or another integrated circuit. This package is incorporated into various devices for use, whereby the various devices realize the functions as shown in the embodiments.
  • Each functional block is typically realized as an LSI that is an integrated circuit. These may be individually made into one chip, or may be made into one chip so as to include a part or all of them.
  • the name used here is LSI, but it may also be called IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of circuit integration is not limited to LSI's, and implementation using dedicated circuitry or general purpose processors is also possible.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and setting of circuit cells inside the LSI may be used.
  • An image processing apparatus is an image processing apparatus that performs an image process on an input image to generate an output image, and is a pixel to be processed among pixel data constituting the input image
  • a super-resolution processing unit that performs super-resolution processing on the data to generate super-resolution processing data
  • a region determination unit that distinguishes the pixel data to be processed into high-frequency region data and non-high-frequency region data
  • a generation unit configured to generate output pixel data as the output image using the super-resolution processing data according to a noise amount of the pixel data determined to be region data.
  • An image processing method is an image processing method for generating an output image by performing image processing on an input image, and among the pixel data constituting the input image, pixel data to be processed A super-resolution processing step for generating super-resolution processing data by performing super-resolution processing, a region determination step for distinguishing the pixel data to be processed into high-frequency region data and non-high-frequency region data, and the high-frequency region A generation step of generating output pixel data as the output image using the super-resolution processing data in accordance with a noise amount of the pixel data determined to be data.
  • An integrated circuit is an integrated circuit used in an image processing apparatus that generates an output image by performing image processing on an input image, and includes processing among pixel data constituting the input image.
  • a super-resolution processing unit that performs super-resolution processing on target pixel data to generate super-resolution processing data; and a region determination unit that distinguishes the processing target pixel data into high-frequency region data and non-high-frequency region data;
  • a generating unit that generates output pixel data as the output image using the super-resolution processing data according to a noise amount of the pixel data determined to be the high-frequency region data.
  • the program of an embodiment of the present invention includes a super-resolution processing step of generating super-resolution processing data by performing super-resolution processing on input pixel data constituting an input image, and each of the input pixel data, A region determination step for distinguishing between high-frequency region data and non-high-frequency region data, and input pixel data determined as the high-frequency region data, using the super-resolution processing data according to the amount of noise of the input pixel data And a generation step of generating output pixel data constituting the output image.
  • the generation unit may process the super-resolution processing data if the noise amount of the input pixel data determined as the high-frequency region data is smaller than a predetermined threshold.
  • the output pixel data may be used as it is.
  • the image processing apparatus further includes a filter processing unit that generates filter processing data by performing filter processing on the input pixel data, and the generation unit is determined to be the high-frequency region data.
  • First mixing means for generating first mixed data obtained by mixing the filter processing data and the super-resolution processing data according to the amount of noise of the input pixel data that has been input, and outputting the first mixed data to the output It may be pixel data.
  • the first mixing unit is configured such that the mixing ratio ⁇ : (1 ⁇ ) (however, 0 so that ⁇ increases as the noise amount increases).
  • ⁇ ⁇ ⁇ 1) may be calculated, and the first mixed data may be generated by mixing the filter processing data and the super-resolution processing data at the mixing ratio ⁇ : (1- ⁇ ).
  • the generation unit further generates second mixed data obtained by mixing the input pixel data and the first mixed data at a preset ratio.
  • a second mixing unit may be included, and the second mixed data may be used as the output pixel data instead of the first mixed data.
  • the effect of image processing can be weakened by mixing unprocessed image data with image data that has undergone image processing, and the effect of image processing can be adjusted by adjusting the mixing ratio. Can be adjusted.
  • the image processing apparatus of the present invention can be used as a video display apparatus, an image reproduction apparatus, an imaging apparatus, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

　ノイズの影響により超解像処理の処理範囲が限定されることを低減した画像処理装置を提供する。入力画像を構成する各画素を高周波領域画素と非高周波領域画素に区別し、高周波領域画素と判定された画素に対して、ノイズ量に応じて超解像処理を用いて出力画像を生成する。

Description

画像処理装置、画像処理方法および集積回路
　本発明は、超解像処理を施した画像を出力する画像処理技術に関する。
　近年、映像コンテンツのフルＨＤ（High Definition）化が進み、フルＨＤの解像度を有する表示機器で映像を視聴する機会が増えている。なお、フルＨＤとは、縦１９２０画素、横１０８０画素の映像である。
　このような表示機器でＤＶＤ等に記録された低解像度の映像をフルＨＤで視聴する場合には、その映像に拡大処理を施して高解像度に変換する必要がある。しかし、低解像度から高解像度への変換する処理には、拡大処理に伴って画像がぼやけてしまうという問題がある。
　そこで、画像を鮮鋭化させる処理として輪郭強調フィルタ処理や超解像処理が知られている。ここでいう超解像処理とは、輪郭強調フィルタ処理では得られない精密さで画像の細部を補正する処理である（例えば、非特許文献１、非特許文献２、非特許文献３参照）。
　ところで、超解像処理には、画素単位の処理を行うものもあるが、処理対象となる画素にノイズが含まれていた場合には、そのノイズをも鮮鋭化（強調）してしまう可能性がある。
　記録媒体に記録されている映像コンテンツは、一般に符号化を行った上で記録されるため、その符号化・復号化の際、いわゆる符号化ノイズが発生する。このようなノイズは、特に映像を構成する画像において、高周波領域（エッジ部周辺）に発生することが多い。
　そこで、高周波領域においては超解像処理を行わずに、輪郭強調フィルタ処理を行う手法がある（例えば、非特許文献４参照）。
　また、上述のノイズの影響を抑制すべく、ノイズ除去フィルタ処理と輪郭強調フィルタ処理を組み合わせたフィルタ処理が提案されている（例えば、特許文献１参照）。
　なお、ノイズ除去の効率を高めるために、ノイズ量を測定し、ノイズ除去フィルタのノイズ除去度値の変更を行う手法もある（例えば、特許文献２参照）。
特開平７－１５２９０８号公報 特開２００８－１８２４８７号公報
今田　敬、"大画面時代の鮮明な画像拡大技術"、東芝レビュー2009 Vol.64 No.2 三島　直、山内　日美生、"CELL レグザの超解像技術"、 東芝レビュー 2010 Vol.65 No.4 S. Park、M. Park、M. Kang、"Super-Resolution Image Reconstruction :A Technical Overview"、IEEE Signal Processing Magazine、2003、Vol.20、Issue 3、Pages 21 - 36 東芝ＷＥＢページ、"高解像を超えた、東芝の技術力"、[online] 、［平成23年4月1日検索］、インターネット<URL: http://www.toshiba.co.jp/regza/detail/superresolution/technology.html>
　しかし、上述のノイズ除去処理を行った場合、超解像処理の効果が低減してしまう。また、上述のように、超解像処理によってノイズを強調してしまう可能性もある。従って、ノイズが現れる高周波領域においては超解像処理によってかえって画質が低下してしまうことがある。
　本発明は、上記問題に鑑みてなされたものであり、高周波領域においても超解像処理を行って、より高画質な画像が得られる画像処理装置を提供することを目的とする。
　本発明に係る画像処理装置は、入力画像に画像処理を施して出力画像を生成する画像処理装置であって、前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定部と、前記高周波領域データと判定された入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成部とを備えることを特徴としている。
　上記の構成により、高周波領域においてもノイズの影響を受けない範囲で超解像処理による高画質化を利用することができる。
実施の形態１における画像処理装置１００の構成例を示すブロック図 実施の形態１における映像選択部１４０の構成例を示すブロック図 実施の形態１におけるノイズ量判定部２０１の判定例を示す図 実施の形態１における画像処理装置１００の動作例を示すフローチャート 実施の形態２における画像処理装置５００の構成例を示すブロック図 実施の形態２における映像混合部５４０の構成例を示すブロック図 実施の形態２における画像処理装置５００の動作例を示すフローチャート
＜実施の形態１＞
　以下、本発明の一実施形態である画像処理装置１００について図面を用いて説明する。
＜構成＞
　図１は、本発明の一実施形態の画像処理装置１００の構成を示すブロック図である。図１に示すように、画像処理装置１００は、領域判定部１１０、フィルタ処理部１２０、超解像処理部１３０および映像選択部１４０を備え、入力画像データ１０１およびノイズ情報データ１０２を入力として、出力画像データ１０３を出力する。
　入力画像データ１０１は、低解像度の画像に拡大処理を施して高解像度の画像へ変換した画像データおよび処理対象の画素の画像（フレーム）における位置情報である。なお、処理対象の画素とは、領域判定部１１０、フィルタ処理部１２０および超解像処理部１３０で行う処理の対象となる画素のことである。
　ノイズ情報データ１０２は、上記高解像度に変換してある画像データの各画素に含まれるノイズ量である。画像処理装置１００は、入力画像データ１０１の元となるデータを符号化した際の圧縮率や量子化係数を用いて、あらかじめ推定されたノイズ情報データ１０２を入力とする。
　領域判定部１１０は、入力画像データ１０１の処理対象の画素の位置情報から処理対象の画素の画素値（入力画素データ）とその周辺画素の画素値（周辺画素データ）を参照し、処理対象となる画素が輝度の変化が大きい高周波領域、輝度の変化が小さい中周波領域および輝度の変化がほとんどない低周波領域のうちいずれの領域に属しているかを判定し、領域によって異なる領域判定データ１１１を出力する。判定方法の一例として、周波数変換を伴ったスペクトル解析を行い、画素に含まれる最大周波数成分から２つ閾値を使用していずれの領域に含まるかを判定してもよいし、高域通過型や低域通過型、帯域通過型などのフィルタを用いて特定の周波数を取り出し判定することも可能である。
　なお、高周波領域のことをエッジ部、中周波領域のことをテクスチャ部、低周波領域のことを平坦部と呼ぶこともある。
　フィルタ処理部１２０は、入力画素データとその周辺画素データを参照し、ノイズ除去や輪郭強調のフィルタ処理を行い、輪郭強調されたフィルタ処理データ１２１を出力する。
　超解像処理部１３０は、入力画像データ１０１を用いて、超解像処理を行うもので、超解像処理を行って得られた超解像処理データ１３１を出力する。なお、超解像処理については、例えば、非特許文献１で開示された自己合同性を利用した超解像や色超解像等の公知の技術を用いることが可能である。
　映像選択部１４０は、ノイズ情報データ１０２の処理対象の画素の推定ノイズ量および領域判定部１１０の判定結果に基づいて、入力画像データ１０１の処理対象の画素の画素値（入力画素データ）、フィルタ処理データ１２１および超解像処理データ１３１から、出力画像データ１０３を構成する出力画素データを選択し出力する。
　図２は、映像選択部１４０の構成を示すブロック図である。図２に示すように、映像選択部１４０は、ノイズ量判定部２０１、選択部２０２および選択部２０３を備える。
　ノイズ量判定部２０１はノイズ情報データ１０２のノイズ量と領域判定データ１１１により、選択部２０２においてフィルタ処理データ１２１と超解像処理データ１３１のいずれかを選択する信号を生成する。領域判定データ１１１が高周波領域の場合は、ノイズ量によって生成する信号を決定する。ノイズ情報データ１０２のノイズ量が小さい場合には、高画質化のために超解像処理データ１３１を選択する信号を生成し、ノイズ情報データ１０２のノイズ量が大きい場合には、ノイズの強調を避けるためにフィルタ処理データ１２１を選択する信号を生成する。
　図３に、ノイズ量判定部２０１の判定例を示す。ノイズ量判定部２０１は、領域判定データ１１１が高周波領域でノイズ情報データ１０２のノイズ量が、あらかじめ設定されている閾値よりも大きな場合には、フィルタ処理データ１２１を選択する信号を生成し、領域判定データ１１１が高周波領域でノイズ情報データ１０２のノイズ量があらかじめ設定されている閾値以下の場合には、超解像処理データ１３１を選択する信号を生成する。また、ノイズ量判定部２０１は、領域判定データ１１１が中周波領域の場合には、超解像処理データ１３１を選択する信号を生成し、低周波領域の場合には、フィルタ処理データ１２１もしくは超解像処理データ１３１のうちあらかじめ設定してある方を選択する信号を生成する。
　選択部２０２は、ノイズ量判定部２０１により生成される信号に従って、フィルタ処理データ１２１と超解像処理データ１３１とのいずれかを選択し出力する。
　選択部２０３は、領域判定データ１１１を示す信号に従って、領域判定データ１１１が低周波領域の場合は入力画素データを出力画素データとして出力する。領域判定データ１１１が中周波領域および高周波領域の場合には、選択部２０２の出力を待って選択部２０２の出力結果を出力画素データとして出力する。
　なお、領域判定部１１０、フィルタ処理部１２０、超解像処理部１３０および映像選択部１４０の各構成要素は、例えば、ＣＰＵがＲＡＭ等に記憶されたプログラムを実行することにより実現される。
＜動作＞
　次に、本実施形態の動作を図４に示すフローチャートを用いて説明する。
　図４に示すように画像処理装置１００は、フレーム処理を開始するとまず、入力画像データ１０１およびノイズ情報データ１０２から処理対象の画素を選択する（ステップＳ４０１）。選択方法は、入力画像データ１０１の各画素をラスタスキャン方式で選択する。
　フィルタ処理部１２０は入力画素データにフィルタ処理を施したフィルタ処理データ１２１を出力する（ステップＳ４０２）。超解像処理部１３０は入力画素データに超解像処理を施した超解像処理データ１３１を出力する（ステップＳ４０３）。
　次に、領域判定部１１０は入力画像データ１０１の処理対象の画素が高周波領域、中周波領域および低周波領域のいずれの領域に属するかを判定する領域判定処理を行う（ステップＳ４０４）。
　領域判定データ１１１が低周波領域の場合（ステップ４０５がＹＥＳの場合）、選択部２０３はノイズ量判定部２０１および選択部２０２の処理結果によらず、入力画素データを出力画素データとして出力する（ステップＳ４０８）。
　領域判定データ１１１が中周波領域の場合（ステップＳ４０５およびステップＳ４０６がＮＯの場合）、ノイズ量判定部２０１は超解像処理データ１３１を選択する信号を出力し、選択部２０２はノイズ量判定部２０１の生成した信号に従って超解像処理データ１３１を出力し、選択部２０３は選択部２０２が出力した超解像処理データ１３１を出力画素データとして出力する（ステップＳ４０９）。
　領域判定データ１１１が高周波領域の場合（ステップＳ４０５がＮＯでステップＳ４０６がＹＥＳの場合）、ノイズ情報データ１０２のノイズ量とあらかじめ設定されている閾値との比較を行う（ステップＳ４０７）。
　ノイズ量が閾値以下の場合（ステップＳ４０７のＮＯの場合）、ノイズ量判定部２０１は超解像処理データ１３１を選択する信号を出力し、選択部２０２はノイズ量判定部２０１の生成した信号に従って超解像処理データ１３１を出力し、選択部２０３は選択部２０２が出力した超解像処理データ１３１を出力画素データとして出力する（ステップＳ４０９）。
　ノイズ量が閾値よりも大きい場合（ステップＳ４０７のＹＥＳの場合）、ノイズ量判定部２０１はフィルタ処理データ１２１を選択する信号を出力し、選択部２０２はノイズ量判定部２０１の生成した信号に従ってフィルタ処理データ１２１を出力し、選択部２０３は選択部２０２が出力したフィルタ処理データ１２１を出力画素データとして出力する（ステップＳ４１０）。
　画像処理装置１００は、入力画像データ１０１の全画素を処理したかどうかの判定を行う（ステップＳ４１１）。処理していない画素がある場合（ステップＳ４１１のＮＯの場合）は再度ステップＳ４０１に戻り、全画素を処理した場合（ステップＳ４１１のＹＥＳの場合）はフレーム処理を終了する。
＜実施の形態２＞
　以下、本発明の一実施形態である画像処理装置について説明する。実施の形態１では各画素処理において、複数の画像処理結果から１つを選択して出力画素データを生成していたが、実施の形態２では、複数の画像処理結果を混合することによって出力画素データを生成する。なお、構成とデータについて実施の形態１と同様の部分は同様の符号を付し説明を省略する。
＜構成＞
　図５は、画像処理装置５００の構成を示すブロック図である。図５に示すように、画像処理装置５００は実施の形態１と比較して映像選択部１４０代わりとして映像混合部５４０を備える。
映像混合部５４０は、ノイズ情報データ１０２の処理対象の画素の推定ノイズ量および領域判定データ１１１に基づいて、入力画素データ、フィルタ処理データ１２１および超解像処理データ１３１を混合して出力する。
　図６は、映像混合部５４０の構成を示すブロック図である。図６に示すように、映像混合部５４０は、混合比率算出部６０１、混合部６０２および混合部６０３を備える。
　混合比率算出部６０１は、領域判定データ１１１とノイズ情報データ１０２のノイズ量に基づいて、フィルタ処理データ１２１と超解像処理データ１３１を混合するための混合比率α：（１－α）を計算し、出力する。領域判定データ１１１が高周波領域である場合は、超解像処理によってノイズが強調されないように、混合比率α：（１－α）は、ノイズ量が大きくなるに従ってαを大きくして、フィルタ処理データ１２１の混合割合が大きくなるようにする。ただし、０≦α≦１とする。
　ここでは、混合比率α：（１－α）の算出方法は、あらかじめ設定されているノイズ量をＮ、ノイズ情報データ１０２のノイズ量をＭとすると、混合比率α：（１－α）は、α＝ＣＬＩＰ（1.0、Ｍ／Ｎ）とする。ＣＬＩＰ関数の意味は、（Ｍ／Ｎ）≦1.0ならばα＝Ｍ／Ｎ、（Ｍ／Ｎ）＞1.0ならばα＝1.0となる関数である。ただし、領域判定データ１１１が中周波領域の場合はα=0.0とする。
　混合部６０２は、混合比率算出部６０１から出力された混合比率α：（１－α）を用いて、フィルタ処理データ１２１と超解像処理データ１３１とをα：（１－α）で混合した混合画素データを出力する。
　混合部６０３では、入力画素データと混合部６０２の出力結果とを、あらかじめ設定されている混合比率β：（１－β）で混合した出力画素データを出力する。ただし、領域判定データ１１１が低周波領域の場合はβ=1.0として入力画素データを無処理で出力する。また、領域判定データ１１１が中周波領域および高周波領域の場合は、混合部６０２の処理が終了するのを待って混合部６０３の処理を開始するものとする。
　なお、βの値は、入力画素データと混合画素データとの混合割合を決めて、画像処理装置５００の行う画像処理の効果を調整するものであり、ユーザの好みで設定する。
＜動作＞
　本実施の形態の動作を図７に示すフローチャートを用いて説明する。
　図７に示すように画像処理装置１００は、フレーム処理を開始するとまず、入力画像データ１０１およびノイズ情報データ１０２から処理対象の画素を選択する（ステップＳ７０１）。選択方法は、入力画像データ１０１の各画素をラスタスキャン方式で選択する。
　フィルタ処理部１２０は入力画素データにフィルタ処理を施したフィルタ処理データ１２１を出力する（ステップＳ７０２）。超解像処理部１３０は入力画素データに超解像処理を施した超解像処理データ１３１を出力する（ステップＳ７０３）。
　次に、領域判定部１１０は入力画像データ１０１の処理対象の画素が高周波領域、中周波領域および低周波領域のいずれの領域に属するかを判定する領域判定処理を行う（ステップＳ７０４）。
　領域判定データ１１１が低周波領域の場合（ステップ７０５がＹＥＳの場合）、混合部６０３は混合比率算出部６０１および混合部６０２の処理結果によらず、入力画素データと混合画素データとを１：０で混合したデータ、つまり、入力画素データを出力画素データとして出力する（ステップＳ７１０）。
　領域判定データ１１１が中周波領域の場合（ステップ７０５およびステップＳ７０６がＮＯの場合）、混合比率算出部６０１はフィルタ処理データ１２１と超解像処理データ１３１と混合するための混合比率α：（１－α）をα＝0.0と設定し出力する（ステップＳ７０７）。
　領域判定データ１１１が高周波領域の場合（ステップＳ７０５がＮＯでステップＳ７０６がＹＥＳの場合）、混合比率算出部６０１はフィルタ処理データ１２１と超解像処理データ１３１と混合するための混合比率α：（１－α）を算出し、値αを出力する（ステップＳ７０８）。
　領域判定データ１１１が中周波領域および高周波領域の場合、混合部６０２は、混合比率算出部６０１が出力した混合比率α：（１－α）を用いてフィルタ処理データ１２１と超解像処理データ１３１とをα：（１－α）で混合した混合画素データを出力する（ステップＳ７０９）。
　領域判定データ１１１が中周波領域および高周波領域の場合、混合部６０３は、あらかじめ設定してある混合比率β：（１－β）を用いて入力画素データと混合画素データとを、β：（1－β）で混合した出力画素データを出力する（ステップＳ７１１）。
　画像処理装置５００は、入力画像データ１０１の全画素を処理したかどうかの判定を行う（ステップＳ７１２）。処理していない画素がある場合（ステップＳ７１２のＮＯの場合）は再度ステップＳ７０１に戻り、全画素を処理した場合（ステップＳ７１２のＹＥＳの場合）はフレーム処理を終了する。
＜補足１＞
　上記実施形態について説明したが、本発明はこれに限られるものではない。以下、本発明の思想として含まれる各種変形例について説明する。
　（１）実施の形態１、２では、入力画像データ１０１は、低解像度の画像に拡大処理を施して高解像度の画像へ変換した画像データであって、処理対象の画素の画素値およびフレームにおける位置情報としたが、拡大処理について、拡大処理を施していない画像データを鮮鋭化するために入力してもよい。
　（２）実施の形態１、２では、入力画像データ１０１は、低解像度の画像に拡大処理を施して高解像度の画像へ変換した画像データであって、処理対象の画素の画素値およびフレームにおける位置情報としたが、拡大処理について、構成に拡大処理部を追加して画像処理装置の内部で拡大処理を行ってもよい。
　（３）実施の形態１，２ではノイズ情報データ１０２は、符号化ノイズを推定しているが、これに限るものではない。例えば、画像処理装置が撮像装置の場合には、ノイズ情報データ１０２として、光学ノイズを推定する。光学ノイズは、撮像装置のセンサ特性や画像の輝度値から確率的な分布を用いて各画素のノイズ量を推定できる。
　（４）実施の形態１、２では、領域判定部１１０は、領域判定方法として、周波数変換を伴うスペクトル解析を行うものとしたが、簡易的に周辺画素の輝度値との差分情報から算出する方法でもよい。
　（５）実施の形態２では、混合比率算出部６０１は、ＣＬＩＰ関数を用いて混合比率αを計算するとしたが、混合比率αの算出方法については、ノイズ量が大きくなるに従ってフィルタ処理データ１２１の混合割合が大きくなるものであれば足り、ＣＬＩＰ関数以外のノイズ量を変数とする単調増加関数から算出してもよいし、混合比率テーブルを用いて、領域判定データ１１１とノイズ量から対応した値を出力してもよい。
　（６）上述の各実施形態及び各変形例を、部分的に組み合せてもよい。
　（７）実施の形態１、２で示した各処理（フィルタ処理、超解像処理等）を、画像処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるための機械語或いは高級言語のプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路等を介して流通させ頒布することもできる。このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ、フラッシュメモリ等がある。流通、頒布された制御プログラムはプロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより各実施形態で示したような各機能が実現されるようになる。なお、プロセッサは、制御プログラムを直接実行する他、コンパイルして実行或いはインタプリタにより実行してもよい。
　（８）実施の形態１～２で示した各機能構成要素（フィルタ処理部、超解像処理部等）は、その機能を実行する回路として実現されてもよいし、１又は複数のプロセッサによりプログラムを実行することで実現されてもよい。また、実施形態１、２で示した画像処理装置は、ＩＣ、ＬＳＩその他の集積回路のパッケージとして構成されるものとしてもよい。このパッケージは各種装置に組み込まれて利用に供され、これにより各種装置は、各実施形態で示したような各機能を実現するようになる。
　なお、各機能ブロック（フィルタ処理部、超解像処理部等）は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップされてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。更には、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
＜補足２＞
　本発明の取り得る一実施形態とその効果について説明する。
　（１）本発明の一実施形態の画像処理装置は、入力画像に画像処理を施して出力画像を生成する画像処理装置であって、前記入力画像を構成する画素データのうち、処理対象の画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、前記処理対象の画素データを、高周波領域データと非高周波領域データに区別する領域判定部と、前記高周波領域データと判定された画素データのノイズ量に応じて前記超解像処理データを用いて、出力画素データを前記出力画像として生成する生成部とを備える。
　また、本発明の一実施形態の画像処理方法は、入力画像に画像処理を施して出力画像を生成する画像処理方法であって、前記入力画像を構成する画素データのうち、処理対象の画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、前記処理対象の画素データを、高周波領域データと非高周波領域データに区別する領域判定ステップと、前記高周波領域データと判定された画素データのノイズ量に応じて前記超解像処理データを用いて、出力画素データを前記出力画像として生成する生成ステップとを含む。
　また、本発明の一実施形態の集積回路は、入力画像に画像処理を施して出力画像を生成する画像処理装置に用いられる集積回路であって、前記入力画像を構成する画素データのうち、処理対象の画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、前記処理対象の画素データを、高周波領域データと非高周波領域データに区別する領域判定部と、前記高周波領域データと判定された画素データのノイズ量に応じて前記超解像処理データを用いて、出力画素データを前記出力画像として生成する生成部とを備える。
　また、本発明の一実施形態のプログラムは、入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定ステップと、前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、出力画像を構成する出力画素データを生成する生成ステップとを含む。
　上記構成によれば、高周波領域においてもノイズの影響を受けない範囲で超解像処理による高画質化を利用することで、従来よりも鮮鋭な出力画像を得ることができる。
　（２）上記実施形態（１）の画像処理装置において、前記生成部は、前記高周波領域データと判定された入力画素データのノイズ量が所定の閾値よりも小さければ、前記超解像処理データをそのまま前記出力画素データとするとしてもよい。
　（３）上記実施形態（１）の画像処理装置は、更に、前記入力画素データにフィルタ処理を施してフィルタ処理データを生成するフィルタ処理部を備え、前記生成部は、前記高周波領域データと判定された入力画素データのノイズ量に応じて、前記フィルタ処理データと前記超解像処理データとを混合した第１混合データを生成する第１混合手段を有し、前記第１混合データを前記出力画素データとするとしてもよい。
　（４）上記実施形態（３）の画像処理装置において、前記第1混合手段は、前記ノイズ量が大きくなるにしたがって、αも大きくなるように混合比率α：（１－α）（ただし、０≦α≦１）を算出し、前記フィルタ処理データと、前記超解像処理データとを、前記混合比率α：（１－α）で混合して前記第１混合データを生成するとしてもよい。
　上記（３）、（４）の構成によれば、高周波領域においても超解像処理による高画質化を利用でき、ノイズ量に応じてフィルタ処理データを混合させることで、ノイズが強調されることを抑えることができる。
　（５）上記実施形態（３）の画像処理装置において、前記生成部は、さらに、前記入力画素データと前記第１混合データとを、あらかじめ設定された比率で混合した第２混合データを生成する第２混合手段を有し、前記第１混合データの代わりに前記第２混合データを前記出力画素データとするとしてもよい。
　上記（５）の構成によれば、画像処理が施された画像データに無処理の画像データを混合することで画像処理の効果を弱めることができ、混合割合を調整することで画像処理の効果を調整することができる。
　本発明の画像処理装置は、映像表示装置、画像再生装置、撮像装置等として活用することができる。
　１００、５００　画像処理装置
　１０１　入力画像データ
　１０２　ノイズ情報データ
　１０３　出力画像データ
　１１０　領域判定部
　１１１　領域判定データ
　１２０　フィルタ処理部
　１２１　フィルタ処理データ
　１３０　超解像処理部
　１３１　超解像処理データ
　１４０　映像選択部
　５４０　映像混合部
　２０１　ノイズ量判定部
　２０２、２０３　選択部
　６０１　混合比率算出部
　６０２、６０３　混合部

Claims (8)

  1. 　入力画像に画像処理を施して出力画像を生成する画像処理装置であって、
    　前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、
    　前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定部と、
    　前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成部と
    　を備えることを特徴とする画像処理装置。
  2. 　前記生成部は、前記高周波領域データと判定された入力画素データのノイズ量が所定の閾値よりも小さければ、前記超解像処理データをそのまま前記出力画素データとする
    　ことを特徴とする請求項１記載の画像処理装置。
  3. 　更に、前記入力画素データにフィルタ処理を施してフィルタ処理データを生成するフィルタ処理部を備え、
    　前記生成部は、
    　　前記高周波領域データと判定された入力画素データのノイズ量に応じて、前記フィルタ処理データと前記超解像処理データとを混合した第１混合データを生成する第１混合手段を有し、
    　　前記第１混合データを前記出力画素データとする
    　ことを特徴とする請求項1記載の画像処理装置。
  4. 　前記第1混合手段は、前記ノイズ量が大きくなるにしたがって、αも大きくなるように混合比率α：（１－α）（ただし、０≦α≦１）を算出し、前記フィルタ処理データと、前記超解像処理データとを、前記混合比率α：（１－α）で混合して前記第１混合データを生成する
    　ことを特徴とする請求項３記載の画像処理装置。
  5. 　前記生成部は、
    　　更に、前記入力画素データと前記第１混合データとを、あらかじめ設定された比率で混合した第２混合データを生成する第２混合手段を有し、
    　　前記第１混合データの代わりに前記第２混合データを前記出力画素データとする
    　ことを特徴とする請求項３記載の画像処理装置。
  6. 　入力画像に画像処理を施して出力画像を生成する画像処理方法であって、
    　前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、
    　前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定ステップと、
    　前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成ステップと
    　を含むことを特徴とする画像処理方法。
  7. 　入力画像に画像処理を施して出力画像を生成する画像処理装置に用いられる集積回路であって、
    　前記入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理部と、
    　前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定部と、
    　前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、前記出力画像を構成する出力画素データを生成する生成部と
    　を備えることを特徴とする集積回路。
  8. 　コンピュータ読み取り可能な非一時的な記録媒体に記録され、画像処理を実行するためのプログラムであって、
    　前記画像処理は、
    　　入力画像を構成する入力画素データに超解像処理を施して超解像処理データを生成する超解像処理ステップと、
    　　前記入力画素データそれぞれを、高周波領域データと非高周波領域データに区別する領域判定ステップと、
    　　前記高周波領域データと判定された入力画素データに対して、当該入力画素データのノイズ量に応じて前記超解像処理データを用いて、出力画像を構成する出力画素データを生成する生成ステップと
    　を含むことを特徴とするプログラム。
PCT/JP2012/002787 2011-06-24 2012-04-24 画像処理装置、画像処理方法および集積回路 WO2012176367A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012545001A JP5809164B2 (ja) 2011-06-24 2012-04-24 画像処理装置、画像処理方法および集積回路
CN2012800011537A CN102959580A (zh) 2011-06-24 2012-04-24 图像处理装置、图像处理方法及集成电路
US13/639,047 US8934720B2 (en) 2011-06-24 2012-04-24 Image processing device, image processing method, and integrated circuit in which super resolution process data is output as output data for input pixel data that is classified as high-frequency region data and that has noise less than or equal to a threshold

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-140355 2011-06-24
JP2011140355 2011-06-24

Publications (1)

Publication Number Publication Date
WO2012176367A1 true WO2012176367A1 (ja) 2012-12-27

Family

ID=47422232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/002787 WO2012176367A1 (ja) 2011-06-24 2012-04-24 画像処理装置、画像処理方法および集積回路

Country Status (4)

Country Link
US (1) US8934720B2 (ja)
JP (1) JP5809164B2 (ja)
CN (1) CN102959580A (ja)
WO (1) WO2012176367A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101643229B1 (ko) * 2014-11-18 2016-07-27 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
US9607359B2 (en) * 2014-12-29 2017-03-28 Kabushiki Kaisha Toshiba Electronic device, method, and computer program product

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025862A (ja) * 2007-07-17 2009-02-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
JP2010041337A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2790604B2 (ja) 1993-11-30 1998-08-27 シャープ株式会社 画像処理装置
KR100504594B1 (ko) * 2003-06-27 2005-08-30 주식회사 성진씨앤씨 데이터 압축 처리된 저해상도 영상으로부터 초해상도 영상복원 및 재구성 방법
JP2007026334A (ja) * 2005-07-21 2007-02-01 Olympus Corp 画像処理装置
CN100442821C (zh) * 2005-07-25 2008-12-10 扬智科技股份有限公司 影像增显系统
JP4862668B2 (ja) 2007-01-24 2012-01-25 ソニー株式会社 画像処理装置および画像処理方法、並びにプログラム
JP5098054B2 (ja) * 2007-11-22 2012-12-12 オリンパス株式会社 画像処理装置及び画像処理プログラム
CN101320423A (zh) * 2008-06-26 2008-12-10 复旦大学 基于高频超分辨率的低分辨率步态识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009025862A (ja) * 2007-07-17 2009-02-05 Seiko Epson Corp 画像処理装置、画像処理方法、画像処理プログラム及び画像表示装置
JP2010041337A (ja) * 2008-08-04 2010-02-18 Toshiba Corp 画像処理装置、および画像処理方法

Also Published As

Publication number Publication date
CN102959580A (zh) 2013-03-06
JP5809164B2 (ja) 2015-11-10
US8934720B2 (en) 2015-01-13
US20130101222A1 (en) 2013-04-25
JPWO2012176367A1 (ja) 2015-02-23

Similar Documents

Publication Publication Date Title
US9818176B2 (en) Image processing apparatus and image processing method
JP4490987B2 (ja) 高解像度化装置および方法
JP5792990B2 (ja) 画像処理装置およびその制御方法
CN110211057B (zh) 一种基于全卷积网络的图像处理方法、装置和计算机设备
US20210398247A1 (en) Image processing apparatus, image processing method, and storage medium
JP2015232869A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN113439286B (zh) 处理合成图像中的图像数据
EP3438923B1 (en) Image processing apparatus and image processing method
CN112419161A (zh) 图像处理方法及装置、存储介质及电子设备
US20140092116A1 (en) Wide dynamic range display
JP4847531B2 (ja) 画像処理装置、画像処理プログラム、および画像処理方法
JP5809164B2 (ja) 画像処理装置、画像処理方法および集積回路
JP2010016470A (ja) 画像復元方法、画像復元プログラム、および画像復元装置
JP6938282B2 (ja) 画像処理装置、画像処理方法及びプログラム
US12277679B2 (en) Methods for enhancing resolution and reducing noise in multi-frame images
JP5482589B2 (ja) 画像処理装置、画像処理方法および画像処理用プログラム
US20150104112A1 (en) Large Radius Edge-Preserving Low-Pass Filtering
CN103020895B (zh) 图像处理装置和图像处理方法
JP4104475B2 (ja) 輪郭補正装置
JP5863236B2 (ja) 画像処理装置、画像処理方法
JP2017069959A (ja) 画像品質検出方法及びデコード処理システム
JP2007272878A (ja) 画像処理プログラムおよび画像処理装置
JP6128319B2 (ja) 画像処理装置及びプログラム
CN103116882A (zh) 高分辨率图像复原的坐标参数获取方法及系统
US20240354899A1 (en) Information processing apparatus, information processing method, and storage medium

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201280001153.7

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2012545001

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13639047

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12802091

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12802091

Country of ref document: EP

Kind code of ref document: A1