[go: up one dir, main page]

WO2018150695A1 - 画像処理装置、画像処理方法、およびカメラシステム - Google Patents

画像処理装置、画像処理方法、およびカメラシステム Download PDF

Info

Publication number
WO2018150695A1
WO2018150695A1 PCT/JP2017/043948 JP2017043948W WO2018150695A1 WO 2018150695 A1 WO2018150695 A1 WO 2018150695A1 JP 2017043948 W JP2017043948 W JP 2017043948W WO 2018150695 A1 WO2018150695 A1 WO 2018150695A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging systems
image
recovery
input
imaging
Prior art date
Application number
PCT/JP2017/043948
Other languages
English (en)
French (fr)
Inventor
洋介 成瀬
慶延 岸根
林　健吉
石井　良明
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2018568011A priority Critical patent/JP6628908B2/ja
Priority to CN201780085394.7A priority patent/CN110249620B/zh
Publication of WO2018150695A1 publication Critical patent/WO2018150695A1/ja
Priority to US16/518,095 priority patent/US10931888B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/409—Edge or detail enhancement; Noise or error suppression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a camera system in which recovery processing based on a point spread function is performed.
  • PSF Point Spread Function
  • the captured image whose image quality has deteriorated due to the point spread phenomenon can be recovered by receiving a recovery process based on PSF.
  • deterioration characteristics point image characteristics caused by aberrations of the lens (optical system) are obtained in advance, and the point spread of the captured image is performed by image processing using a recovery filter corresponding to the point image characteristics. Processing to cancel or reduce. Techniques using this recovery process have been proposed in the past.
  • restoration processing is performed using a restoration filter (recovery filter), and an evaluation value (MTF (modulation transfer function), TV (television) resolution number of images after restoration processing
  • MTF modulation transfer function
  • TV television resolution number of images after restoration processing
  • an imaging device is described in which a restoration filter that causes a contrast in an evaluation area) to be equal to or higher than a predetermined evaluation value is stored in a memory.
  • image restoration should be multiplied by the inverse function of the transfer function, but if the inverse function is multiplied as it is, a very large amplification factor should be applied to the frequency component with a large degree of degradation. Therefore, there is a possibility that the noise of the imaging system is amplified and the image quality is deteriorated.
  • a Wiener filter that optimally recovers an image in the least-square sense in a situation where the signal-to-noise ratio of the imaging system is known is often used.
  • FAMV complementary metal-oxide-semiconductor
  • a system having a plurality of cameras with exactly the same resolution performance is required. This is because when the image recognition algorithm is applied to captured images output from a plurality of cameras, if the resolution between captured images is different, fine adjustment of the recognition algorithm is performed individually for each captured image. This is because work is required. That is, it is preferable that even captured images output from a plurality of cameras can be processed by the same parameter setting recognition algorithm.
  • the performance of each individual changes due to individual variations that occur during manufacturing, so the exact same resolution is achieved in the captured images output from multiple cameras. Difficult to do.
  • Patent Document 1 does not refer to matching resolution between images output from a plurality of cameras.
  • the present invention has been made in view of such circumstances, and an object of the present invention is to obtain an image having the same resolution and good image quality even for images output from a plurality of imaging systems.
  • An image processing apparatus, an image processing method, and a camera system are provided.
  • an image processing apparatus includes a transfer function input unit to which transfer functions of a plurality of imaging systems are input, each input transfer function, and a predetermined reference.
  • a calculation unit that calculates a target resolution value that is a target value of a recovery process for recovering a plurality of captured images output from each of the plurality of imaging systems, and each transfer function and target solution of the plurality of imaging systems.
  • a recovery filter generation unit that generates a recovery filter used for recovery processing, and a recovery filter generated for each of the plurality of imaging systems
  • a recovery image generation unit that performs recovery processing on the captured image acquired by the imaging system and generates a recovery image
  • the predetermined reference used in the calculation unit is the resolution of the recovery image of the plurality of imaging systems Assumes the values match And matter, to minimize the error between the previous ideal image to be degraded in the restored image and a plurality of imaging systems in the entire plurality of imaging systems.
  • the calculation unit assumes that the resolution values of the recovered images of the plurality of imaging systems match, and the recovered image in the entire plurality of imaging systems and the ideal image before being deteriorated in the imaging system Based on a criterion for minimizing the error, target resolution values in a plurality of imaging systems are calculated. Then, the recovery filter generation unit generates a recovery filter to be used for the image output from each imaging system based on the target resolution value calculated by the calculation unit, and the recovery image generation unit applies to the captured image. A restored image that has undergone the restoration process is generated. As a result, according to the present aspect, even if the captured images are acquired by a plurality of imaging systems, it is possible to acquire a recovered image having the same resolution value and good image quality.
  • An image processing apparatus includes a transfer function input unit to which transfer functions of a plurality of imaging systems are input, an imaging condition input unit to which imaging conditions of the plurality of imaging systems are input, and an input Calculation for calculating a target resolution value, which is a target value of a recovery process for recovering a plurality of captured images output from each of a plurality of imaging systems, based on each transfer function, each imaging condition, and a predetermined criterion
  • a recovery filter generation unit that generates a recovery filter used for recovery processing for each of the plurality of imaging systems based on the transfer functions and target resolution values of the plurality of imaging systems, and a plurality of imaging
  • a recovery image generation unit that generates a recovery image by performing recovery processing on captured images acquired by a plurality of imaging systems using a recovery filter generated for each of the systems, and is used in the calculation unit
  • the criteria for multiple is assumed that the difference between the resolution value of the recovered image of the image system and the target resolution value is minimized after applying a weight according to the shooting
  • the calculation unit minimizes the difference between the resolution value of the recovered image of the plurality of imaging systems and the target resolution value after applying the weight according to the imaging condition. Based on a criterion that minimizes the weighted error between the recovered image and the ideal image before being deteriorated in the imaging system, the target resolution values of the imaging systems are calculated. Then, the recovery filter generation unit generates a recovery filter used for the image output from each imaging system based on the target resolution value calculated by the calculation unit, and the recovery image generation unit applies the captured image to the captured image. Thus, a recovered image that has been subjected to the recovery process is generated.
  • the present aspect even for captured images acquired by a plurality of imaging systems, it is possible to acquire a recovered image having the same resolution value and good image quality. Further, in this aspect, when calculating the target resolution value, a weight according to the shooting condition is applied, so that a balanced recovery filter is designed according to the shooting condition, and the resolution value matches and the image quality Can obtain a good recovery image.
  • the image processing apparatus includes a weight input unit to which a weight indicating a degree of coincidence with a target resolution value corresponding to each shooting condition input to the shooting condition input unit is input.
  • the weight input unit inputs a weight representing the degree of coincidence with the target resolution value corresponding to each shooting condition input to the shooting condition input unit.
  • a recovery filter that matches the resolution to the target resolution value is generated according to the input weight, and the recovery process is performed by the recovery filter. A good recovery image can be obtained.
  • the calculation unit calculates a target resolution value based on a criterion for minimizing a total value of square errors between the restored image and the ideal image.
  • the calculation unit calculates the target resolution value based on the criterion that minimizes the total value of the square error between the recovered image and the ideal image. Therefore, this aspect can acquire a recovery image with good image quality.
  • a camera system is a camera system having the above-described image processing device, and a plurality of imaging systems and a control device that controls the plurality of imaging systems are connected by wire or wirelessly,
  • the above-described image processing device is provided in the control device.
  • the image processing device described above is provided in the control device in the camera system.
  • the image processing device described above is provided in the control device in the camera system.
  • a camera system is a camera system having the above-described image processing device, and a plurality of imaging systems and a control device that controls the plurality of imaging systems are connected by wire or wirelessly,
  • the above-described image processing apparatus is provided in at least one of the plurality of imaging systems.
  • the above-described image processing apparatus is provided in at least one of the plurality of cameras constituting the camera system.
  • the present aspect even for captured images acquired by a plurality of imaging systems, it is possible to acquire a recovered image having the same resolution value and good image quality.
  • a camera system is a camera system including a plurality of cameras having the above-described image processing device, and the control device that controls the plurality of imaging systems and the plurality of imaging systems is wired or wired. They are connected wirelessly, and each of the plurality of imaging systems is provided with the above-described image processing apparatus.
  • the above-described image processing apparatus is provided in each of the plurality of imaging systems constituting the camera system.
  • the present aspect even for captured images acquired by a plurality of imaging systems, it is possible to acquire a recovered image having the same resolution value and good image quality.
  • An image processing method includes a transfer function input step in which transfer functions of a plurality of imaging systems are input, and a plurality of imaging systems based on each input transfer function and a predetermined reference. Based on a calculation step for calculating a target resolution value that is a target value of a recovery process for recovering a plurality of captured images output from each of the plurality of captured images, and a plurality of transfer functions and target resolution values of the plurality of imaging systems.
  • a recovery image generation step of performing recovery processing on the image to generate a recovery image, and the predetermined reference used in the calculation step is to match the resolution values of the recovery images of a plurality of imaging systems And assumptions, to minimize the error between the previous ideal image to be degraded in the restored image and a plurality of imaging systems in the entire plurality of imaging systems.
  • An image processing method includes a transfer function input step in which transfer functions of a plurality of imaging systems are input, an imaging condition input step in which imaging conditions of the plurality of imaging systems are input, and an input Calculation for calculating a target resolution value, which is a target value of a recovery process for recovering a plurality of captured images output from each of a plurality of imaging systems, based on each transfer function, each imaging condition, and a predetermined criterion
  • a recovery filter generation step for generating a recovery filter used for the recovery process for each of the plurality of imaging systems based on the transfer functions and target resolution values of the plurality of imaging systems; and a plurality of imaging
  • the pre-determined standard used is based on the premise that the difference between the resolution value of the recovered image and the target resolution value of a plurality of imaging systems is minimized after
  • a camera system is a camera system in which a plurality of imaging systems are connected by wire or wirelessly.
  • the camera system includes a transfer function input step in which each transfer function of the plurality of imaging systems is input.
  • a recovery filter generating step for generating a recovery filter used for recovery processing for each of the plurality of imaging systems based on each transfer function and target resolution value of the plurality of imaging systems, and calculating step
  • the predetermined criteria used in the above are based on the precondition that the resolution values of the recovered images of a plurality of imaging systems are the same, and the recovery image and the plurality of imaging systems in the entire imaging systems Having a recovery filter generated by recovery filter generation method which minimizes the error between the previous ideal image to deteriorate.
  • a camera system is a camera system in which a plurality of imaging systems are connected by wire or wirelessly.
  • the camera system includes a transfer function input step in which each transfer function of the plurality of imaging systems is input.
  • the predetermined criterion used in the calculation step is based on the precondition that the resolution values of the recovered images of the plurality of imaging systems coincide with each other, and deteriorates in the recovered image and the plurality of imaging systems in the entire plurality of imaging systems. It has a target resolution value calculated by a target resolution value calculation method that minimizes an error from the previous ideal image.
  • a camera system is a camera system in which a plurality of imaging systems are connected by wire or wirelessly.
  • the camera system includes a transfer function input step in which each transfer function of the plurality of imaging systems is input.
  • An imaging condition input step in which each imaging condition of a plurality of imaging systems is input, and a plurality of output output from each of the plurality of imaging systems based on each input transfer function, each imaging condition, and a predetermined reference
  • a recovery filter generation step for generating a recovery filter used for the recovery processing, and the predetermined reference used in the calculation step is a resolution value and a target of the recovery images of a plurality of imaging systems It is a precondition that the difference from the image value is minimized by applying a weight according to the shooting condition, and the recovery image in each of the entire shooting conditions of
  • a camera system is a camera system in which a plurality of imaging systems are connected by wire or wirelessly.
  • the camera system includes a transfer function input step in which each transfer function of the plurality of imaging systems is input.
  • An imaging condition input step in which each imaging condition of a plurality of imaging systems is input, and a plurality of output output from each of the plurality of imaging systems based on each input transfer function, each imaging condition, and a predetermined reference
  • a calculation step of calculating a target resolution value that is a target value of a recovery process for recovering the captured image, and the predetermined reference used in the calculation step includes the resolution value and the target solution of the recovery images of the plurality of imaging systems. It is assumed that the difference from the image value is minimized by applying a weight according to the shooting conditions. Having a target resolution value calculated by the target resolving value calculation method that minimizes the error between the previous ideal image to deteriorate.
  • target resolution values for a plurality of imaging systems are calculated using a predetermined reference, a recovery filter is generated based on the calculated target resolution values, and recovery processing is performed by the generated recovery filter.
  • a recovery filter is generated based on the calculated target resolution values, and recovery processing is performed by the generated recovery filter.
  • FIG. 1 is a diagram conceptually showing a camera system composed of a plurality of cameras and a control device.
  • the camera system 1 includes a camera (imaging system) 10A, a camera (imaging system) 10B, and a computer (control device) 60.
  • the camera 10A acquires the captured image 2A
  • the camera 10B acquires the captured image 2B.
  • the captured image 2A and the captured image 2B are conceptually shown together with the shooting directions of the camera 10A and the camera 10B.
  • the camera 10A and the camera 10B are installed at different positions and are shooting the subject O.
  • the camera 10A has a transfer function H1, and the image of the subject O is captured at the position P1 in the captured image 2A.
  • the camera 10B has a transfer function H2, and the image of the subject O is captured at the position P2 in the captured image 2B.
  • the camera 10A, the camera 10B, and the computer 60 are connected by wire, but may be connected wirelessly.
  • the camera system 1 is used, for example, for FAMV applications. Images captured by the camera 10A and the camera 10B are subjected to image analysis, and an object shown in the image is recognized. Therefore, it is required that the subject O be captured with the same resolution in the captured images 2A and 2B.
  • resolution refers to the fineness of image display, refers to the power of expressing details in an image, and can also be represented by a numerical value such as a resolution value or resolution.
  • the recovery processing is performed by the image processing apparatus provided in the camera system 1 so that the resolution of the subject O on the image becomes the same.
  • the transfer functions H1 and H2 of the camera 10A and the camera 10B are obtained by calibration, and the recovery process is performed so that the resolution value of the subject O becomes equal at the position (P1, P2) of the subject O on the screen.
  • calibration refers to, for example, placing a chart at the target position of the subject O of the camera 10A and the camera 10B and measuring the respective transfer functions.
  • the resolution being the same or the same means that the resolution is within an error range of 5%, preferably 3%, based on the target resolution value, for example.
  • FIG. 2 is a block diagram showing a functional configuration of the computer 60 constituting the camera system 1, the camera 10A connected to the computer 60, and the camera 10B. Since the camera 10A and the camera 10B have the same configuration, only the configuration of the camera 10A is described, and the configuration of the camera 10B is omitted.
  • the camera 10 ⁇ / b> A includes a replaceable lens unit 12 and a camera main body 14 including an imaging device 26, and the lens unit input / output unit 22 of the lens unit 12 and the camera main body input / output unit 30 of the camera main body 14, The lens unit 12 and the camera body 14 are electrically connected.
  • the lens unit 12 includes an optical system such as a lens 16 and a diaphragm 17 and an optical system operation unit 18 that controls the optical system.
  • the optical system operation unit 18 includes a lens unit controller 20 connected to the lens unit input / output unit 22 and an actuator (not shown) that operates the optical system.
  • the lens unit controller 20 controls the optical system via an actuator based on a control signal sent from the camera body 14 via the lens unit input / output unit 22, for example, focus control or zoom control by lens movement, aperture 17 aperture amount control and the like are performed.
  • the image sensor 26 of the camera body 14 includes a condensing microlens, a color filter such as R (red) G (green) B (blue), an image sensor (photodiode; CMOS (complementary metal) oxide semiconductor), CCD (charge -coupled device) etc.).
  • the image sensor 26 converts the light of the subject image irradiated through the optical system (lens 16, aperture 17, etc.) of the lens unit 12 into an electrical signal, and sends the image signal (original image data) to the camera body controller 28. send.
  • the camera 10A acquires a color image will be described, the camera 10A can also acquire a monochrome image or a single color image.
  • the image sensor 26 of this example outputs original image data by photographing a subject image using an optical system, and this original image data is transmitted to the image processing unit 35 of the camera body controller 28.
  • the camera body controller 28 has a device control unit 34 and an image processing unit 35 as shown in FIG. 2, and controls the camera body 14 in an integrated manner.
  • the device control unit 34 controls the output of an image signal (image data) from the image sensor 26, generates a control signal for controlling the lens unit 12, and the lens unit via the camera body input / output unit 30. 12 (lens unit controller 20), and image data before and after image processing (RAW data, JPEG data, etc.) is transmitted to external devices (computer 60, etc.) connected via the input / output interface 32.
  • the device control unit 34 appropriately controls various devices included in the camera 10A.
  • the image processing unit 35 can perform arbitrary image processing on the image signal from the image sensor 26 as necessary. For example, sensor correction processing, demosaicing (synchronization) processing, pixel interpolation processing, color correction processing (offset correction processing, white balance processing, color matrix processing, tone correction processing, etc.), RGB image processing (sharpness processing, tone correction processing) , Exposure correction processing, contour correction processing, etc.), RGB and / or YCrCb conversion processing, image compression processing, and other various types of image processing are appropriately performed in the image processing unit 35.
  • sensor correction processing demosaicing (synchronization) processing, pixel interpolation processing, color correction processing (offset correction processing, white balance processing, color matrix processing, tone correction processing, etc.), RGB image processing (sharpness processing, tone correction processing) , Exposure correction processing, contour correction processing, etc.), RGB and / or YCrCb conversion processing, image compression processing, and other various types of image processing are appropriately performed in the image processing unit 35.
  • the image data processed by the camera body controller 28 is sent to the computer 60 or the like via the input / output interface 32.
  • the format of image data sent from the camera 10A (camera body controller 28) to the computer 60 or the like is not particularly limited, and may be any format such as RAW, JPEG, TIFF, and the like. Therefore, the camera main body controller 28, like so-called Exif (Exchangeable Image Image File Format), header information (such as shooting information (shooting date and time, model, number of pixels, aperture value, etc.), main image data, thumbnail image data, etc.
  • a plurality of related data may be associated with each other and configured as one image file, and the image file may be transmitted to the computer 60.
  • the computer 60 is connected to the camera 10A via the input / output interface 32 and the computer input / output unit 62 of the camera body 14 and receives data such as image data sent from the camera body 14.
  • the computer controller 64 comprehensively controls the computer 60, performs image processing on image data from the camera 10A, and communicates with a server 80 or the like connected to the computer input / output unit 62 via a network line such as the Internet 70. Control.
  • the computer 60 has a display 66, and the processing contents in the computer controller 64 are displayed on the display 66 as necessary.
  • the user can input data and commands to the computer controller 64 by operating input means (not shown) such as a keyboard while confirming the display on the display 66. Accordingly, the user can control the computer 60 and the devices (camera 10A, camera 10B, and server 80) connected to the computer 60.
  • the server 80 has a server input / output unit 82 and a server controller 84.
  • the server input / output unit 82 constitutes a transmission / reception connection unit with external devices such as the computer 60, and is connected to the computer input / output unit 62 of the computer 60 via a network line such as the Internet 70.
  • the server controller 84 cooperates with the computer controller 64 in response to a control instruction signal from the computer 60, transmits and receives data to and from the computer controller 64 as necessary, downloads the data to the computer 60, Calculation processing is performed and the calculation result is transmitted to the computer 60.
  • Each controller (lens unit controller 20, camera body controller 28, computer controller 64, server controller 84) has circuits necessary for control processing, for example, an arithmetic processing circuit (CPU (Central Processing Unit), etc.), a memory, etc. It comprises. Further, communication between the camera 10A, the computer 60, and the server 80 may be wired or wireless. Further, the computer 60 and the server 80 may be configured integrally, and at least one of the computer 60 and the server 80 may be omitted. Alternatively, the camera 10A may have a communication function with the server 80, and data may be directly transmitted and received between the camera 10A and the server 80.
  • CPU Central Processing Unit
  • FIG. 3 is a block diagram showing a functional configuration of the computer-side image processing unit (image processing apparatus) 63.
  • the computer side image processing unit 63 is provided in the computer controller 64.
  • the computer-side image processing unit 63 includes a transfer function input unit 3, a first calculation unit (calculation unit) 5, a recovery filter generation unit 7, and a recovery image generation unit 9.
  • the captured image 2A (captured image data) acquired by the camera 10A and the captured image 2B (captured image data) acquired by the camera 10B are input / output interface 32 and computer input / output unit 62. Is input through.
  • the captured image 2A and the captured image 2B input to the computer-side image processing unit 63 are input to the recovered image generation unit 9.
  • the transfer function H1 of the camera 10A and the transfer function H2 of the camera 10B are input to the computer-side image processing unit 63 via the input / output interface 32 and the computer input / output unit 62.
  • the transfer function H1 and the transfer function H2 input to the computer side image processing unit 63 are input to the transfer function input unit 3.
  • the first calculation unit 5 is a target value for recovery processing for recovering a plurality of captured images output from each of a plurality of imaging systems based on each input transfer function and a calculation criterion (predetermined criterion).
  • a target resolution value is calculated. Specifically, the first calculation unit 5 calculates the target resolution value of the recovery process performed on the captured image 2A and the captured image 2B based on the transfer function H1 and the transfer function H2 and a calculation criterion described later. calculate.
  • the target resolution value is, for example, a resolution value that is changed by the recovery process, and is a resolution value of the recovered image obtained by performing the recovery process on the captured image.
  • the target resolution value may be a resolution value at a certain frequency or a certain frequency band, or may be indicated by a set of discretely sampled resolution values in all frequency bands up to the Nyquist frequency. Good.
  • the recovery filter generation unit 7 generates a recovery filter used for the recovery process for each of the plurality of imaging systems based on the transfer functions and target resolution values of the plurality of imaging systems. Specifically, the recovery filter generation unit 7 generates a recovery filter based on the transfer function H1, the transfer function H2, and the target resolution value calculated by the first calculation unit 5.
  • the recovery image generation unit 9 generates a recovery image by performing recovery processing on the captured images acquired by the plurality of imaging systems using the recovery filter generated for each of the plurality of imaging systems. Specifically, the recovery image generation unit 9 performs recovery processing on the captured image 2A using the recovery filter of the camera 10A generated by the recovery filter generation unit 7 to generate a recovery image 11A, and generates a recovery filter.
  • the recovery image 11B is generated by performing recovery processing on the captured image 2B using the recovery filter of the camera 10B generated by the unit 7.
  • the recovered image 11A and the recovered image 11B are recovered to the target resolution value calculated by the first calculator 5, and the recovered image 11A and the recovered image 11B have the same resolution value.
  • FIG. 4 is a diagram showing an outline from image shooting to recovery processing.
  • the subject image is received by the image sensor 26 (image sensor) via an optical system (lens 16, aperture 17, etc.), and original image data Do is output from the image sensor 26.
  • the original image data Do is image data in a state where the original subject image is blurred due to the point spread phenomenon derived from the characteristics of the optical system.
  • the original subject image is obtained by performing the recovery process P10 using the recovery filter F on the original image data Do.
  • Recovered image data Dr representing an image (recovered image) closer to (point image) is obtained.
  • the recovery filter F used in the recovery process P10 is obtained by a predetermined recovery filter calculation algorithm P20 based on point image information (point spread function) of the optical system according to the photographing conditions at the time of acquiring the original image data Do.
  • the point image information (point spread function) of the optical system can vary depending not only on the type of the lens 16 but also on various photographing conditions such as the aperture amount, focal length, zoom amount, image height, number of recorded pixels, pixel pitch, and the like. When calculating the recovery filter F, these imaging conditions are acquired.
  • the restoration process P10 is a process for creating the restored image data Dr from the original image data Do by the filtering process using the restoration filter F.
  • a tap of N ⁇ M N and M are integers of 1 or more
  • the pixel data after the restoration process is obtained by performing a weighted average calculation (deconvolution calculation) on the filter coefficient assigned to each tap and the corresponding pixel data (processing target pixel data of the original image data Do and adjacent pixel data).
  • (Recovered image data Dr) can be calculated.
  • Recovery processing can be performed by applying the weighted average processing using the recovery filter F to all the pixel data constituting the image data by changing the target pixel in order.
  • the recovery filter in the real space constituted by N ⁇ M taps can be derived by performing inverse Fourier transform on the recovery filter in the frequency space. Therefore, the recovery filter in the real space can be appropriately calculated by specifying the recovery filter in the basic frequency space and designating the number of taps of the recovery filter in the real space.
  • FIG. 6, and FIG. 7 are diagrams showing the relationship between the MTF and the frequency of the captured image 2A, the captured image 2B, the recovered image 11A, and the recovered image 11B.
  • FIG. 5 (i) shows the relationship between the MTF and the frequency of the captured image 2A
  • FIG. 5 (ii) shows that a recovery filter is generated using a Wiener filter in a mode generally used for the captured image 2A.
  • the relationship between the MTF and the frequency of the recovered image 11A when the recovery process is performed is shown.
  • FIG. 6 (i) shows the relationship between the MTF and the frequency for the captured image 2B
  • FIG. 6 (ii) shows a Wiener filter in a mode generally used for the captured image 2B. Is used to generate a recovery filter, and the recovery filter shows the relationship between the MTF and frequency of the recovered image 11B when the recovery process is performed.
  • the MTF is recovered to the target resolution value indicated by the dotted line by performing the recovery process.
  • a commonly used manner of using a Wiener filter is to generate a recovery filter by a Wiener filter when performing recovery processing on an output image from one camera, and a solution between output images between images of a plurality of cameras. Image matching is a usage that is not considered.
  • the transfer function of each individual camera 10A or camera 10B is determined. Since the recovery filter is designed, the resolution of the recovery image 11A of the camera 10A and the recovery image 11B of the camera 10B often does not match. That is, simply applying the image restoration processing by the Wiener filter individually does not guarantee that the resolutions of the restored image 11A and the restored image 11B are the same. This is because the Wiener filter is a process that best recovers an image in the least-square sense, and therefore, a good lens may be better and a bad lens may not be able to recover.
  • FIG. 7 shows the relationship between the MTF and frequency of the captured images 2A and 2B ((i) in FIG. 7 (A) and (i) in FIG. 7 (B)) and the recovery process of the present invention.
  • the relationship between the MTF and the frequency of the recovered image 11A and the recovered image 11B ((ii) in FIG. 7A and (ii) in FIG. 7B) is shown.
  • the transfer function H1, and the transfer function H2 calculated by the first calculation unit 5 the captured image 2A acquired by the camera 10A is displayed.
  • a recovery filter is generated, and a recovery process is performed using the recovery filter.
  • the same recovery process is performed on the captured image 2B acquired by the camera 10B.
  • the MTF is recovered or moved to the target resolution value indicated by the dotted line by performing the recovery process.
  • the frequency characteristics of the recovered image can be matched in the recovered image subjected to the recovery processing of the present invention. That is, since the captured image 2A and the captured image 2B are recovered to the same target resolution value by performing the recovery process, the resolution is the same in the recovered image 11A and the recovered image 11B.
  • FIG. 8 is a flowchart showing the steps of the image processing method of the present invention.
  • the transfer function H1 and transfer function H2 of the camera 10A and the camera 10B are input to the transfer function input unit 3 (transfer function input step: step S10).
  • the first calculator 5 calculates a target resolution value based on the input transfer function H1, transfer function H2, and calculation criteria (calculation step: step S11).
  • the recovery filter generation unit 7 generates a recovery filter based on the calculated target resolution value (recovery filter generation step: step S12).
  • the recovery image generation unit 9 performs recovery processing on the captured image of each camera using each of the generated recovery filters to generate a recovery image 11A (recovered image generation step: step S13).
  • the above-described configurations and functions can be appropriately realized by arbitrary hardware, software, or a combination of both.
  • the present invention can also be applied to the above.
  • the hardware structure of a processing unit (processing unit) that executes various processes is the following various processors.
  • the various processors are programmable processors that can change the circuit configuration after manufacturing, such as a CPU or FPGA (Field Programmable Gate Gate Array) that is a general-purpose processor that functions as various processing units by executing software (programs). Examples include a dedicated electric circuit which is a processor having a circuit configuration specifically designed to execute a specific process such as a logic device (Programmable Logic Device: PLD) and an ASIC (Application Specific Integrated Circuit).
  • PLD Programmable Logic Device
  • ASIC Application Specific Integrated Circuit
  • One processing unit may be configured by one of these various processors, or may be configured by two or more processors of the same type or different types (for example, a plurality of FPGAs or a combination of CPUs and FPGAs). May be. Further, the plurality of processing units may be configured by one processor. As an example of configuring a plurality of processing units with one processor, first, as represented by a computer such as a client or server, one processor is configured with a combination of one or more CPUs and software. There is a form in which the processor functions as a plurality of processing units.
  • SoC system-on-chip
  • a form of using a processor that implements the functions of the entire system including a plurality of processing units with a single IC (integrated circuit) chip. is there.
  • various processing units are configured using one or more of the various processors as a hardware structure.
  • circuitry circuitry in which circuit elements such as semiconductor elements are combined.
  • FIG. 9 is a diagram conceptually showing the camera system 1 of the present embodiment.
  • the part already demonstrated in FIG. 1 attaches
  • the camera system 1 of the present embodiment includes a camera 10A, a camera 10B, and a computer (control device) 60. Further, the camera 10A acquires the captured image 2A, and the camera 10B acquires the captured image 2B.
  • the camera 10A is photographing the subject O1 and the subject O2, and the camera 10B is photographing the subject O1 and the subject O2.
  • the subject O1 and the subject O2 are subjects having different subject distances in the camera 10A and the camera 10B.
  • the camera 10A captures the subject O1 and the subject O2 having different subject distances, but in the captured image 2A, the images of the subject O1 and the subject O2 overlap and are captured at the position P1.
  • the camera 10A captures the subject O1 with the transfer function H1A and the subject O2 with the transfer function H2A.
  • the camera 10B captures the subject O1 and the subject O2 having different subject distances.
  • the images of the subject O1 and the subject O2 do not overlap, and the image of the subject O1 is at the position P2 and the position of the subject O2. Is copied to the position of P3.
  • the camera 10B images the subject O1 with the transfer function H1B and the subject O2 with the transfer function H2B.
  • the subject O1 and the subject O2 are shown at different positions P2 and P3, respectively, but in the camera 10A, the subject O1 and the subject O2 are shown overlapping the position P1. Accordingly, it is difficult to determine whether the image is the image of the subject O1 or the image of the subject O2 at the position P1 using only the image data of the captured image 2A. Even in this case, if the target resolution value is calculated from each transfer function as in the first calculation unit 5 described above, the first calculation unit 5 simultaneously solves both the transfer function H1A and the transfer function H2A. In principle, it is impossible to configure a recovery filter that matches the images, and the resolution may deviate greatly between the camera 10A and the camera 10B.
  • a target resolution value is calculated by introducing a weight ( ⁇ ) for obtaining a priority balance for matching the resolutions.
  • the resolution can be matched by switching to a filter corresponding to the photographing condition. Therefore, it is not assumed in the description of this embodiment.
  • FIG. 10 is a block diagram showing a functional configuration of the computer-side image processing unit (image processing apparatus) 63.
  • the computer side image processing unit 63 is provided in the computer controller 64.
  • the computer-side image processing unit 63 includes a transfer function input unit 3, a photographing condition input unit 13, a second calculation unit 19, a recovery filter generation unit 7, a recovery image generation unit 9, and a weight input unit 15.
  • a transfer function input unit 3 a photographing condition input unit 13
  • a second calculation unit 19 a recovery filter generation unit 7, a recovery image generation unit 9, and a weight input unit 15.
  • the part already demonstrated in FIG. 3 attaches
  • the imaging condition input unit 13 receives each imaging condition of a plurality of imaging systems.
  • the shooting conditions are information regarding shooting conditions that affect the transfer function such as the subject distance or the diaphragm 17.
  • the subject distance (k1) of the subject O1 and the subject distance (k2) of the subject O2 in the camera 10A are input, and the subject distance and subject O2 (k4) of the subject O1 (k3) in the camera 10B are input.
  • Subject distance is input.
  • when there are a plurality of subjects it is considered that there are a plurality of different shooting conditions (subject distances), and when there are a plurality of subjects, it is considered that there are a plurality of shooting conditions accordingly.
  • the transfer function input unit 3 receives a transfer function corresponding to the shooting condition input to the shooting condition input unit 13. Specifically, the transfer function H1A, the transfer function H2A, the transfer function H1B, and the transfer function H2B are input to the transfer function input unit 3 in accordance with each subject distance.
  • the weight input unit 15 receives a weight representing the degree of matching with the target resolution value corresponding to each shooting condition input to the shooting condition input unit 13. That is, the weight input unit 15 receives a weight according to the importance of each shooting condition. For example, weights ⁇ 1 to ⁇ 4 are input according to the shooting conditions k1 to k4. As the weight input by the weight input unit 15, for example, a value set in advance in the second calculation unit may be used.
  • the second calculation unit 19 restores a plurality of captured images output from each of the plurality of imaging systems based on the input transfer function, each imaging condition, and a calculation criterion (predetermined criterion). A target resolution value that is a value is calculated.
  • FIG. 11 is a flowchart showing the steps of the image processing method of the present invention of the present embodiment.
  • the transfer function H1A, transfer function H2A, transfer function H1B, and transfer function H2B of the cameras 10A and 10B are input to the transfer function input unit 3 (transfer function input step: step S20).
  • shooting conditions are input to the shooting condition input unit 13 (shooting condition input step: step S21), and a weight for each shooting condition is input to the weight input unit 15 (weight input step: step S22).
  • the second calculator 19 calculates a target resolution value based on the shooting conditions, transfer function, weight, and calculation criteria (calculation step: step S23).
  • the recovery filter generation unit 7 generates a recovery filter based on the calculated target resolution value (recovery filter generation step: step S24).
  • the recovery image generation unit 9 performs recovery processing on the captured image of each camera using each of the generated recovery filters to generate a recovery image 11A and a recovery image 11B (recovered image generation step: step) S25).
  • the observation model can be expressed as follows.
  • * indicates two-dimensional convolution.
  • the optical transfer function changes depending on the image height.
  • the transfer function change can be ignored and that it can be regarded as a movement-invariant system.
  • the image recovery process can be expressed by the following equation.
  • the image restoration criterion of the Wiener restoration filter is the mean square error J between the original image and the restored image, which is defined below.
  • Ex is the amplitude of the signal of image “x”
  • En is the amplitude of the signal of noise “n”. Since image "x" and noise "n" are uncorrelated,
  • the recovery filter is implemented as a two-dimensional FIR filter with a limited number of taps in terms of implementation, frequency characteristics can be obtained using any known optimization method with constraints.
  • the calculation criterion used by the first calculation unit 5 is “a precondition that the resolution values of the recovered images of the plurality of imaging systems are matched, and the recovered image in the entire plurality of imaging systems and the ideal image before being deteriorated in the imaging system” To minimize the error. " For example, the first calculation unit 5 calculates a target resolution value based on a criterion for minimizing the total value of the square errors between the restored image and the ideal image. This will be specifically described below.
  • the index of multiple imaging systems is i (1 ⁇ i ⁇ M), the corresponding measured optical transfer function (two-dimensional impulse response) is “h i ”, and its frequency characteristics are
  • the frequency characteristics of the recovery filter of each imaging system are uniquely determined by the above equation as long as the value of R is determined.
  • the mean square error criterion of the original image and the recovered image is used as in the case of the Wiener filter.
  • a weighted sum of square errors in a plurality of imaging systems is used.
  • the frequency characteristic of the recovery filter is finally expressed as follows by R (target resolution value) obtained in this way.
  • the calculation criterion used by the second calculation unit 19 is “a precondition that the difference between the resolution value of the recovered image of the plurality of imaging systems and the target resolution value is minimized after applying a weight according to the imaging condition. And minimizing the weighted error between the recovered image and the ideal image before being deteriorated in the imaging system over the entire imaging conditions of the plurality of imaging systems. This will be specifically described below.
  • the recovery filter can be configured to always match.
  • the recovery filter can be configured to always match.
  • the index of the plurality of imaging systems is i (1 ⁇ i ⁇ M), the index of the shooting condition to be matched at the same time is k (1 ⁇ k ⁇ N), and the index indicating the position of the subject in the screen is p (1 ⁇ p ⁇ N). P). At this time, using these indices, the measured optical transfer function is calculated.
  • the purpose of matching the resolution is to match a specific resolution individually for each in-screen position p and photographing condition k, so that the target resolution value (target resolution value) is set.
  • x H indicates a transmit conjugate of “x” (Hermitian transpose).
  • the frequency characteristic of the recovery filter of each imaging system is uniquely determined by the above equation as long as the value of “r” is determined.
  • a criterion that minimizes the mean square error between the original image and the restored image is used as in the case of the Wiener filter.
  • a weighted sum of all square errors in a plurality of imaging systems i and a plurality of imaging conditions k is used. If this is J 2 [r], it can be expressed as the following equation.
  • w i, k ( ⁇ 0) is a weighting factor for assigning a priority order of the degree of recovery of the imaging system.
  • S and N are the spatial frequencies like the others.
  • A is an M ⁇ N complex matrix
  • u is an M-dimensional complex column vector.
  • the optimum [r] is uniquely determined.
  • N> M and rankA M
  • the optimum [r] is not uniquely determined, but the norm minimum solution can be obtained by general reversal.
  • FIG. 12 is a conceptual diagram showing the camera system 1 of this example.
  • the part already demonstrated in the figure attaches
  • the camera 10B has the same configuration as the camera 10A, and is not shown.
  • the image processing unit 35 is provided with the transfer function input unit 3, the first calculation unit 5, the recovery filter generation unit 7, and the recovery image generation unit 9 described in FIG.
  • the transfer function input unit 3, the first calculation unit 5, the recovery filter generation unit 7, and the recovery image generation unit 9 are provided in the image processing unit 35 of the camera 10A.
  • the image processing unit 35 of the camera 10B is also provided with a transfer function input unit 3, a first calculation unit 5, a recovery filter generation unit 7, and a recovery image generation unit 9.
  • the target resolution value of the camera 10A and the target resolution value of the camera 10B may be calculated by the first calculation unit 5 of the camera 10A, and the target resolution value of the camera 10A is the first calculation unit of the camera 10A. 5 and the target resolution value of the camera 10B may be calculated by the first calculation unit 5 of the camera 10B. Note that the camera 10A and the camera 10B are connected by wire or wirelessly and can exchange data with each other.
  • FIG. 12 illustrates the case where the transfer function input unit 3, the first calculation unit 5, the recovery filter generation unit 7, and the recovery image generation unit 9 are provided in the camera 10A and the camera 10B, but the image processing unit 35 of the camera 10A. Only, the transfer function input unit 3, the first calculation unit 5, the recovery filter generation unit 7, and the recovery image generation unit 9 may be provided.
  • a recovery filter is generated by the above-described recovery filter generation method (steps S10 to S12 in FIG. 8), and the generated recovery filter is preset in the camera system 1.
  • FIG. 13 is an operation flowchart when a recovery filter is set in the camera system 1 of this example.
  • transfer functions H1 and H2 of the camera 10A and the camera 10B are input to the transfer function input unit 3 (transfer function input step: step S30).
  • the first calculator 5 calculates a target resolution value based on the input transfer functions H1 and H2 and the reference (calculation step: step S31).
  • the recovery filter generation unit 7 generates a recovery filter based on the calculated target resolution value (recovery filter generation step: step S32).
  • the recovery filter generated in the camera system 1 is set (stored) (step S33).
  • the camera system 1 stores the recovery filter at an appropriate location. That is, the recovery filter may be stored in the camera 10 ⁇ / b> A and the camera 10 ⁇ / b> B constituting the camera system 1 or may be stored in the computer 60.
  • the target resolution value is determined by the above-described target resolution value calculation method (steps S10 to S11 in FIG. 8), and the target resolution value is preset in the camera system 1.
  • FIG. 14 is an operation flowchart when a recovery filter is set in the camera system 1 of this example.
  • transfer functions H1 and H2 of the camera 10A and the camera 10B are input to the transfer function input unit 3 (transfer function input step: step S40).
  • the first calculator 5 calculates a target resolution value based on the input transfer functions H1 and H2 and the reference (calculation step: step S41).
  • the target resolution value calculated in the camera system 1 is set (stored) (step S42).
  • the camera system 1 stores the target resolution value at an appropriate location.
  • the target resolution value may be stored in the camera 10 ⁇ / b> A and the camera 10 ⁇ / b> B constituting the camera system 1 or may be stored in the computer 60.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

複数の撮像系から出力される画像であっても、同一の解像を有し且つ画質が良好な画像を得ることができる画像処理装置、画像処理方法、およびカメラシステムを提供することを目的とする。画像処理装置６３（３５）は、複数の撮像系の各伝達関数が入力される伝達関数入力部３と、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮影画像を回復させる回復処理の目標値である目標解像値を算出する算出部５と、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成部７と、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮影画像に対して回復処理を行い回復画像を生成する回復画像生成部９と、を備える。

Description

画像処理装置、画像処理方法、およびカメラシステム
　本発明は、点拡がり関数に基づく回復処理が行われる画像処理装置、画像処理方法、およびカメラシステムに関する。
　光学系を介して撮影される被写体像には、光学系に起因する回折や収差等の影響により、点被写体が微小な広がりを持つ点拡がり現象が見られることがある。光学系の点光源に対する応答を表す関数は点拡がり関数(ＰＳＦ:Point Spread Function)と呼ばれ、撮像画像（撮影画像）の解像度劣化（ボケ）を左右する特性として知られている。
　点拡がり現象のために画質劣化した撮像画像は、ＰＳＦに基づく回復処理を受けることによって画質を回復可能である。この回復処理は、レンズ（光学系）の収差等に起因する劣化特性（点像特性）を予め求めておき、その点像特性に応じた回復フィルタを用いた画像処理によって撮像画像の点拡がりをキャンセルまたは低減する処理である。この回復処理を利用した技術が、従来より提案されている。
　例えば特許文献１には、復元フィルタ（回復フィルタ）を使用して復元処理（回復処理）を行い、復元処理後の画像の評価値（ＭＴＦ（modulation transfer function）、ＴＶ（television）解像本数、または評価エリアにおけるコントラスト）を所定の評価値以上にさせる復元フィルタをメモリに保存しておく撮像装置が記載されている。
特開２００８－８５６９７号公報
　ここで、通常、画像の回復には伝達関数の逆関数を乗算するべきであるが、そのまま逆関数を乗算したのでは、劣化の程度が大きな周波数成分において、非常に大きな増幅率を適用することになり、撮像系のノイズを増幅し、逆に画質を劣化させてしまう可能性がある。これを回避するために、撮像系のＳＮ比(signal-noise ratio)が既知である状況において、画像を最小二乗の意味によって最適に回復する、ウィナー（Wiener）フィルタがよく用いられている。
　ＦＡＭＶ(factory automation machine vision)などの分野においては、全く同一な解像性能を持つ複数のカメラを有するシステムが求められる。これは、複数のカメラから出力された撮像画像に対して画像認識アルゴリズムを適用する際に、もし撮像画像間の解像が異なると、各撮像画像に合わせて個別に認識アルゴリズムの微調整を行う作業が必要となるからである。すなわち、複数のカメラから出力された撮像画像であっても、同じパラメータの設定の認識アルゴリズムにより処理が可能であることが好ましい。しかしながら実際には、同じ型番のレンズまたはカメラであっても、製造時に発生する個体バラツキによって各個体の性能が変化してしまうため、複数のカメラから出力された撮像画像において全く同じ解像を実現するのは難しい。
　この問題を解決するために、レンズ個体ごとの光学伝達関数を実測し、それを用いて個別にウィナーフィルタによる回復処理によって解像補正を実施するという手段が考えられる。しかしながら、単にウィナーフィルタによる回復処理を個別に適用しただけでは、補正後の画像の解像が必ずしも同一となっている保証がない。これは、ウィナーフィルタは画像を最小二乗の意味で最良に回復する処理であるため、良いレンズはより良く、悪いレンズは回復しても良いレンズまでは及ばない（場合によってはノイズを消すためにさらに悪く回復してしまう）ケースが生じてしまうためである。
　特許文献１には、複数のカメラから出力される画像間において解像を合わせることに関しては言及されていない。
　本発明はこのような事情に鑑みてなされたもので、その目的は、複数の撮像系から出力される画像であっても、同一の解像を有し且つ画質が良好な画像を得ることができる画像処理装置、画像処理方法、およびカメラシステムを提供することである。
　上記目的を達成するために、本発明の一の態様である画像処理装置は、複数の撮像系の各伝達関数が入力される伝達関数入力部と、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成部と、を備え、算出部において用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系全体における回復画像と複数の撮像系において劣化する前の理想画像との誤差を最小化する。
　本態様によれば、算出部により、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系全体における回復画像と撮像系において劣化する前の理想画像との誤差を最小化する基準に基づいて、複数の撮像系における目標解像値が算出される。そして回復フィルタ生成部により、算出部により算出された目標解像値に基づいて各撮像系より出力された画像に対して用いられる回復フィルタが生成され、回復画像生成部により、撮像画像に対して回復処理が行われた回復画像が生成される。これにより本態様は、複数の撮像系により取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。
　本発明の他の態様である画像処理装置は、複数の撮像系の各伝達関数が入力される伝達関数入力部と、複数の撮像系の各撮影条件が入力される撮影条件入力部と、入力された各伝達関数、各撮影条件、および所定の基準に基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成部と、を備え、算出部において用いられる所定の基準は、複数の撮像系の回復画像の解像値と目標解像値との差が撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、複数の撮像系の全体の各撮影条件全体における回復画像と複数の撮像系において劣化する前の理想画像との重み付き誤差を最小化する。
　本態様によれば、算出部により、複数の撮像系の回復画像の解像値と目標解像値との差が撮影条件に応じた重みを適用した上で最小にさせる前提条件のもと、複数の撮像系の全体の各撮影条件全体における回復画像と撮像系において劣化する前の理想画像との重み付き誤差を最小化する基準に基づいて、複数の撮像系の目標解像値が算出される。そして回復フィルタ生成部により、算出部により算出された目標解像値に基づいて、各撮像系より出力された画像に対して用いられる回復フィルタを生成し、回復画像生成部により、撮像画像に対して回復処理が行われた回復画像が生成される。これにより本態様は、複数の撮像系で取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。さらに本態様は、目標解像値を算出する場合に、撮影条件に応じた重みが適用されるので、撮影条件に応じてバランスがとれた回復フィルタが設計され、解像値が一致し且つ画質が良好な回復画像を取得することができる。
　好ましくは、画像処理装置は、撮影条件入力部に入力された各撮影条件に応じた目標解像値との一致の程度を表す重みが入力される重み入力部を備える。
　本態様によれば、重み入力部により、撮影条件入力部に入力された各撮影条件に応じた目標解像値との一致の程度を表す重みが入力される。これにより本態様は、入力された重みに応じて、目標解像値に解像を一致させるような回復フィルタが生成され、その回復フィルタにより回復処理が行われるので、画像全体として解像のバランスの良い回復画像を取得することができる。
　好ましくは、算出部は、回復画像と理想画像との二乗誤差の合計値を最小化する基準に基づいて、目標解像値を算出する。
　本態様によれば、算出部は、回復画像と理想画像との二乗誤差の合計値を最小化する基準に基づいて、目標解像値を算出する。これにより本態様は、良好な画質の回復画像を取得することができる。
　本発明の他の態様であるカメラシステムは、上述の画像処理装置を有するカメラシステムであって、複数の撮像系と複数の撮像系の制御を行う制御装置は有線または無線により接続されており、制御装置に、上述の画像処理装置が設けられている。
　本態様によれば、上述した画像処理装置がカメラシステムにおける制御装置に設けられている。これにより本態様は、複数の撮像系で取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。
　本発明の他の態様であるカメラシステムは、上述の画像処理装置を有するカメラシステムであって、複数の撮像系と複数の撮像系の制御を行う制御装置は有線または無線により接続されており、複数の撮像系のうちの少なくとも１つに、上述の画像処理装置が設けられている。
　本態様によれば、上述した画像処理装置がカメラシステムを構成する複数のカメラのうち少なくとも１つに設けられている。これにより本態様は、複数の撮像系で取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。
　本発明の他の態様であるカメラシステムは、上述の画像処理装置を有する複数のカメラにより構成されるカメラシステムであって、複数の撮像系と複数の撮像系の制御を行う制御装置は有線または無線により接続されており、複数の撮像系の各々には、上述の画像処理装置が設けられている。
　本態様によれば、上述した画像処理装置がカメラシステムを構成する複数の撮像系の各々に設けられている。これにより本態様は、複数の撮像系で取得された撮像画像であっても、解像値が一致し且つ画質が良好な回復画像を取得することができる。
　本発明の他の態様である画像処理方法は、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系全体における回復画像と複数の撮像系において劣化する前の理想画像との誤差を最小化する。
　本発明の他の態様である画像処理方法は、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、複数の撮像系の各撮影条件が入力される撮影条件入力ステップと、入力された各伝達関数、各撮影条件、および所定の基準に基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する回復画像生成ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値と目標解像値との差が撮影条件に応じて重みを適用した上で最小にさせるのを前提条件とし、複数の撮像系の全体の各撮影条件全体における回復画像と複数の撮像系において劣化する前の理想画像との誤差を最小化する。
　本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系全体における回復画像と複数の撮像系において劣化する前の理想画像との誤差を最小化する回復フィルタ生成方法により生成された回復フィルタを有する。
　本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、入力された各伝達関数と所定の基準とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系全体における回復画像と複数の撮像系において劣化する前の理想画像との誤差を最小化する目標解像値算出方法により算出された目標解像値を有する。
　本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、複数の撮像系の各撮影条件が入力される撮影条件入力ステップと、入力された各伝達関数、各撮影条件、および所定の基準に基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、複数の撮像系の各伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値と目標解像値との差が撮影条件に応じて重みを適用した上で最小にさせるのを前提条件とし、複数の撮像系の全体の各撮影条件全体における回復画像と複数の撮像系において劣化する前の理想画像との誤差を最小化する回復フィルタ生成方法により生成された回復フィルタを有する。
　本発明の他の態様であるカメラシステムは、複数の撮像系が有線または無線により接続されているカメラシステムにおいて、カメラシステムは、複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、複数の撮像系の各撮影条件が入力される撮影条件入力ステップと、入力された各伝達関数、各撮影条件、および所定の基準に基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、を含み、算出ステップにおいて用いられる所定の基準は、複数の撮像系の回復画像の解像値と目標解像値との差が撮影条件に応じて重みを適用した上で最小にさせるのを前提条件とし、複数の撮像系の全体の各撮影条件全体における回復画像と複数の撮像系において劣化する前の理想画像との誤差を最小化する目標解像値算出方法により算出された目標解像値を有する。
　本発明によれば、所定の基準を用いて複数の撮像系に対する目標解像値が算出され、算出された目標解像値に基づいて回復フィルタが生成され、生成された回復フィルタにより回復処理が行われるので、複数の撮像系から出力された画像間において周波数特性が一致し、且つ良好な画質を有する画像を得ることができる。
カメラシステムを概念的に示す図である。 カメラシステムを構成するコンピュータおよびカメラの機能構成を示すブロック図である。 コンピュータ側画像処理部（画像処理装置）の機能構成を示すブロック図である。 画像撮影から回復処理までの概略を示す図である。 画像のＭＴＦと周波数の関係を示す図である。 画像のＭＴＦと周波数の関係を示す図である。 画像のＭＴＦと周波数の関係を示す図である。 画像処理方法の工程を示すフロー図である。 カメラシステムを概念的に示す図である。 コンピュータ側画像処理部（画像処理装置）の機能構成を示すブロック図である。 画像処理方法の工程を示すフロー図である。 カメラシステムを概念的に示す図である。 カメラシステムに回復フィルタが設定される場合の動作フロー図である。 カメラシステムに目標解像値が設定される場合の動作フロー図である。
　以下、添付図面に沿って本発明の画像処理装置、画像処理方法、およびカメラシステムの好ましい実施の形態について説明する。
　＜第１の実施形態＞
　先ず本発明の第１の実施形態に関して説明する。
　図１は、複数のカメラと制御装置とから構成されるカメラシステムを概念的に示す図である。
　カメラシステム１はカメラ（撮像系）１０Ａ、カメラ（撮像系）１０Ｂ、およびコンピュータ（制御装置）６０により構成される。またカメラ１０Ａは撮像画像２Ａを取得し、カメラ１０Ｂは撮像画像２Ｂを取得する。なお図中では撮像画像２Ａおよび撮像画像２Ｂは、カメラ１０Ａおよびカメラ１０Ｂの撮影方向とともに概念的に示されている。
　カメラ１０Ａおよびカメラ１０Ｂは、それぞれ異なる位置に設置され、被写体Ｏを撮影している。カメラ１０Ａは伝達関数Ｈ１を有し、撮像画像２Ａには被写体Ｏの像はＰ１の位置に写される。カメラ１０Ｂは伝達関数Ｈ２を有し、その撮像画像２Ｂには被写体Ｏの像はＰ２の位置に写される。なおカメラシステム１では、カメラ１０Ａ、カメラ１０Ｂ、およびコンピュータ６０は有線によって接続されているが、無線によって接続されてもよい。
　カメラシステム１は例えばＦＡＭＶ用途で用いられる。カメラ１０Ａおよびカメラ１０Ｂにより撮影された画像は、画像解析されて画像に写っている物体が認識される。そのために、撮像画像２Ａおよび２Ｂにおいて被写体Ｏは同じ解像で写ることが求められる。なお、解像とは画像表示の精細さであり、画像における細部の表現力をいい、解像値または解像度のように数値によって表すこともできる。
　本発明では、カメラシステム１に設けられた画像処理装置によって、被写体Ｏの画像上の解像が同一となるように回復処理が行われる。具体的には、カメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１およびＨ２をキャリブレーションにより求め、被写体Ｏの画面上の位置（Ｐ１、Ｐ２）における被写体Ｏの解像値が等しくなるように回復処理が行われる。ここでキャリブレーションとは、例えばカメラ１０Ａおよびカメラ１０Ｂの目標とする被写体Ｏの位置にチャートを置き、それぞれの伝達関数を測定することである。なお、本願において解像が同一または一致するとは、例えば目標解像値を基準にして５％、好ましくは３％の誤差範囲内に解像が収まっていることをいう。
　図２は、カメラシステム１を構成するコンピュータ６０、コンピュータ６０に接続されるカメラ１０Ａおよびカメラ１０Ｂの機能構成を示すブロック図である。なお、カメラ１０Ａおよびカメラ１０Ｂは同様の構成であるので、カメラ１０Ａの構成のみ記載してカメラ１０Ｂの構成は省略する。
　カメラ１０Ａは、交換可能なレンズユニット１２と、撮像素子２６を具備するカメラ本体１４とを備え、レンズユニット１２のレンズユニット入出力部２２とカメラ本体１４のカメラ本体入出力部３０とを介し、レンズユニット１２とカメラ本体１４とは電気的に接続される。
　レンズユニット１２は、レンズ１６や絞り１７等の光学系と、この光学系を制御する光学系操作部１８とを具備する。光学系操作部１８は、レンズユニット入出力部２２に接続されるレンズユニットコントローラ２０と、光学系を操作するアクチュエータ（図示省略）とを含む。レンズユニットコントローラ２０は、レンズユニット入出力部２２を介してカメラ本体１４から送られてくる制御信号に基づき、アクチュエータを介して光学系を制御し、例えば、レンズ移動によるフォーカス制御やズーム制御、絞り１７の絞り量制御、等を行う。
　カメラ本体１４の撮像素子２６は、集光用マイクロレンズ、Ｒ（赤）Ｇ（緑）Ｂ（青）等のカラーフィルタ、およびイメージセンサ（フォトダイオード；ＣＭＯＳ（complementary metal oxide semiconductor）、ＣＣＤ（charge-coupled device）等）を有する。この撮像素子２６は、レンズユニット１２の光学系（レンズ１６、絞り１７等）を介して照射される被写体像の光を電気信号に変換し、画像信号（原画像データ）をカメラ本体コントローラ２８に送る。なお、カメラ１０Ａがカラー画像を取得する場合について説明するが、カメラ１０Ａは白黒画像または単色画像を取得することもできる。
　本例の撮像素子２６は、光学系を用いた被写体像の撮影により原画像データを出力し、この原画像データはカメラ本体コントローラ２８の画像処理部３５に送信される。
　カメラ本体コントローラ２８は、図２に示すようにデバイス制御部３４と画像処理部３５とを有し、カメラ本体１４を統括的に制御する。デバイス制御部３４は、例えば、撮像素子２６からの画像信号（画像データ）の出力を制御し、レンズユニット１２を制御するための制御信号を生成してカメラ本体入出力部３０を介してレンズユニット１２（レンズユニットコントローラ２０）に送信し、入出力インターフェース３２を介して接続される外部機器類（コンピュータ６０等）に画像処理前後の画像データ（ＲＡＷデータ、ＪＰＥＧデータ等）を送信する。また、デバイス制御部３４は、カメラ１０Ａが具備する各種デバイス類を適宜制御する。
　画像処理部３５は、撮像素子２６からの画像信号に対し、必要に応じた任意の画像処理を行うことができる。例えば、センサ補正処理、デモザイク（同時化）処理、画素補間処理、色補正処理（オフセット補正処理、ホワイトバランス処理、カラーマトリック処理、階調補正処理等）、ＲＧＢ画像処理（シャープネス処理、トーン補正処理、露出補正処理、輪郭補正処理等）、ＲＧＢおよび／またはＹＣｒＣｂ変換処理および画像圧縮処理等の各種の画像処理が、画像処理部３５において適宜行われる。
　カメラ本体コントローラ２８において画像処理された画像データは、入出力インターフェース３２を介してコンピュータ６０等に送られる。カメラ１０Ａ（カメラ本体コントローラ２８）からコンピュータ６０等に送られる画像データのフォーマットは特に限定されず、ＲＡＷ、ＪＰＥＧ、ＴＩＦＦ等の任意のフォーマットとしうる。したがって、カメラ本体コントローラ２８は、いわゆるＥｘｉｆ（Exchangeable Image File Format）のように、ヘッダ情報（撮影情報（撮影日時、機種、画素数、絞り値等）等）、主画像データおよびサムネイル画像データ等の複数の関連データを相互に対応づけて１つの画像ファイルとして構成し、この画像ファイルをコンピュータ６０に送信してもよい。
　コンピュータ６０は、カメラ本体１４の入出力インターフェース３２およびコンピュータ入出力部６２を介してカメラ１０Ａに接続され、カメラ本体１４から送られてくる画像データ等のデータ類を受信する。コンピュータコントローラ６４は、コンピュータ６０を統括的に制御し、カメラ１０Ａからの画像データを画像処理し、インターネット７０等のネットワーク回線を介してコンピュータ入出力部６２に接続されるサーバ８０等との通信を制御する。コンピュータ６０はディスプレイ６６を有し、コンピュータコントローラ６４における処理内容等が必要に応じてディスプレイ６６に表示される。ユーザは、ディスプレイ６６の表示を確認しながらキーボード等の入力手段（図示省略）を操作することで、コンピュータコントローラ６４に対してデータやコマンドを入力することができる。これによりユーザは、コンピュータ６０や、コンピュータ６０に接続される機器類（カメラ１０Ａ、カメラ１０Ｂ、およびサーバ８０）を制御することができる。
　サーバ８０は、サーバ入出力部８２およびサーバコントローラ８４を有する。サーバ入出力部８２は、コンピュータ６０等の外部機器類との送受信接続部を構成し、インターネット７０等のネットワーク回線を介してコンピュータ６０のコンピュータ入出力部６２に接続される。サーバコントローラ８４は、コンピュータ６０からの制御指示信号に応じ、コンピュータコントローラ６４と協働し、コンピュータコントローラ６４との間で必要に応じてデータ類の送受信を行い、データ類をコンピュータ６０にダウンロードし、演算処理を行ってその演算結果をコンピュータ６０に送信する。
　各コントローラ（レンズユニットコントローラ２０、カメラ本体コントローラ２８、コンピュータコントローラ６４、サーバコントローラ８４）は、制御処理に必要な回路類を有し、例えば演算処理回路（ＣＰＵ（Central Processing Unit）等）及びメモリ等を具備する。また、カメラ１０Ａ、コンピュータ６０およびサーバ８０間の通信は有線であってもよいし無線であってもよい。また、コンピュータ６０およびサーバ８０を一体的に構成してもよく、またコンピュータ６０およびサーバ８０のうち少なくとも一方が省略されてもよい。また、カメラ１０Ａにサーバ８０との通信機能を持たせ、カメラ１０Ａとサーバ８０との間で直接的にデータ類の送受信が行われるようにしてもよい。
　図３は、コンピュータ側画像処理部（画像処理装置）６３の機能構成を示すブロック図である。コンピュータ側画像処理部６３は、コンピュータコントローラ６４に設けられている。
　コンピュータ側画像処理部６３は、伝達関数入力部３、第１算出部（算出部）５、回復フィルタ生成部７、および回復画像生成部９を備える。
　コンピュータ側画像処理部６３には、カメラ１０Ａによって取得された撮像画像２Ａ（撮像画像データ）およびカメラ１０Ｂによって取得された撮像画像２Ｂ（撮像画像データ）が、入出力インターフェース３２およびコンピュータ入出力部６２を介して入力される。コンピュータ側画像処理部６３に入力された撮像画像２Ａおよび撮像画像２Ｂは、回復画像生成部９に入力される。
　またコンピュータ側画像処理部６３には、カメラ１０Ａの伝達関数Ｈ１およびカメラ１０Ｂの伝達関数Ｈ２が、入出力インターフェース３２およびコンピュータ入出力部６２を介して入力される。コンピュータ側画像処理部６３に入力された伝達関数Ｈ１および伝達関数Ｈ２は、伝達関数入力部３に入力される。
　第１算出部５は、入力された各伝達関数と算出基準（所定の基準）とに基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する。具体的には第１算出部５は、伝達関数Ｈ１および伝達関数Ｈ２と後で説明する算出基準とに基づいて、撮像画像２Ａおよび撮像画像２Ｂに対して行われる回復処理の目標解像値を算出する。ここで目標解像値とは例えば、回復処理によって変更される解像値のことであり、撮像画像に回復処理を行って得られる回復画像の解像値である。また目標解像値は、ある周波数またはある周波数帯域における解像値が示されてもよいし、ナイキスト周波数までの全ての周波数帯域における離散的にサンプリングされた解像値の集合で示されてもよい。
　回復フィルタ生成部７は、複数の撮像系の伝達関数と目標解像値とに基づいて、複数の撮像系の各々に対して、回復処理に用いられる回復フィルタを生成する。具体的には回復フィルタ生成部７は、伝達関数Ｈ１および伝達関数Ｈ２と第１算出部５により算出された目標解像値に基づいて回復フィルタを生成する。
　回復画像生成部９は、複数の撮像系の各々について生成された回復フィルタを用いて、複数の撮像系により取得された撮像画像に対して回復処理を行い回復画像を生成する。具体的には回復画像生成部９は、回復フィルタ生成部７により生成されたカメラ１０Ａの回復フィルタを使用して撮像画像２Ａに対して回復処理を行って回復画像１１Ａを生成し、回復フィルタ生成部７で生成されたカメラ１０Ｂの回復フィルタを使用して撮像画像２Ｂに対して回復処理を行って回復画像１１Ｂを生成する。ここで回復画像１１Ａおよび回復画像１１Ｂは、第１算出部５で算出された目標解像値に回復処理され、回復画像１１Ａと回復画像１１Ｂは同じ解像値を有する。
　次に、回復処理に関して説明する。
　図４は、画像撮影から回復処理までの概略を示す図である。点像を被写体として撮影を行う場合、被写体像は光学系（レンズ１６、絞り１７等）を介して撮像素子２６（イメージセンサ）により受光され、撮像素子２６から原画像データＤｏが出力される。この原画像データＤｏは、光学系の特性に由来する点拡がり現象によって、本来の被写体像がぼけた状態の画像データとなる。
　このぼけ画像の原画像データＤｏによって本来の被写体像（点像）を復元（回復）するため、原画像データＤｏに対して回復フィルタＦを用いた回復処理Ｐ１０を行うことによって、本来の被写体像（点像）に対してより近い像（回復画像）を表す回復画像データＤｒが得られる。
　回復処理Ｐ１０において用いられる回復フィルタＦは、原画像データＤｏ取得時の撮影条件に応じた光学系の点像情報（点拡がり関数）に基づいて、所定の回復フィルタ算出アルゴリズムＰ２０によって得られる。光学系の点像情報（点拡がり関数）は、レンズ１６の種類だけではなく、絞り量、焦点距離、ズーム量、像高、記録画素数、画素ピッチ等の各種の撮影条件によって変動しうるため、回復フィルタＦを算出する際には、これらの撮影条件が取得される。
　上述のように回復処理Ｐ１０は、回復フィルタＦを用いたフィルタリング処理によって原画像データＤｏから回復画像データＤｒを作成する処理であり、例えばＮ×Ｍ（Ｎ及びＭは１以上の整数）のタップによって構成される実空間上の回復フィルタＦが処理対象の画像データに適用される。これにより、各タップに割り当てられるフィルタ係数と対応の画素データ（原画像データＤｏの処理対象画素データ及び隣接画素データ）とを加重平均演算（デコンボリューション演算）することによって、回復処理後の画素データ（回復画像データＤｒ）を算出することができる。この回復フィルタＦを用いた加重平均処理を、対象画素を順番に代え、画像データを構成する全画素データに適用することで、回復処理を行うことができる。
　なお、Ｎ×Ｍのタップによって構成される実空間上の回復フィルタは、周波数空間上の回復フィルタを逆フーリエ変換することによって導出可能である。したがって、実空間上の回復フィルタは、基礎となる周波数空間上の回復フィルタを特定し、実空間上の回復フィルタの構成タップ数を指定することによって、適宜算出可能である。
　次に、回復画像生成部９で生成される回復画像１１Ａおよび回復画像１１Ｂの解像に関して説明する。
　図５、図６、および図７は、撮像画像２Ａ、撮像画像２Ｂ、回復画像１１Ａ、および回復画像１１ＢのＭＴＦと周波数との関係を示す図である。
　図５（ｉ）は撮像画像２ＡのＭＴＦと周波数との関係を示し、図５（ｉｉ）は撮像画像２Ａに対して一般に用いられる態様でウィナーフィルタ使用して回復フィルタを生成しその回復フィルタにより、回復処理がされた場合の回復画像１１ＡのＭＴＦと周波数との関係が示されている。また図６においても同様に、図６（ｉ）では撮像画像２ＢについてのＭＴＦと周波数との関係が示されており、図６（ｉｉ）は撮像画像２Ｂに対して一般に用いられる態様でウィナーフィルタを使用して回復フィルタを生成しその回復フィルタにより、回復処理がされた場合の回復画像１１ＢのＭＴＦと周波数との関係が示されている。なお、図５（ｉｉ）および図６（ｉｉ）では回復処理を行うことによって点線で示された目標解像値までＭＴＦが回復されている。一般に用いられるウィナーフィルタの使用態様とは、一つのカメラから出力画像に対して回復処理を行う場合にウィナーフィルタにより回復フィルタを生成することであり、複数のカメラの画像間における出力画像間の解像の一致は考慮されていない使用態様のことである。
　図５および図６に示すように、一般に用いられる態様でウィナーフィルタを使用して回復フィルタを生成して回復処理を行った場合には、カメラ１０Ａまたはカメラ１０Ｂの各個体が有する伝達関数に応じて、回復フィルタが設計されるので、カメラ１０Ａの回復画像１１Ａとカメラ１０Ｂの回復画像１１Ｂとの解像は一致しない場合が多い。すなわち、単にウィナーフィルタによる画像回復処理を個別に適用しただけでは、回復画像１１Ａと回復画像１１Ｂとの解像が必ずしも同一となっている保証がない。これは、ウィナーフィルタは画像を最小二乗の意味で最良に回復する処理であるため、良いレンズはより良く、悪いレンズは回復しても良いレンズまでは及ばないケースが生じてしまうためである。
　図７は、撮像画像２Ａおよび撮像画像２ＢのＭＴＦと周波数との関係（図７（Ａ）の（ｉ）および図７（Ｂ）の（ｉ））と、本発明の回復処理を行った場合の回復画像１１Ａおよび回復画像１１ＢのＭＴＦと周波数との関係（図７（Ａ）の（ｉｉ）および図７（Ｂ）の（ｉｉ））が示されている。ここで、図７（Ａ）の（ｉｉ）では、第１算出部５により算出された目標解像値、伝達関数Ｈ１、および伝達関数Ｈ２に基づいて、カメラ１０Ａで取得された撮像画像２Ａの回復フィルタが生成され、その回復フィルタを用いて回復処理が行われている。また、図７（Ｂ）の（ｉｉ）においても、カメラ１０Ｂで取得された撮像画像２Ｂに対しても同様の回復処理が行われている。なお、図７（Ａ）の（ｉｉ）および図７（Ｂ）の（ｉｉ）では回復処理を行うことによって点線で示された目標解像値までＭＴＦが回復または移動されている。
　図７（Ａ）の（ｉｉ）および図７（Ｂ）の（ｉｉ）に示されるように、本発明の回復処理が行われた回復画像では、回復画像の周波数特性を一致させることができる。すなわち撮像画像２Ａと撮像画像２Ｂは、回復処理が行われることによって同一の目標解像値へ回復させられるので、回復画像１１Ａおよび回復画像１１Ｂにおいて解像は一致する。
　図８は、本発明の画像処理方法の工程を示すフロー図である。
　先ず、伝達関数入力部３にカメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１および伝達関数Ｈ２が入力される（伝達関数入力ステップ：ステップＳ１０）。次に第１算出部５は、入力された伝達関数Ｈ１、伝達関数Ｈ２、および算出基準に基づいて、目標解像値を算出する（算出ステップ：ステップＳ１１）。そして、回復フィルタ生成部７により、算出された目標解像値に基づいて回復フィルタが生成される（回復フィルタ生成ステップ：ステップＳ１２）。その後、回復画像生成部９により、生成された各回復フィルタを使用して、各カメラの撮像画像に対して回復処理を行い回復画像１１Ａが生成される（回復画像生成ステップ：ステップＳ１３）。
　上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータ６０に実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータ６０に対しても本発明を適用することが可能である。
　上記実施形態において、各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
　１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、あるいはＣＰＵとＦＰＧＡの組み合わせ）によって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
　さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
　＜第２の実施形態＞
　次に第２の実施形態に関して説明する。
　図９は、本実施形態のカメラシステム１を概念的に示す図である。なお、図１で既に説明を行った箇所は同じ番号を付し説明は省略する。
　本実施形態のカメラシステム１は、カメラ１０Ａ、カメラ１０Ｂ、およびコンピュータ（制御装置）６０により構成される。また、カメラ１０Ａは撮像画像２Ａを取得し、カメラ１０Ｂは撮像画像２Ｂを取得する。
　カメラ１０Ａは被写体Ｏ１および被写体Ｏ２を撮影し、カメラ１０Ｂは被写体Ｏ１および被写体Ｏ２を撮影している。ここで、被写体Ｏ１および被写体Ｏ２は、カメラ１０Ａおよびカメラ１０Ｂにおいて被写体距離の異なる被写体である。カメラ１０Ａは被写体距離の異なる被写体Ｏ１および被写体Ｏ２を撮影しているが、撮像画像２Ａにおいては被写体Ｏ１および被写体Ｏ２の像は重なっておりＰ１の位置に写されている。カメラ１０Ａは、被写体Ｏ１を伝達関数Ｈ１Ａで撮影し、被写体Ｏ２を伝達関数Ｈ２Ａ撮影している。
　カメラ１０Ｂは、被写体距離の異なる被写体Ｏ１および被写体Ｏ２を撮影しており、撮像画像２Ｂにおいては被写体Ｏ１および被写体Ｏ２の像は重ならず、被写体Ｏ１の像はＰ２の位置におよび被写体Ｏ２の位置はＰ３の位置に写される。カメラ１０Ｂは、被写体Ｏ１を伝達関数Ｈ１Ｂで撮影し、被写体Ｏ２を伝達関数Ｈ２Ｂで撮影している。
　このように、カメラ１０Ｂでは被写体Ｏ１および被写体Ｏ２は異なる位置Ｐ２およびＰ３にそれぞれに写るが、カメラ１０Ａでは被写体Ｏ１および被写体Ｏ２は位置Ｐ１に重なって写る。したがって、位置Ｐ１において、被写体Ｏ１の像であるか被写体Ｏ２の像であるかの判断は、撮像画像２Ａの画像データだけでは困難となる。この場合においても、上述した第１算出部５のように各伝達関数から目標解像値を算出させようとすると、第１算出部５は、伝達関数Ｈ１Ａと伝達関数Ｈ２Ａとの両方において同時に解像を一致させる回復フィルタを構成することは原理的に不可能となってしまい、カメラ１０Ａとカメラ１０Ｂとの間で解像が大きく乖離してしまう場合がある。そこでこのような場合には、解像を一致させる優先バランスを取る重み（β）を導入して、目標解像値を算出させる。ただし、他の手段によってカメラ１０Ａおよびカメラ１０Ｂにおける被写体Ｏ１および被写体Ｏ２の被写体距離などの撮影条件を特定できる場合については、撮影条件に応じたフィルタに切り換える事で解像を一致させる事が可能であるため本実施形態の説明では想定されていない。
　図１０は、コンピュータ側画像処理部（画像処理装置）６３の機能構成を示すブロック図である。コンピュータ側画像処理部６３は、コンピュータコントローラ６４に設けられている。
　コンピュータ側画像処理部６３は、伝達関数入力部３、撮影条件入力部１３、第２算出部１９、回復フィルタ生成部７、回復画像生成部９、および重み入力部１５を備える。なお、図３で既に説明を行った箇所は同じ符号を付し説明を省略する。
　撮影条件入力部１３は、複数の撮像系の各撮影条件が入力される。ここで撮影条件とは、被写体距離、または絞り１７等のように伝達関数に影響を与える撮影条件に関する情報である。図９に示した場合では、例えばカメラ１０Ａにおける被写体Ｏ１の被写体距離（ｋ１）および被写体Ｏ２の被写体距離（ｋ２）が入力され、カメラ１０Ｂにおける被写体Ｏ１（ｋ３）の被写体距離および被写体Ｏ２（ｋ４）の被写体距離が入力される。ここで、被写体が複数ある場合には、異なる撮影条件（被写体距離）が複数あると考え、被写体が複数ある場合にはそれに応じて撮影条件が複数あると考える。
　伝達関数入力部３には、撮影条件入力部１３に入力された撮影条件に応じた伝達関数が入力される。具体的に伝達関数入力部３には、各被写体距離に応じて伝達関数Ｈ１Ａ、伝達関数Ｈ２Ａ、伝達関数Ｈ１Ｂ、伝達関数Ｈ２Ｂが入力される。
　重み入力部１５は、撮影条件入力部１３に入力された各撮影条件に応じた目標解像値への一致の程度を表す重みが入力される。すなわち、重み入力部１５では各撮影条件の重要度に応じて重みが入力される。例えば、撮影条件ｋ１～ｋ４に応じて、重みβ１～β４が入力される。なお、重み入力部１５により入力される重みは、例えば第２算出部に予め設定された値が使用されてもよい。
　第２算出部１９は、入力された伝達関数、各撮影条件、および算出基準（所定の基準）に基づいて、複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する。
　図１１は、本実施形態の本発明の画像処理方法の工程を示すフロー図である。
　先ず、伝達関数入力部３にカメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１Ａ、伝達関数Ｈ２Ａ、伝達関数Ｈ１Ｂ、および伝達関数Ｈ２Ｂが入力される（伝達関数入力ステップ：ステップＳ２０）。次に、撮影条件入力部１３に撮影条件が入力され（撮影条件入力ステップ：ステップＳ２１）、重み入力部１５に撮影条件ごとの重みが入力される（重み入力ステップ：ステップＳ２２）。次に第２算出部１９は、撮影条件、伝達関数、重み、および算出基準に基づいて、目標解像値を算出する（算出ステップ：ステップＳ２３）。そして、回復フィルタ生成部７により、算出された目標解像値に基づいて回復フィルタが生成される（回復フィルタ生成ステップ：ステップＳ２４）。その後、回復画像生成部９により、生成された各回復フィルタを使用して、各カメラの撮像画像に対して回復処理を行い回復画像１１Ａおよび回復画像１１Ｂが生成される（回復画像生成ステップ：ステップＳ２５）。
　＜目標解像値の算出および回復フィルタの生成＞
　次に第１算出部５、第２算出部１９、および回復フィルタ生成部７により行われる具体的な計算例に関して説明する。
　＜ウィナーフィルタの導出＞
　先ず、一つのカメラ（撮像系）の出力画像に対してのウィナーフィルタにより回復フィルタを生成する場合を説明する。なお、以下の説明で「」括弧によって示される文字および式中のボールド体はベクトルまたは行列を示し、それ以外はスカラーを示すように区別して使用している。
　元画像（理想画像）を「x」、撮像系により劣化した画像を「y」、撮像系の光学伝達関数（２次元インパルス応答）を「h」とする。このとき、撮像系により混入する加法ノイズベクトルを「n」とすると、観測モデルは次式のように表現できる。
Figure JPOXMLDOC01-appb-M000001
ここで、＊は２次元コンボリュージョンを示す。一般に光学伝達関数は像高に依存して変化するが、上式では伝達関数の変化が無視できる微小領域に注目し、移動不変システムと見なせるものと仮定している。
　上式の両辺にフーリエ（Fourier）変換を適用すると、次式となる。
Figure JPOXMLDOC01-appb-M000002
　ここで、大文字の変数は小文字の変数の空間周波数
Figure JPOXMLDOC01-appb-M000003
における周波数成分である。
　ウィナー回復フィルタ（回復フィルタ）の２次元インパルス応答を「f」として、回復画像を「z」すると、画像回復過程は次式のように表現できる。
Figure JPOXMLDOC01-appb-M000004
同様に、上記のフーリエ変換は、
Figure JPOXMLDOC01-appb-M000005
となる。ウィナー回復フィルタの画像回復基準は、以下で定義される、元画像と回復画像の平均二乗誤差Jとなる。
Figure JPOXMLDOC01-appb-M000006
　ここで、Ｅｘは画像「x」の信号の振幅であり、Ｅｎはノイズ「n」の信号の振幅である。画像「x」とノイズ「n」は無相関であるため、
Figure JPOXMLDOC01-appb-M000007
と変形できる。上式において、「１」という表記はサイズが「ｆ」*「ｈ」と等しく常に
「１」＊「ｘ」＝「ｘ」となる（中心だけ1その他の要素は0となっている）ベクトルであるとする。上式をフーリエ変換すると、
Figure JPOXMLDOC01-appb-M000008
となる。さらに、平均信号電力Ｓを
Figure JPOXMLDOC01-appb-M000009
とし、平均ノイズ電力Ｎを
Figure JPOXMLDOC01-appb-M000010
とすると、
Figure JPOXMLDOC01-appb-M000011
となる。上式を回復フィルタ周波数特性について最小化するために、
Figure JPOXMLDOC01-appb-M000012
に対して偏微分してゼロとおくと、
Figure JPOXMLDOC01-appb-M000013
が得られ、これよりウィナー回復フィルタの周波数特性が次式のように得られる。
Figure JPOXMLDOC01-appb-M000014
ここで、
Figure JPOXMLDOC01-appb-M000015
は
Figure JPOXMLDOC01-appb-M000016
の複素共役であり、
Figure JPOXMLDOC01-appb-M000017
であるとする。実装上、回復フィルタはタップ数制限された２次元FIRフィルタとして実装されるため、任意の公知の制約条件付きの最適化手法を利用して、周波数特性
Figure JPOXMLDOC01-appb-M000018
を最良に近似するフィルタータップ係数「f」を得る。
　＜解像合わせウィナーフィルタの導出＞
　次に、第１の実施形態における第１算出部５および回復フィルタ生成部７での計算について説明する。
　第１算出部５が用いる算出基準は、「複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、複数の撮像系全体における回復画像と撮像系において劣化する前の理想画像との誤差を最小化する」である。例えば第１算出部５は、回復画像と理想画像との二乗誤差の合計値を最小化する基準に基づいて、目標解像値を算出する。以下に具体的に説明する。
　複数の撮像系（カメラ）のインデックスをi（1≦i≦M）とし、対応する実測された光学伝達関数(２次元インパルス応答)を「hi」、その周波数特性を
Figure JPOXMLDOC01-appb-M000019
と表記するものとする。このとき、各撮像系における回復フィルタ適用後の画像（回復画像）の周波数特性が一致していなければならない。回復フィルタ適用後のトータル（劣化と回復を含んだ）の周波数応答をR（定数）とおくと、
Figure JPOXMLDOC01-appb-M000020
となっている必要があり、これはつまり、回復フィルタの周波数特性がパラメータRを用いて次式のように一意に決まることを意味している。
Figure JPOXMLDOC01-appb-M000021
　各撮像系の回復フィルタの周波数特性は、Rの値さえ決めれば、上式によって一意に決定される。Rの値を決定するために、ウィナーフィルタの場合と同じく、元画像と回復画像の平均二乗誤差基準を用いる。ただし、ここでは複数の撮像系における二乗誤差の重みつき和を利用するものとする。
Figure JPOXMLDOC01-appb-M000022
ただし
Figure JPOXMLDOC01-appb-M000023
Figure JPOXMLDOC01-appb-M000024
である。また、ｗi（≧０）は撮像系の回復程度の優先順位を割り当てるための重み係数であり、不必要であればｗi＝１とする。上記Jをフーリエ変換すると、以下のようになる。
Figure JPOXMLDOC01-appb-M000025
Figure JPOXMLDOC01-appb-M000026
　ここで、平均信号電力と平均ノイズ電力は、撮像系によらず一定であると仮定している。これをRについて最小化するため、Rに対して偏微分してゼロとおくと、
Figure JPOXMLDOC01-appb-M000027
を得る。ここで、
Figure JPOXMLDOC01-appb-M000028
は以下で定義される、伝達関数
Figure JPOXMLDOC01-appb-M000029
の重みつき調和平均(weighted harmonic mean)である。
Figure JPOXMLDOC01-appb-M000030
このようにして求められたR（目標解像値）によって、最終的に回復フィルタの周波数特性は、次のように表現される。
Figure JPOXMLDOC01-appb-M000031
このように定義された「解像合わせウィナーフィルタ」を用いることによって、回復後の周波数特性が必ず一致するというメリットを得ることができるうえ、撮像系のSN比を考慮して回復量を最適に調整するという、これまでのウィナーフィルタのメリットも得ることができる。
　＜複数撮影条件における重み付き解像合わせ＞
　次に、第２の実施形態における第２算出部１９および回復フィルタ生成部７における計算について説明する。
　第２算出部１９が用いる算出基準は、「複数の撮像系の回復画像の解像値と目標解像値との差が撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、複数の撮像系の全体の各撮影条件全体における回復画像と撮像系において劣化する前の理想画像との重み付き誤差を最小化する」である。以下に具体的に説明する。
　上述した手法では、解像を一致させたい被写体（撮影条件）が１つであったため、常に一致させるように回復フィルタを構成することが可能であった。ここでは、解像を一致させたい被写体が複数あった場合を考える。このとき、それらの被写体が画面上において全て位置が重ならない（全て異なる）位置に表示されている場合には、前述の方法と同様にして、全ての被写体の解像を一致させることは可能である。一方、解像を一致させたい被写体の画面上において写る場所が互いに重なっている場合、全ての解像を一致させる回復フィルタは原理的に構成できないという問題があった（ただし、被写体の位置つまりは撮像条件を画像処理系が認識でき、かつ被写体が複数同時に撮影されない条件では、このような問題は起きない。）。
　それを受け以降では、各被写体（撮影条件）の重要度を示す重み係数βを導入し、その係数の大きさに応じて目標解像へ一致させる程度に強弱の変化をつけ、性能バランスが取れたフィルタを設計する方法を考える。また以降では、複数の被写体というのは、被写体の位置（距離）の違いによる伝達関数の違いは撮影条件が変化することと等価であるし、絞りなどの撮影条件が変化することも含めて考慮できるため、撮影条件の違いとして取り扱うことができる。
　複数の撮像系のインデックスをi（１≦i≦M）とし、同時に一致させたい撮影条件のインデックスをｋ（１≦ｋ≦N）、被写体の画面内位置を示すインデックスをｐ（１≦ｐ≦P）とする。このとき、これらのインデックスを用いて、測定された光学伝達関数を
Figure JPOXMLDOC01-appb-M000032
とし、回復フィルタの周波数応答を
Figure JPOXMLDOC01-appb-M000033
とする。解像を一致させたいのは、画面内位置ｐと撮影条件ｋごとに個々に特定の解像に一致させたいため、その目標解像の値（目標解像値）を
Figure JPOXMLDOC01-appb-M000034
とおき、この値を近似重みβやウィナー基準から求める問題を考えることになる。表記の簡単のため、以降の議論において特定の値について考えればよいインデックスｐと空間周波数
Figure JPOXMLDOC01-appb-M000035
を省略して、それぞれを
Figure JPOXMLDOC01-appb-M000036
と表記することにする。
　前述の通り、全ての撮影条件において解像を一致させることは一般に不可能であるため、撮像系iと撮影条件kの全ての組み合わせについて、解像一致の精度を示す重みβi,kが与えられているものとする。これを用いて、解像一致のための評価基準「Ｊ1」は次のように表現される。
Figure JPOXMLDOC01-appb-M000037
上式において導入されたベクトル、行列、重み行列付きノルムは以下のように定義されている。
Figure JPOXMLDOC01-appb-M000038
Figure JPOXMLDOC01-appb-M000039
Figure JPOXMLDOC01-appb-M000040
Figure JPOXMLDOC01-appb-M000041
ここで、「xH」は「x」の転置共役(Hermitian transpose)を示す。「J1」の値を最小化する回復フィルタ周波数応答を求めるために
Figure JPOXMLDOC01-appb-M000042
とおくと、次のように「Fi」は決定される。
Figure JPOXMLDOC01-appb-M000043
　各撮像系の回復フィルタの周波数特性は、「r」の値さえ決めれば、上式によって一意に決定される。「r」の値を決定するために、ウィナーフィルタの場合と同じく、元画像と回復画像の平均二乗誤差を最小にする基準を用いる。ただし、ここでは複数の撮像系iと複数の撮影条件kにおける全ての二乗誤差の重みつき和をとったものを利用するものとする。これをＪ2[ｒ]とすると、次式のように表現できる。
Figure JPOXMLDOC01-appb-M000044
Figure JPOXMLDOC01-appb-M000045
Figure JPOXMLDOC01-appb-M000046
ここで、ｗｉ，ｋ（≧０）は撮像系の回復程度の優先順位を割り当てるための重み係数である。上式において、ＳとＮは他と同様に空間周波数
Figure JPOXMLDOC01-appb-M000047
を省略している。いま、Ｊ２［ｒ］における
Figure JPOXMLDOC01-appb-M000048
による被積分項をＪ３［ｒ］としたとき、［ｒ］も
Figure JPOXMLDOC01-appb-M000049
に依存して独立に決定できると仮定すると、Ｊ３［ｒ］のみをそれぞれの空間周波数において独立に最小化する問題となっているため、以降はＪ３［ｒ］の最小化を考える。汎関数Ｊ３［ｒ］を［ｒ］で変分してゼロをおくと、最適な［ｒ］は次式を満たしていることが分かる。
Figure JPOXMLDOC01-appb-M000050
　これが、任意のΔrに対して成り立つためには、全ての撮像系ｉ(1≦ｉ≦Ｍ)に対して次式が成立していなくてはならない。
Figure JPOXMLDOC01-appb-M000051
　この条件を、全ての撮像系ｉ(1≦ｉ≦Ｍ)が同時に満たしているためには、上式を連立させて［ｒ］についての以下の行列の式を得る。
Figure JPOXMLDOC01-appb-M000052
Figure JPOXMLDOC01-appb-M000053
Figure JPOXMLDOC01-appb-M000054
　ここで、「Ａ」はＭ×Ｎの複素行列、「ｕ」はＭ次元の複素コラムベクトルである。一般にＮ＜ＭまたはｒａｎｋＡ＜Ｍである場合には、上式を満たす［ｒ］は存在しない。Ｎ＝ＭでありｒａｎｋＡ＝Ｍである場合には、最適な［ｒ］は一意に決定する。Ｎ＞Ｍであり、ｒａｎｋＡ＝Ｍとなる場合では最適な［ｒ］は一意には決まらないが、一般逆によりノルム最小解を求めることはできる。Ｎ≧ＭかつｒａｎｋＡ＝Ｍとなる場合、最適な［ｒ］は次式によって求めることができる。
Figure JPOXMLDOC01-appb-M000055
　ここで、「Ａ＋」は「Ａ」のMoore-Penrose一般逆である。これを用いて、求めるべき撮像系iにおける最適な回復フィルタの周波数応答は、次式で表現できる。
Figure JPOXMLDOC01-appb-M000056
　＜変形例１＞
　次に本発明の変形例１に関して説明する。本例では画像処理部（画像処理装置）はカメラシステム１の制御装置（コンピュータ６０）ではなく、カメラ１０Ａおよびカメラ１０Ｂに設けられている。
　図１２は、本例のカメラシステム１を示す概念図である。なお、図で既に説明を行った箇所は同じ番号を付し説明は省略する。またカメラ１０Ｂは、カメラ１０Ａと同じ構成であるため図示は省略されている。
　画像処理部３５には図３で説明をした、伝達関数入力部３、第１算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられている。
　図１２で説明する場合ではカメラ１０Ａの画像処理部３５に、伝達関数入力部３、第１算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられている。また図示は省略されているが、カメラ１０Ｂの画像処理部３５においても、伝達関数入力部３、第１算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられている。
　この場合、カメラ１０Ａの目標解像値およびカメラ１０Ｂの目標解像値がカメラ１０Ａの第１算出部５で算出されてもよいし、カメラ１０Ａの目標解像値はカメラ１０Ａの第１算出部５で算出され、カメラ１０Ｂの目標解像値はカメラ１０Ｂの第１算出部５で算出されてもよい。なお、カメラ１０Ａとカメラ１０Ｂとは有線または無線により接続されており、互いにデータのやり取りは可能である。
　また図１２ではカメラ１０Ａおよびカメラ１０Ｂに伝達関数入力部３、第１算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられる場合について説明したが、カメラ１０Ａの画像処理部３５のみに、伝達関数入力部３、第１算出部５、回復フィルタ生成部７、および回復画像生成部９が設けられていてもよい。
　＜変形例２＞
　次に、本発明の変形例２に関して説明する。本例では、上述した回復フィルタ生成方法（図８のステップＳ１０～ステップＳ１２）により回復フィルタが生成され、生成された回復フィルタがカメラシステム１に予め設定されている。
　図１３は、本例のカメラシステム１に回復フィルタが設定される場合の動作フロー図である。
　先ず、伝達関数入力部３にカメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１およびＨ２が入力される（伝達関数入力ステップ：ステップＳ３０）。次に第１算出部５は、入力された伝達関数Ｈ１およびＨ２、および基準に基づいて、目標解像値を算出する（算出ステップ：ステップＳ３１）。そして、回復フィルタ生成部７により、算出された目標解像値に基づいて回復フィルタが生成される（回復フィルタ生成ステップ：ステップＳ３２）。その後、カメラシステム１に生成された回復フィルタが設定（記憶）される（ステップＳ３３）。カメラシステム１は、回復フィルタを適切な箇所で記憶する。すなわち回復フィルタは、カメラシステム１を構成するカメラ１０Ａおよびカメラ１０Ｂに記憶されてもよいし、コンピュータ６０に記憶されてもよい。
　なお上述の説明は、第１の実施形態の場合の回復フィルタ生成方法での本例について説明をしてきたが、第２の実施形態（図１１）の回復フィルタ生成方法の場合についても本例が適用される。
　＜変形例３＞
　次に、本発明の変形例３に関して説明する。本例では、上述した目標解像値算出方法（図８のステップＳ１０～ステップＳ１１）により目標解像値が決定され、その目標解像値がカメラシステム１に予め設定されている。
　図１４は、本例のカメラシステム１に回復フィルタが設定される場合の動作フロー図である。
　先ず、伝達関数入力部３にカメラ１０Ａおよびカメラ１０Ｂの伝達関数Ｈ１およびＨ２が入力される（伝達関数入力ステップ：ステップＳ４０）。次に第１算出部５は、入力された伝達関数Ｈ１およびＨ２、および基準に基づいて、目標解像値を算出する（算出ステップ：ステップＳ４１）。その後、カメラシステム１に算出された目標解像値が設定（記憶）される（ステップＳ４２）。カメラシステム１は、目標解像値を適切な箇所で記憶する。例えば目標解像値は、カメラシステム１を構成するカメラ１０Ａおよびカメラ１０Ｂに記憶されてもよいし、コンピュータ６０に記憶されてもよい。
　なお上述の説明は、第１の実施形態の場合の回復フィルタ生成方法での本例について説明をしてきたが、第２の実施形態（図１１）の回復フィルタ生成方法の場合についても本例が適用される。
　以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
　１　　　　カメラシステム
　２Ａ、２Ｂ　撮像画像
　３　　　　伝達関数入力部
　５　　　　第１算出部
　７　　　　回復フィルタ生成部
　９　　　　回復画像生成部
　１０Ａ、１０Ｂ　カメラ
　１１Ａ、１１Ｂ　回復画像
　１２　　　レンズユニット
　１３　　　撮影条件入力部
　１４　　　カメラ本体
　１５　　　重み入力部
　１６　　　レンズ
　１７　　　絞り
　１８　　　光学系操作部
　１９　　　第２算出部
　２０　　　レンズユニットコントローラ
　２２　　　レンズユニット入出力部
　２６　　　撮像素子
　２８　　　カメラ本体コントローラ
　３０　　　カメラ本体入出力部
　３２　　　入出力インターフェース
　３４　　　デバイス制御部
　３５　　　画像処理部
　６０　　　コンピュータ
　６２　　　コンピュータ入出力部
　６３　　　コンピュータ側画像処理部
　６４　　　コンピュータコントローラ
　６６　　　ディスプレイ
　７０　　　インターネット
　８０　　　サーバ
　８２　　　サーバ入出力部
　８４　　　サーバコントローラ
　Ｓ１０～Ｓ１３　　第１の実施形態の画像処理方法
　Ｓ２０～Ｓ２５　　第２の実施形態の画像処理方法
　Ｓ３０～Ｓ３３　　回復フィルタ生成方法
　Ｓ４０～Ｓ４２　　目標解像値算出方法

Claims (13)

  1. 　複数の撮像系の各伝達関数が入力される伝達関数入力部と、
    　入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、
    　前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、
    　前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成部と、
    　を備え、
    　前記算出部に用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する画像処理装置。
  2. 　複数の撮像系の各伝達関数が入力される伝達関数入力部と、
    　前記複数の撮像系の各撮影条件が入力される撮影条件入力部と、
    　入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出部と、
    　前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成部と、
    　前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成部と、
    　を備え、
    　前記算出部に用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値と前記目標解像値との差が前記撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との重み付き誤差を最小化する画像処理装置。
  3. 　前記撮影条件入力部に入力された前記各撮影条件に応じた前記目標解像値との一致の程度を表す前記重みが入力される重み入力部を備える請求項２に記載の画像処理装置。
  4. 　前記算出部は、前記回復画像と前記理想画像との二乗誤差の合計値を最小化する基準に基づいて、前記目標解像値を算出する請求項１から３のいずれか１項に記載の画像処理装置。
  5. 　請求項１から４のいずれか１項に記載の画像処理装置を有するカメラシステムであって、
    　前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
    　前記制御装置に、前記画像処理装置が設けられているカメラシステム。
  6. 　請求項１から４のいずれか１項に記載の画像処理装置を有するカメラシステムであって、
    　前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
    　前記複数の撮像系のうちの少なくとも１つに、前記画像処理装置が設けられているカメラシステム。
  7. 　請求項１から４のいずれか１項に記載の画像処理装置を有する複数のカメラで構成されるカメラシステムであって、
    　前記複数の撮像系と前記複数の撮像系の制御を行う制御装置は有線または無線により接続されており、
    　前記複数の撮像系の各々には、前記画像処理装置が設けられているカメラシステム。
  8. 　複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
    　入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
    　前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
    　前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成ステップと、
    　を含み、
    　前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する画像処理方法。
  9. 　複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
    　前記複数の撮像系の前記各撮影条件が入力される撮影条件入力ステップと、
    　入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
    　前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
    　前記複数の撮像系の各々について生成された前記回復フィルタを用いて、前記複数の撮像系により取得された前記撮像画像に対して前記回復処理を行い回復画像を生成する回復画像生成ステップと、
    　を含み、
    　前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の前記回復画像の解像値と前記目標解像値との差が前記撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する画像処理方法。
  10. 　複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
    　前記カメラシステムは、
    　前記複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
    　入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
    　前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
    　を含み、
    　前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する回復フィルタ生成方法により生成された前記回復フィルタを有するカメラシステム。
  11. 　複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
    　前記カメラシステムは、
    　複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
    　入力された前記各伝達関数と所定の基準とに基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
    　を含み、
    　前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値を一致させるのを前提条件とし、前記複数の撮像系全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する目標解像値算出方法により算出された前記目標解像値を有するカメラシステム。
  12. 　複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
    　前記カメラシステムは、
    　複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
    　前記複数の撮像系の前記各撮影条件が入力される撮影条件入力ステップと、
    　入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
    　前記複数の撮像系の前記各伝達関数と前記目標解像値とに基づいて、前記複数の撮像系の各々に対して、前記回復処理に用いられる回復フィルタを生成する回復フィルタ生成ステップと、
    　を含み、
    　前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値と前記目標解像値との差が前記撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する回復フィルタ生成方法により生成された回復フィルタを有するカメラシステム。
  13. 　複数の撮像系が有線または無線により接続されているカメラシステムにおいて、
    　前記カメラシステムは、
    　複数の撮像系の各伝達関数が入力される伝達関数入力ステップと、
    　前記複数の撮像系の前記各撮影条件が入力される撮影条件入力ステップと、
    　入力された前記各伝達関数、前記各撮影条件、および所定の基準に基づいて、前記複数の撮像系の各々から出力される複数の撮像画像を回復させる回復処理の目標値である目標解像値を算出する算出ステップと、
    　を含み、
    　前記算出ステップにおいて用いられる前記所定の基準は、前記複数の撮像系の回復画像の解像値と前記目標解像値との差が前記撮影条件に応じた重みを適用した上で最小にさせるのを前提条件とし、前記複数の撮像系の全体の前記各撮影条件全体における前記回復画像と前記複数の撮像系において劣化する前の理想画像との誤差を最小化する目標解像値算出方法により算出された前記目標解像値を有するカメラシステム。
PCT/JP2017/043948 2017-02-17 2017-12-07 画像処理装置、画像処理方法、およびカメラシステム WO2018150695A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018568011A JP6628908B2 (ja) 2017-02-17 2017-12-07 画像処理装置、画像処理方法、およびカメラシステム
CN201780085394.7A CN110249620B (zh) 2017-02-17 2017-12-07 图像处理装置、图像处理方法及相机系统
US16/518,095 US10931888B2 (en) 2017-02-17 2019-07-22 Image processing device, image processing method, and camera system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017028061 2017-02-17
JP2017-028061 2017-02-17

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/518,095 Continuation US10931888B2 (en) 2017-02-17 2019-07-22 Image processing device, image processing method, and camera system

Publications (1)

Publication Number Publication Date
WO2018150695A1 true WO2018150695A1 (ja) 2018-08-23

Family

ID=63170229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/043948 WO2018150695A1 (ja) 2017-02-17 2017-12-07 画像処理装置、画像処理方法、およびカメラシステム

Country Status (4)

Country Link
US (1) US10931888B2 (ja)
JP (1) JP6628908B2 (ja)
CN (1) CN110249620B (ja)
WO (1) WO2018150695A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112863408B (zh) * 2019-11-26 2022-12-27 逸美德科技股份有限公司 屏幕分辨率的检测方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085697A (ja) * 2006-09-28 2008-04-10 Kyocera Corp 撮像装置、並びにその製造装置および製造方法
WO2011122283A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
JP2012156716A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003209553A1 (en) * 2002-03-13 2003-09-22 Imax Corporation Systems and methods for digitally re-mastering or otherwise modifying motion pictures or other image sequences data
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
JP2011044801A (ja) * 2009-08-19 2011-03-03 Toshiba Corp 画像処理装置
JP5204165B2 (ja) * 2010-08-05 2013-06-05 パナソニック株式会社 画像復元装置および画像復元方法
CN102625043B (zh) 2011-01-25 2014-12-10 佳能株式会社 图像处理设备、成像设备和图像处理方法
JP2015186170A (ja) * 2014-03-26 2015-10-22 ソニー株式会社 画像処理装置および画像処理方法
US9225889B1 (en) * 2014-08-18 2015-12-29 Entropix, Inc. Photographic image acquisition device and method
JP6263461B2 (ja) * 2014-09-26 2018-01-17 日立オートモティブシステムズ株式会社 撮像装置
CN107079094B (zh) * 2014-09-30 2018-07-13 富士胶片株式会社 图像处理装置、图像处理方法、及记录介质
JP6573386B2 (ja) * 2014-12-01 2019-09-11 キヤノン株式会社 制御装置、レンズ装置、画像処理システム、制御方法、画像処理方法、プログラム、および、記憶媒体

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008085697A (ja) * 2006-09-28 2008-04-10 Kyocera Corp 撮像装置、並びにその製造装置および製造方法
WO2011122283A1 (ja) * 2010-03-31 2011-10-06 キヤノン株式会社 画像処理装置、およびそれを用いた撮像装置
JP2012156716A (ja) * 2011-01-25 2012-08-16 Canon Inc 画像処理装置、撮像装置、画像処理方法およびプログラム。

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201540A (ja) * 2019-06-06 2020-12-17 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP7016835B2 (ja) 2019-06-06 2022-02-07 キヤノン株式会社 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
US11694310B2 (en) 2019-06-06 2023-07-04 Canon Kabushiki Kaisha Image processing method, image processing apparatus, image processing system, and manufacturing method of learnt weight

Also Published As

Publication number Publication date
CN110249620A (zh) 2019-09-17
US10931888B2 (en) 2021-02-23
US20190340788A1 (en) 2019-11-07
JP6628908B2 (ja) 2020-01-15
CN110249620B (zh) 2021-04-23
JPWO2018150695A1 (ja) 2019-12-12

Similar Documents

Publication Publication Date Title
JP7016835B2 (ja) 画像処理方法、画像処理装置、画像処理システム、学習済みウエイトの製造方法、および、プログラム
JP5933105B2 (ja) 画像処理装置、撮像装置、フィルタ生成装置、画像復元方法及びプログラム
US8659672B2 (en) Image processing apparatus and image pickup apparatus using same
US8824824B2 (en) Image processing apparatus, imaging apparatus, image processing method, and recording medium storing program
JP5264968B2 (ja) 画像処理装置、画像処理方法、撮像装置、および、画像処理プログラム
US8537239B2 (en) Image processing method, image processing apparatus and image processing program
US8982234B2 (en) Information processing apparatus and method
US11308592B2 (en) Image processing method, image processing apparatus, imaging apparatus, and storage medium, that correct a captured image using a neutral network
WO2011121760A9 (ja) 画像処理装置、およびそれを用いた撮像装置
JP6592622B2 (ja) 画像処理装置、画像処理方法、およびカメラシステム
WO2011121763A1 (ja) 画像処理装置、およびそれを用いた撮像装置
JP6628908B2 (ja) 画像処理装置、画像処理方法、およびカメラシステム
JP2011217087A (ja) 画像処理装置及びそれを用いた撮像装置
US20120162485A1 (en) Image processing apapratus, image processing method, and program, and image processing system
JP2012156715A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2012156716A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム。
CN110958382A (zh) 图像处理方法、图像处理装置、成像装置和存储介质
JP2017028583A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2012156714A (ja) プログラム、画像処理装置、画像処理方法および撮像装置。
JP5963542B2 (ja) 画像処理装置、その制御方法及びプログラム
JP2012134736A (ja) 撮像装置
JP6608548B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2022161527A (ja) 画像処理方法、画像処理装置、撮像装置およびプログラム
JP2013223208A (ja) 撮像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17896974

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018568011

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17896974

Country of ref document: EP

Kind code of ref document: A1