[go: up one dir, main page]

WO2007060847A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2007060847A1
WO2007060847A1 PCT/JP2006/322475 JP2006322475W WO2007060847A1 WO 2007060847 A1 WO2007060847 A1 WO 2007060847A1 JP 2006322475 W JP2006322475 W JP 2006322475W WO 2007060847 A1 WO2007060847 A1 WO 2007060847A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
imaging
pixel
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2006/322475
Other languages
English (en)
French (fr)
Inventor
Ichiro Oyama
Taku Hirasawa
Michiyoshi Nagashima
Tomokuni Iijima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2007546402A priority Critical patent/JP4976310B2/ja
Priority to US12/094,051 priority patent/US7999873B2/en
Priority to CN2006800428253A priority patent/CN101310539B/zh
Publication of WO2007060847A1 publication Critical patent/WO2007060847A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene

Definitions

  • the present invention relates to a compound eye type imaging apparatus that captures an image with a plurality of optical systems, and is used for applications such as portable devices, in-vehicle, medical, monitoring, and robots.
  • a subject image including light information of all wavelengths cannot be formed on the imaging surface with a single lens.
  • a plurality of optical lenses are arranged in the optical axis direction in order to image light of each wavelength of red, green, and blue on the same imaging surface. Accordingly, the optical length becomes longer and the imaging device becomes thicker.
  • a compound eye type image pickup apparatus in which a focal length is short and a plurality of single lenses are arranged on substantially the same plane has been proposed (for example, see Patent Document 1).
  • a lens that forms an image of blue wavelength light, a lens that forms an image of green wavelength light, and a lens that forms an image of red wavelength light are arranged on the same plane.
  • the image pickup surface of the image pickup element is arranged on the optical axis of each lens.
  • the wavelength range of the light that each lens handles is narrowly limited, by using the same focal length for each lens, a plurality of object images are arranged on the same plane using a plurality of single lenses. It is possible to form an image on the imaging surface. Therefore, the thickness of the imaging device can be greatly reduced.
  • FIG. 16 shows a perspective view of an example of a compound eye type imaging apparatus.
  • Reference numeral 500 denotes a lens array, which includes four integrally molded lenses 501a, 501b, 501c, and 501d.
  • the lens 501a is a lens that forms red wavelength light, and forms a subject image in the imaging region 502a of the imaging element in which a red wavelength separation filter (color filter) is attached to the imaging surface.
  • the lenses 501b and 501d are lenses that focus light of green wavelength, and a subject image is formed on the imaging regions 502b and 502d of the image sensor in which a green wavelength separation filter (color filter) is attached to the imaging surface. Let me image.
  • the lens 501c is a lens that forms an image of light having a blue wavelength, and forms an object image on an imaging region 502d of an imaging element in which a blue wavelength separation filter (color filter) is attached to the imaging surface.
  • the imaging device converts the light intensity of the subject image formed in each of the imaging regions 502a to 502d into image data and outputs the image data.
  • a color image can be obtained by superimposing and synthesizing these image data.
  • the number of lenses need not be limited to four.
  • the imaging device can be thinned, but the resolution is inferior to that of a general monocular imaging device including a color filter arranged in a bay. There is a problem. The reason will be described below.
  • color filters are provided in a bay arrangement on the entrance surface of a large number of pixels so that each pixel of the imaging device can extract predetermined color information. That is, corresponding to the arrangement of a large number of pixels arranged in the vertical and horizontal directions, a color filter that transmits green light is arranged in a pine pattern, and a color filter that transmits red light and blue light are transmitted to the remaining pixels. Color filters that transmit light are alternately arranged. Such an array of color filters is generally called a Bayer array. From each pixel of the image sensor, only color information in the wavelength range of light that has passed through the color filter can be obtained, and color information in the wavelength range of light that does not pass through the color filter cannot be obtained.
  • the image information power of red and blue is estimated to be green. Can do. This characteristic is used to complement the missing color image information. Therefore, a color image having the same number of pixels as the effective number of pixels of the imaging element can be obtained. For example, when an image sensor with 1 million effective pixels is used, 500,000 pixels detect green image information, 250,000 pixels detect blue image information, and 250,000 pixels Image information with red pixels is detected. However, the above interpolation process can obtain image information with a resolution of 1 million pixels for any color of red, green, and blue.
  • each imaging region corresponding to each color of the imaging element is red, Since image information of either green or blue color is acquired, a color image having a resolution with the same number of pixels as the number of pixels in each imaging region is obtained.
  • the image sensor needs to have a total of 1 million pixels. The resolution of 250,000 pixels.
  • the relative position relationship between the subject image and the pixels of the image sensor is shifted from each other by shifting the relative position of the lens and the subject in time series by an actuator.
  • pixel shifting that obtains a high resolution image by acquiring a plurality of images and combining them (for example, Patent Document 2).
  • the amount of shifting in this pixel shifting technique is determined optimally depending on the shifting direction and the number of images to be acquired. For example, when combining two images, if the relative positional relationship between the subject image and the pixel is shifted between the two images by half the pixel arrangement pitch (hereinafter referred to as “pixel pitch”), The highest resolution image can be obtained.
  • the pixel shifting technology can be used if multiple images are obtained in which the relative positional relationship between the subject image formed by the lens and the pixels of the image sensor is shifted from each other, and can also be applied to a compound-eye imaging device. is there.
  • the pixel shifting technique performed by shifting the relative position between the lens and the subject in time series is effective when the subject image is stationary, but when the subject image is not stationary, it is effective between the lens and the subject. It is difficult to obtain a high-resolution image because the photographing timing is shifted due to the relative position being shifted in time series.
  • Patent Document 3 in a compound-eye imaging apparatus that forms a plurality of subject images on a plurality of imaging regions with a plurality of lenses, the subject image of the subject at a predetermined distance is light of the lens.
  • a high-resolution composite image is obtained by positioning each optical axis of multiple lenses with respect to the pixels of the image sensor so that the pixel shifted by a predetermined amount in the direction connecting the axes is realized.
  • a method has been proposed. With this method, if the distance between the subject and the imaging device is constant, a high-resolution image can be obtained even if the subject image is stationary!
  • Patent Document 1 Japanese Patent Laid-Open No. 2002-204462
  • Patent Document 2 Japanese Patent Laid-Open No. 10-304235
  • Patent Document 3 Japanese Patent Application Laid-Open No. 2002-209226
  • Non-Patent Document 1 Hirotsugu Kodera and two others, “Full power image display method from monochromatic images using correlation of color signals”, Proc. Of the National Congress of the Institute of Image Electronics Engineers of Japan, 1988, p. 83-86 (1 988)
  • Patent Document 3 has two problems.
  • FIGS. 17A and 17B are diagrams showing the positional relationship between a subject, two lenses having different optical axes, and two subject images formed by the two lenses in a compound-eye imaging device.
  • FIG. 17A is a cross-sectional view in a plane including the optical axes of the two lenses
  • FIG. 17B is a plan view of the imaging surface of the imaging device as viewed from a direction parallel to the optical axis.
  • Reference numerals 600a and 600b denote optical axes of the lenses 60la and 601b
  • reference numerals 602a and 602b denote positions intersecting with the imaging regions 6003 of the optical axes 600a and 600b.
  • 605a and 605b are subject images formed by the lenses 6 Ola and 601b of the subject 604 on the optical axis 600a.
  • the optical axes of a plurality of lenses are different from each other. Therefore, the position of the subject image 605b on the imaging region 603 depends on the optical axes 600a and 600b of the lens according to the distance to the subject. Move in the connecting direction (the direction of the dashed line 610 in the figure).
  • This phenomenon is called “parallax”, and the amount of deviation S from the position 602b where the lens optical axis 600b and the imaging region 603 intersect to the subject image 605b is the distance from the lens 601a to the subject 604 (hereinafter referred to as “subject distance”). ) Is A, d is the distance between the optical axes 600a and 600b of the lenses 601a and 601b, and f is the distance from the lens 601a and 601b force to the imaging region 603.
  • 502a is an imaging area that receives red light
  • 502b is an imaging area that receives green light
  • 502c is an imaging area that receives blue light
  • 502d is an imaging area that receives green light
  • 702a, 702b, and 702c , 702d are pixels constituting the respective imaging areas 502a, 502b, 502c, 502d
  • 701a, 701b, 701c, 701d are the positions of the subject images in the respective imaging areas 502a, 502b, 502c, 502d.
  • the amount of deviation between the imaging area 502c and the imaging area 502b aligned in the horizontal direction is ideally 0.5 pixels in the horizontal direction and 0 pixels in the vertical direction.
  • the horizontal direction is 0.6 pixels and the vertical direction is 0.1 pixels.
  • the amount of deviation between the imaging area 502a and the imaging area 502b arranged in the vertical direction is ideally 0 pixels in the horizontal direction and 0.5 pixels in the vertical direction in order to obtain a high-resolution composite image.
  • Certain force Figure 18 shows 0.1 pixels in the horizontal direction and 0.4 pixels in the vertical direction.
  • the amount of deviation between the imaging area 502 d and the imaging area 502 b is ideally 0.5 pixels in the horizontal direction and 0.5 pixels in the vertical direction in order to obtain a high-resolution composite image. In FIG. 18, it is 0.5 pixel in the horizontal direction and 0.5 pixel in the vertical direction. In the case where the positional relationship between the pixels of the plurality of imaging regions and the plurality of object images is as shown in FIG. 18, a plurality of images obtained from the plurality of imaging regions are obtained. 19A to 19D will be used to explain what kind of images can be obtained when combining using the pixel shifting technique.
  • FIG. 19A is a diagram showing a subject image formed in the imaging region 502b when three black lines (subjects) extending in the vertical direction on a white background are imaged.
  • FIG. 19B shows a plurality of images obtained from a plurality of imaging regions 502a, 502b, 502c, and 502d in a case where pixels in a plurality of imaging regions and a plurality of subject images have the positional relationship of FIG.
  • FIG. 6 is a diagram showing a composite image obtained by combining using a shift technique.
  • FIG. 19C shows a case where a plurality of imaging regions 502a, 502b, 502c, and 502d obtained from a plurality of imaging regions 502a, 502b, 502c, and 502d are used when a plurality of imaging regions and a plurality of subject images have an ideal positional shift relationship.
  • FIG. 5 is a diagram showing a composite image obtained by combining images using a pixel shifting technique.
  • FIG. 19D is a diagram showing an image obtained from the imaging region 502b of FIG.
  • the shading is expressed by the line density. The darker the color, the higher the line density, and the lighter the color, the lower the line density.
  • An object of the present invention is to solve the above-described conventional problems and to provide a thin compound eye type imaging apparatus capable of always obtaining a high-resolution and high-quality image regardless of the subject distance.
  • the imaging apparatus of the present invention includes a plurality of lenses arranged on the same plane and a plurality of imaging regions that respectively receive a plurality of subject images from the plurality of lenses.
  • the direction of the vertical line and the direction of the horizontal line of the pixel arrangement in each of the plurality of imaging regions are the same between the plurality of imaging regions.
  • the first imaging device of the present invention at least a pair of subjects image power received by at least a pair of imaging regions having parallax in the direction of the vertical line among the plurality of imaging regions. It is characterized by being shifted by a predetermined amount in the direction.
  • the second imaging device of the present invention at least a pair of subjects received by at least a pair of imaging regions having parallax in the direction of the horizontal line among the plurality of imaging regions. They are characterized by being shifted from each other by a predetermined amount.
  • FIG. 1 is a schematic configuration diagram of an imaging apparatus according to an embodiment of the present invention.
  • FIG. 2 is a cross-sectional view taken along the line II-II in FIG. 1 of the imaging unit of the imaging apparatus according to the embodiment of the present invention.
  • FIG. 3 is a diagram for explaining the principle of generating parallax in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 4 is a diagram for explaining the principle of parallax correction in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 5 is a diagram for explaining a parallax correction method in the imaging apparatus according to the embodiment of the present invention.
  • FIG. 6A is a diagram for explaining an example of an image composition method in the imaging apparatus according to the embodiment of the present invention.
  • FIG. 6B is a diagram illustrating another example of an image composition method in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 7A is a diagram showing an image having m X n pixels obtained from one imaging region in the imaging device according to one embodiment of the present invention.
  • FIG. 7B is a diagram showing a high-resolution image having 2′m ⁇ 2 ⁇ ⁇ pixel numbers obtained by image synthesis in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 8 is a diagram showing a synthesized color image in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 9 is a partially enlarged view showing the position of the subject image and the optical axis in the imaging region in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 10A is a diagram showing a subject image formed in one imaging area in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 10B is a diagram showing an image obtained by inverting the pixel arrangement of an image obtained from one imaging region in the vertical direction in the imaging device according to one embodiment of the present invention. is there.
  • FIG. 10C is a diagram showing a high-resolution power synthesized image in the imaging apparatus according to one embodiment of the present invention.
  • FIG. 10D is a diagram showing a high-resolution color composite image obtained by performing image composition in accordance with the edge direction of the image, in the imaging device according to one embodiment of the present invention.
  • FIG. 11 is a diagram showing a subject whose shade changes.
  • FIG. 12 is a schematic configuration diagram of an imaging apparatus according to another embodiment of the present invention in which the subject distance does not change.
  • FIG. 13A is a schematic configuration diagram of an imaging unit of an imaging apparatus according to another embodiment of the present invention.
  • FIG. 13B is a schematic configuration diagram of an imaging unit of an imaging apparatus according to still another embodiment of the present invention.
  • FIG. 14A is a diagram illustrating a composite image when two subject images on two imaging regions are shifted by 0.5 pixels in the horizontal direction in the imaging device according to one embodiment of the present invention.
  • FIG. 6 is a diagram illustrating a horizontal positional relationship between pixels constituting two subject images.
  • FIG. 14B is a diagram illustrating an image pickup apparatus according to an embodiment of the present invention in which two subject images on two image pickup areas are deviated by ⁇ pixels (0.5 ⁇ 1) in the horizontal direction.
  • FIG. 6 is a diagram showing an example of a horizontal positional relationship of pixels constituting two subject images in a composite image.
  • FIG. 14C is a diagram illustrating an image pickup apparatus according to an embodiment of the present invention in which two subject images on two image pickup areas are deviated by ⁇ pixels (0.5 ⁇ 1) in the horizontal direction.
  • FIG. 6 is a diagram showing another example of the horizontal positional relationship of pixels constituting two subject images in a composite image.
  • FIG. 15 is a flowchart showing processing performed by the image processing unit of the imaging apparatus according to the embodiment of the present invention.
  • FIG. 16 is a diagram showing a schematic configuration of a conventional compound eye type imaging apparatus.
  • FIG. 17A is a cross-sectional view showing a positional relationship among a plurality of lenses, a subject, and a subject image in a compound eye type imaging apparatus.
  • FIG. 17B is a plan view showing the positional relationship between the optical axes of a plurality of lenses and subject images in a compound eye type imaging apparatus.
  • FIG. 18 is a plan view showing a relationship between positions of optical axes of a plurality of lenses and a plurality of imaging regions in a conventional compound eye type imaging apparatus.
  • FIG. 19A is a diagram showing a subject image formed in one imaging region in a conventional compound-eye imaging device.
  • FIG. 19B is a diagram illustrating a conventional compound-eye imaging device in which a plurality of imaging regions and a plurality of subject images have a positional relationship shown in FIG. It is the figure which showed the synthesized image obtained by synthesize
  • FIG. 19C shows a pixel shifting technique in a conventional compound-eye imaging device when a plurality of imaging regions and a plurality of subject images have an ideal positional shift relationship. It is the figure which showed the synthesized image obtained by synthesize
  • FIG. 19D is a diagram showing an image captured by one imaging region in a conventional compound-eye imaging device.
  • At least a pair of object images received by at least a pair of imaging regions having a parallax in the direction of the horizontal line among the plurality of imaging regions are offset from each other by a predetermined amount in the direction of the double vertical line. This ensures that the horizontal The resolution in the vertical line direction can always be increased regardless of the subject distance.
  • the predetermined amount is a range in which a 0.25-fold power of a pixel pitch of the plurality of imaging regions in a shift direction of the predetermined amount is also 0.75 times. It is preferable that This makes it possible to always increase the resolution in the horizontal line direction or vertical line direction regardless of the subject distance.
  • the “predetermined amount of shift direction” is referred to as a “pixel shift direction”.
  • a plurality of color filters are provided between the plurality of lenses and the plurality of imaging regions. Thereby, it is possible to realize a thin imaging device capable of capturing a color image.
  • At least two of the plurality of color filters have the same spectral transmittance characteristic.
  • a thin color image can be taken, and a subject image can be synthesized with higher accuracy.
  • the first and second imaging devices of the present invention further include image processing means for processing a plurality of image data respectively output from the plurality of imaging regions.
  • the image processing means includes image combining means for combining the plurality of image data to create and output composite image data having a resolution higher than that of the plurality of image data.
  • an edge direction detecting means for detecting an edge direction in a local region included in at least one of the plurality of image data.
  • the image synthesizing unit preferably changes the method of synthesizing the plurality of image data based on the edge direction determined by the edge direction detecting unit.
  • the predetermined amount is not strictly 0.5 times the pixel pitch of the plurality of imaging regions in the shift direction of the predetermined amount, it is 0.25 times or more of the pixel pitch and 0.75. If it is less than double, it is possible to always output a high-resolution image with smooth shading change with little color unevenness.
  • the edge direction detection means determines that the edge direction in the local area is the same as the direction of the vertical line
  • the image synthesis means is vertical in the local area of the synthesized image data. It is preferable to continuously arrange the same pixel signal value in the direction. Good. Accordingly, even if the predetermined amount is not strictly 0.5 times the pixel pitch of the plurality of imaging regions in the shift direction of the predetermined amount, it is 0.25 times or more of the pixel pitch and 0.75. If it is less than double, an image area having edges extending in the vertical line direction can always be output at high resolution and with little color unevenness.
  • the image synthesis unit performs the operation in the local region of the synthesized image data Among the plurality of image data, pixel signal values of at least two image data shifted from each other in the horizontal line direction are arranged side by side in the horizontal line direction, and between two adjacent pixels in the vertical line direction. It is preferable to arrange an interpolation value of pixel signal values of the two pixels. Accordingly, even if the predetermined amount is not strictly 0.5 times the pixel pitch of the plurality of imaging regions in the shift direction of the predetermined amount, it is 0.25 times or more of the pixel pitch. If it is less than double, an image area having an edge extending in the vertical line direction can always be output with a high resolution and a smooth change in shading with little color unevenness.
  • the image composition unit performs horizontal processing in the local region of the composite image data. It is preferable to arrange the same pixel signal value in the direction continuously. As a result, even if the predetermined amount is not strictly 0.5 times the pixel pitch of the plurality of imaging regions in the shift direction of the predetermined amount, it is not less than 0.25 times the pixel pitch. If it is less than double, an image area having edges extending in the horizontal line direction can always be output with high resolution and with little color unevenness.
  • the image synthesizing means in the local area of the synthesized image data Among the plurality of image data, pixel signal values of at least two image data shifted from each other in the vertical line direction are arranged side by side in the vertical line direction, and between two adjacent pixels in the horizontal line direction. It is preferable to arrange an interpolation value of pixel signal values of the two pixels. Accordingly, the predetermined amount is strictly 0.5 times the pixel pitch of the plurality of imaging regions in the shift direction of the predetermined amount. Even if there is not, if the pixel pitch is 0.25 times or more and 0.75 times or less, the image area having edges extending in the horizontal line direction always has a high resolution and changes in shading with little color unevenness. It is possible to output smoothly.
  • the image synthesis unit is configured to store the synthesized image data.
  • the same pixel signal value is continuously arranged in the edge direction.
  • the image composition means In the local region, pixel signal values of at least two image data shifted from each other in the horizontal line direction or the vertical line direction among the plurality of image data, and pixel signals of two pixels adjacent in the edge direction It is preferable to place an interpolated value of the value. Accordingly, even if the predetermined amount is not strictly 0.5 times the pixel pitch of the plurality of imaging regions in the shift direction of the predetermined amount, it is 0.25 times or more of the pixel pitch. If it is 75 times or less, it is possible to always output an image area having an edge extending in an oblique direction with a high resolution and a smooth change in shading with little color unevenness.
  • the first and second imaging devices of the present invention further include image processing means for processing a plurality of image data respectively output from the plurality of imaging regions.
  • the image processing unit includes an image combining unit that combines the plurality of image data to generate and output combined image data having a higher resolution than the plurality of image data.
  • the image composition means preferably selects a plurality of image data to be used for composition from the plurality of image data according to the shift amounts of the plurality of imaging regions.
  • the image synthesizing unit selects image data in which the shift amount is closest to a predetermined value from the plurality of image data.
  • the predetermined amount which is the shift amount of at least a pair of subject images, changes due to changes in subject distance or temperature
  • the optimum image data is always selected and composite image data is output. It is possible to output images with high resolution at all times and smooth changes in shading with little color unevenness.
  • the image composition unit selects image data in which the deviation amount is included in a predetermined range from the plurality of image data.
  • the predetermined amount which is the shift amount of at least a pair of subject images, changes due to changes in subject distance, temperature, etc.
  • the predetermined range is a range of 0.25 times the pixel pitch of the plurality of imaging regions in the shift direction of the predetermined amount or a range of 0.75 times.
  • the first and second imaging devices of the present invention further include image processing means for processing a plurality of image data respectively output from the plurality of imaging regions.
  • the image processing unit is configured to combine the plurality of image data to generate and output composite image data having a higher resolution than the plurality of image data.
  • a smoothing filter that outputs smoothed image data obtained by smoothing the pixel signal value of each pixel of the composite image data or image data obtained by processing the composite image data based on the pixel signal value of a pixel in the vicinity of the pixel Means and the pixel signal value of each pixel of the smoothed image data or image data obtained by processing the smoothed image data. It is preferable to have edge enhancement filter means for outputting edge-enhanced image data in which edges are enhanced based on neighboring pixel signal values. As a result, it is possible to reduce color unevenness in the synthesized image data output from the image synthesizing means.
  • the imaging apparatus includes four lenses arranged on substantially the same plane, four color filters arranged corresponding to the four lenses, and four images by the four lenses.
  • This is a thin compound-eye imaging device that has four imaging areas for receiving body images and outputs color images and Z or monochrome images. Of the four lenses, three have different optical properties, and the remaining one has the same optical properties as any one of these three.
  • Each of the four imaging regions has a large number of pixels arranged in a grid pattern in the vertical direction and the horizontal direction. The vertical line direction and the horizontal line direction in which the respective pixels of the four imaging regions are arranged coincide with each other between the four imaging regions.
  • the relative positional relationship between the imaging region and the subject image formed on the imaging region is shifted by about 0.5 pixel in a predetermined direction between the imaging regions.
  • the imaging apparatus of the present embodiment it is possible to obtain an image with always high resolution and smoothly changing shading with little color unevenness regardless of subject distance and temperature change.
  • the curve included in the subject can be expressed as a smooth curve, and color unevenness caused by the effect of image synthesis using the correlation between image information of each color in the local region can be reduced.
  • FIG. 1 shows a schematic configuration of an imaging apparatus according to an embodiment of the present invention.
  • 2 is a cross-sectional view of the imaging unit 101 taken along the line II-II in FIG.
  • the imaging apparatus of the present embodiment outputs a color image in which the parallax between lenses is corrected.
  • reference numeral 101 denotes an imaging unit that also looks at the subject side force.
  • Light with strong subject power is incident on four single lenses 102a, 102b, 102c, and 102d arranged on substantially the same plane, and the four single lenses 102a, 102b, 102c, and 102d are color filters 113a and 113b. , 113c, 113d (see FIG. 2; however, the color filters 113b, 113d are not shown), and subject images are formed on the imaging regions 104a, 104b, 104c, 104d of the image sensor 103, respectively.
  • the imaging element 103 for example, an imaging element having a high pixel count such as 2 million pixels is used. To simplify the surface, Fig.
  • FIG. 1 shows an image sensor with a small number of 825 pixels.
  • squares arranged in a grid in the horizontal direction (X-axis direction) and vertical direction (Y-axis direction) in the image sensor 103 represent pixels.
  • the horizontal direction (X-axis direction) is called the horizontal line direction
  • the vertical direction (Y-axis direction) is called the vertical line direction.
  • a small square in each square (each pixel) represents a light receiving portion.
  • color filters 113a, 113b, 113c, 113d are placed on the subject side of the image sensor 103.
  • the single lenses 102a and 102d are designed to have an appropriate focal length so that a green light beam is imaged on the imaging surface of the image sensor 103, and the single lens 102b is a red light beam of the image sensor 103.
  • the single lens 102c is designed to have an appropriate focal length so that an image is formed on the imaging surface, and the single lens 102c has an appropriate focal length so that a blue ray is imaged on the imaging surface of the image sensor 103.
  • Designed to be Color filters 113a and 113d that transmit green light to the imaging regions 104a and 104d corresponding to the single lenses 102a and 102d are arranged above the imaging surface of the imaging element 103, and the imaging region 104b corresponding to the single lens 102b.
  • a color filter 113b that allows red light to pass therethrough is disposed, and a color filter 113c that transmits blue light is disposed in the imaging region 104c corresponding to the single lens 102c.
  • a subject image with a green light component is formed in the imaging regions 104a and 104d
  • a subject image with a red light component is formed in the imaging region 104b
  • a blue light component is formed in the imaging region 104c.
  • a subject image is formed.
  • the subject image formed in each of the imaging regions 104a, 104b, 104c, and 104d is the parallax calculated by (Equation 1), where A is the subject distance, d is the distance between the optical axes of the lenses, and f is the focal length. Images are shifted by an amount S with respect to the optical axes 105a, 105b, 105c, and 105d, respectively.
  • the exposure time, signal capture and transfer timing, and the like are controlled by the image sensor drive circuit 112.
  • the analog signal value of the received light amount at each pixel output from the imaging unit 101 is converted into a digital signal by the AZD converter 111, and this digital signal is input to the image processing unit 106.
  • the digitized image data of the imaging areas 104a, 104b, 104c, and 104d input to the image processor 106 is subjected to processing such as white balance and shading correction. It is.
  • FIG. 3 shows a subject image 114 formed on the imaging regions 104a and 104d of the subject at the subject distance AO on the optical axis 105a of the single lens 102a.
  • the subject image 114 is formed on the optical axis 105a on the imaging region 104a, and on the straight line 115 connecting the optical axis 105a and the optical axis 105d on the imaging region 104d, and is separated from the optical axis 105d by a distance Sxy.
  • the image is formed at the selected position.
  • the parallax Sx in the X-axis direction of the subject image 114 between the imaging region 104a and the imaging region 104d is expressed.
  • the image composition unit 107 performs a calculation to obtain the correlation between the subject images using the two image data output from the imaging region 104a and the imaging region 104d in which the subject image of the same color (green) is formed. Calculate Sx and Sy. Pixels exist only at integer coordinates on the image sensor 103, but values after the decimal point of parallax Sx and Sy can also be obtained by performing an interpolation operation such as linear interpolation.
  • the calculated parallax Sx is calculated between the imaging region 104a and the imaging region 104c. It is used as the amount of parallax of the subject image.
  • the error between the distance between the optical axis 105a and the optical axis 105d in the X-axis direction and the distance between the optical axis 105a and the optical axis 105c is an object at an infinite distance (for example, black Compensation is performed by comparing the positions of the subject images formed in the imaging areas 104a, 104c, and 104d of the white point light source on the ground.
  • the calculated Sy is calculated using the imaging region 104a and the imaging region. This is used as the amount of parallax of the subject image with respect to 104b.
  • An error between the distance in the Y-axis direction between the optical axis 105a and the optical axis 105d and the distance between the optical axis 105a and the optical axis 105b is compensated by a method similar to the above-described compensation method for the error in the X-axis direction distance.
  • the image composition unit 107 with respect to the image from the imaging region 104a in which the subject image by the green light component is formed, the image from the imaging region 104b in which the subject image by the red light component is formed, and blue
  • the deviation of the image from the imaging region 104c where the subject image is formed by the light component is corrected using the calculated parallaxes Sx and Sy, and then these three images are synthesized. In this way, a color image of the subject image can be obtained.
  • FIG. 4 shows the positions of subject images 114 & to 114 (1 imaged on the imaging region 104 & 1 to 104 (1) of the subject at the subject distance AO on the optical axis 105a of the single lens 102a.
  • the subject image 114a exists on the optical axis 105a.
  • the position of the optical axis 105c in the imaging region 104c is shifted by about 0.5 pixel in the negative direction of the Y axis with respect to the position of the optical axis 105a in the imaging region 104a.
  • the subject image 114c is formed at a position away from the optical axis 105c in the negative direction of the X axis by the parallax Sx obtained by (Equation 2).
  • the position of the optical axis 105b in the imaging region 104b is shifted by about 0.5 pixel in the negative direction of the X axis with respect to the position of the optical axis 105a in the imaging region 104a.
  • the subject image 114b is formed at a position away from the parallax Sy obtained by (Equation 3) in the negative direction of the Y axis from the optical axis 105b.
  • the image sensor 103 an image sensor having a smaller number of pixels than the actual one is shown in FIG. 4 for ease of explanation, but an image sensor having a high pixel number such as 2 million pixels is actually used. It is. Therefore, since the amount of deviation in the Y-axis direction between the optical axis 105a and the optical axis 105c is very small, the parallax in the Y-axis direction of the subject image 114c in the imaging region 104c can be ignored.
  • the imaging region 104b Since the amount of deviation between the optical axis 105a and the optical axis 105b in the X-axis direction is very small, the imaging region 104b The parallax in the X-axis direction of the subject image 114b can be ignored.
  • the subject image 114c moves in the X-axis direction in the imaging region 104c. At this time, the subject image 114c moves in the X-axis direction while maintaining a state that is always shifted by about 0.5 pixel in the Y-axis direction with respect to the optical axis 105a.
  • the subject image 114b moves in the Y-axis direction over the imaging region 104b. At this time, the subject image 114b moves in the Y-axis direction while maintaining a state of being shifted by about 0.5 pixels in the X-axis direction with respect to the optical axis 105a.
  • the subject image 114c on the imaging region 104c is always shifted by about 0.5 pixels in the negative direction of the Y axis with respect to the subject image 114a on the imaging region 104a regardless of the subject distance.
  • the subject image 114b on the area 104b is always shifted by about 0.5 pixels in the negative direction of the X axis with respect to the subject image 114a on the imaging area 104a regardless of the subject distance.
  • the image shift due to the parallax is performed as follows using the calculated parallaxes Sx and Sy.
  • the imaging area 104c is corrected by Sx in the X-axis direction.
  • the imaging area 104b is corrected by Sy in the Y-axis direction.
  • the imaging region 104d is corrected by Sx in the X-axis direction and Sy in the Y-axis direction, respectively.
  • processing such as rounding off is performed when the correction amounts Sx and Sy include values after the decimal point.
  • Pixel c (x, y) in the imaging area 104c receives the subject image at a position shifted by about 0.5 pixels in the positive direction of the Y axis with respect to the pixel a (x, y) in the imaging area 104a.
  • the pixel b (x, y) in the imaging region 104b is a subject image at a position shifted by about 0.5 pixel in the positive direction of the X axis with respect to the pixel a (x, y) in the imaging region 104a.
  • the amount of deviation in the X-axis direction and the Y-axis direction of the subject image received by the pixel d (x, y) in the imaging region 104d with respect to the subject image received by the pixel a (x, y) in the imaging region 104a is It changes according to the change of the subject distance.
  • the coordinates h (2'x, 2'y) are representative of values calculated by other interpolation methods using the luminance values of the neighboring pixels, not the average value of the luminance values of the four neighboring pixels. Do it.
  • the pixel d (x, y) force in the imaging region 104d is approximately 0.5 pixels in the positive direction of the X axis with respect to the pixel a (x, y) in the imaging region 104a, Y
  • a subject image 114 shifted by about 0.5 pixels in the positive direction of the axis is received. In this case, as shown in Fig.
  • the luminance value of pixel a (X, y) is substituted into coordinates ⁇ 2 ⁇ ⁇ -1 and 2'y-l) in the synthesized image, and coordinates h (2 • X—1, 2′y) is assigned the luminance value of pixel c (x, y), and coordinates ⁇ 2 ⁇ ⁇ , 2′y—1) is assigned the luminance value of pixel b (X, y).
  • the luminance value of pixel d (x, y) is assigned to coordinates h (2'x, 2'y)
  • the four image forces obtained from the imaging regions 104a, 104b, 104c, and 104d having the number of pixels of m X n and shifted from each other are represented by 2'111 2'11.
  • a composite image 11 having the number of pixels can be created.
  • the number of pixels of 2m x 2 ⁇ n shown in Fig. 7B is obtained.
  • a high-resolution image can be obtained.
  • a high-resolution composite image can be created by the above method.
  • the composite image with red color information is hr
  • the composite image with green color information is hg
  • the blue composite image is hb.
  • a composite image hr, hg, hb is created using the characteristic that there is a correlation between red, green, and blue image information in the local region of the image.
  • Matrix c-rg representing the correlation of image information between red and green
  • matrix c-bg representing the correlation of image information between blue and green
  • matrix c_br representing the correlation of image information between blue and red
  • c_b g (x, y) c (x, y) / a (x, y)
  • c_b r (x, y) c (x, y) / b (x, y)
  • a composite image having red color information is created using (Equation 8).
  • h g (2 ⁇ ⁇ , 2 ⁇ y-1) b (x, y) / L P F c c r g (x, y)
  • a composite image hb having blue color information is created using (Equation 10).
  • a high-resolution color composite image h-rgb having 2-mX2-n pixels is obtained. Note that the pixel array of the color composite image h-rgb is inverted in the Y-axis direction as shown in FIG. 8 in consideration of the characteristic that the subject image formed on the image sensor 103 is inverted by the lenses 102a to 102d.
  • FIG. 9 is an enlarged view of the subject images 114a to 114c and the optical axes 105a to 105c in the imaging regions 104a to 104c and the pixels in the vicinity thereof.
  • FIG. 9 shows the relationship between the subject images 114 & ⁇ 114 after the parallax correction processing and the optical axes 105 & ⁇ 105c.
  • the subject image 114c in the imaging region 104c is shifted by 0.6 pixels in the negative direction of the Y axis with respect to the subject image 114a in the imaging region 104a, and is shifted by 0.1 pixel in the negative direction of the X axis.
  • the subject image 114c moves in the X-axis direction while maintaining a displacement amount in the Y-axis direction with respect to the subject image 114a of approximately 0.6 pixels.
  • subject image 1 of subject image 114c A high-resolution composite image can be obtained if the amount of deviation in the Y-axis direction relative to 14a is within the range of 0.25 pixel force and 0.75 pixel.
  • Difference correction processing is performed so that the amount of deviation in the X-axis direction between the subject image 114c in the imaging region 104c and the subject image 114a in the imaging region 104a falls within a range of ⁇ 0.5 pixels.
  • the subject image 114b in the imaging region 104b is shifted by 0.1 pixel in the negative direction of the Y axis and by 0.6 pixel in the negative direction of the X axis with respect to the subject image 114a in the imaging region 104a.
  • the subject image 114b moves in the Y-axis direction while maintaining the displacement amount in the X-axis direction with respect to the subject image 114a at about 0.6 pixels.
  • the amount of deviation in the X-axis direction of the subject image 114b with respect to the subject image 114a is within the range of 0.25 pixels, such as 0.25 pixel force, a high-resolution composite image can be obtained.
  • the parallax correction processing is performed so that the amount of deviation in the Y-axis direction between the subject image 114b in the imaging region 104b and the subject image 114a in the imaging region 104a falls within a range of ⁇ 0.5 pixels.
  • FIG. 10A shows the subject image with three thick lines extending in the vertical direction formed on the image sensor 103, and the image obtained by inverting the pixel arrangement of the image captured in the imaging area 104a in the Y-axis direction.
  • Fig. 10B shows a high-resolution color composite image h-rgb in Fig. 10C.
  • the shading is expressed by the line density. The darker the color, the higher the line density, and the lighter the color, the lower the line density.
  • the image in FIG. 10C is easier to identify the subject image consisting of three thick lines than the image in FIG. 10B, and has a higher resolution.
  • the deviation amount in the X-axis direction and the Y-axis direction of the object image 114c on the imaging region 104c with respect to the subject image 114a on the imaging region 104a is 0 pixels in the X-axis direction, which is an ideal deviation amount, and the Y-axis Due to the deviation from 0.5 pixels in the direction, the image in Fig. 10C has uneven color.
  • the image hb composition method is changed as follows.
  • Equation 11 is the strength of the edge extending in the Y-axis direction at each coordinate of the imaging region 104a, that is, the X-axis. This is an expression for calculating the averaged differential component Dy (x, y) in the direction.
  • Expression 12 is an equation for calculating the strength of the edge extending in the X-axis direction at each coordinate of the imaging region 104a, that is, the averaged differential component Dx (x, y) in the Y-axis direction.
  • Equation 13 is an expression for calculating the strength of the edge extending in the upward and diagonal direction at each coordinate of the imaging region 104a, that is, the averaged differential component Dsr (x, y) in the upward and diagonal direction. is there.
  • Equation 14 is an expression for calculating the strength of the edge extending in the diagonally upward direction at each coordinate of the imaging region 104a, that is, the differential component Dsl (x, y) averaged in the diagonally upward direction. is there.
  • h r (2 ⁇ x, 2 ⁇ y ⁇ 1) h r (2. X ⁇ 1, 2 ⁇ y-1)
  • a composite image hg having green color information is created using (Equation 16).
  • h b (2 'x, 2 ⁇ y-1) h b (2-x-1, 2 ⁇ y-1)
  • h g (2 x, 2 j y-1) b (x, y) / L P F-c-r g y)
  • hb (2 ⁇ x-1, 2 ⁇ y— 1) a (x s y)-LPF— c— bg (x, y)
  • h r (2 ⁇ x, 2 ⁇ y) h r (2 ⁇ x + 1.2 ⁇ ⁇ y ⁇ 1)
  • h g (2 ⁇ x, 2 ⁇ y-1) b (x, y) ZL P F_ c ⁇ r g (x, y)
  • h g (2-x. 2 ⁇ y-1) b (x, y) / ⁇ -P F— c— r g (x, y)
  • h g (2-x. 2 ⁇ y) h g (2 ⁇ ⁇ —1, 2 ⁇ y-1)
  • h b (2 ⁇ , 2 ⁇ y-1) b (x, y)-L P F__c__b r (x, y)
  • the subject image formed on the image sensor 103 is inverted by the lenses 102a to 102d, and the pixel arrangement of the color composite image h-rgb is reversed in the Y-axis direction as shown in FIG. It is rolling.
  • the above-mentioned diagonally upward direction and diagonally upward direction mean the direction in the inverted image.
  • the deviation amount between the four subject images respectively projected from the four single lenses is an ideal deviation amount. It is possible to output V and color images with high resolution and little color unevenness regardless of subject distance, even when 0.5 pixel power is off.
  • h b (2 ⁇ 2 s y-1) 0.5-(h b (2-x-1. 2 s y-1)
  • h r (2-x, 2 ⁇ y) 0.5 ⁇ (h r (2 ⁇ x, 2. y— 1)
  • h g (2 ⁇ x-K 2 ⁇ y) 0 ⁇ 5 ⁇ (h g (2 ⁇ x--1, 2 ⁇ y -1)
  • h b (2-, 2 ⁇ y ⁇ 1) b (x, y) ⁇ and P F__c_b r C x,. y)
  • h g (2-x, 2 ⁇ y 1) b (x, y) and P F— c ⁇ r g (x, y)
  • h g (2 ⁇ x, 2 ⁇ y) 0.5 ⁇ (h g (2 ⁇ x + 1, 2 ⁇ y-1)
  • h b (2-1. 2 ⁇ y) 0.5-(h b (2 • x, 2 ⁇ y-1)
  • h b (2-x, 2 ⁇ y) 0.5-(h b (2 ⁇ X + 1, 2 ⁇ y-1)
  • h r (2-x _ 1, 2 ⁇ y) 0.5 ⁇ (h r (2 ⁇ x— 2, 2 ⁇ y-1)
  • h b (2:, 2 ⁇ y-1) b (x, y) 'L P F — c — b r (x, y)
  • h b (2:, 2-y) 0.5-(h b (2 ⁇ ⁇ -1, 2 ⁇ y-1)
  • the pixel d (x, y) of the imaging region 104d is approximately 0.5 pixels in the positive direction of the X axis and the positive value of the Y axis with respect to the pixel a (x, y) of the imaging region 104a.
  • the subject image 114 is shifted by about 0.5 pixels in the direction.
  • h g (2 ⁇ x, 2 ⁇ y-1) 0.5-(h g (2 2 ⁇ one
  • h b (2 ⁇ , 2 ⁇ y- 1) 0.5-(h b (2-x-1. 2 ⁇ y-1)
  • h b (2-x-1,-y) 0.5-(h b (2 'x, 2-y)
  • h r (2 x, 2-y- 1) 0.5-(h r (2 ⁇ , 2-y)
  • h ⁇ (2, y-1) 0.5 (h g (2 X, 2 y)
  • h g (2-1, 2 ⁇ y) 0.5 ⁇ (h g (2-X-1, 2 ⁇ y
  • h b (2-x— 1, 2 'y _ 1) a (x, y)-L P F_c_b g (x, y)
  • h b (2 ⁇ x, 2 ⁇ y-1) 0.5 ⁇ (h b (2-x. 2-y)
  • the curve may not be smooth in the synthesized color image h-rgb.
  • color unevenness may occur due to the influence of the image composition method using the correlation between the image information of each color in the local region.
  • the composite image EDGE—hr obtained by applying the weighted smoothing filter as shown in (Equation 45) and the edge enhancement filter as shown in (Equation 46) to the composite images hr, hg, and hb. It is preferable to synthesize a color image h-rgb from EDGE-hg and EDGE-hb.
  • the amount of displacement between the four subject images projected from each of the four single lenses is always high resolution regardless of the subject distance, even if it is out of the ideal amount of 0.5 pixels. Less unevenness No color image can be output. Furthermore, the change in shading can be expressed smoothly, and even when the subject includes a curve, the curve can be expressed as a smooth curve, and between the image information of each color in the local region. Color unevenness caused by the effect of the image composition method using the correlation between the colors can be reduced.
  • the subject distance is substantially equal to infinity, and as shown in Fig. 12, the position of the optical axis 105c in the imaging region 104c is relative to the position of the optical axis 105a in the imaging region 104a.
  • the position of the optical axis 105b in the imaging area 104b is shifted by about 0.5 pixels in the Y-axis direction with respect to the position of the optical axis 105a in the imaging area 104a.
  • the synthesis method of the synthesized images hr, hg, hb can be changed according to the edge direction of the subject, and the weighted smoothing filter and the edge enhancement filter can be operated.
  • the power of the four single lenses the amount of deviation between the four projected subject images, which is the ideal amount of deviation, 0.5 pixels.
  • An image can be output.
  • the change in shading can be expressed smoothly, and even if the subject includes a curve, the curve can be expressed as a smooth curve, and the correlation between image information of each color in the local region. Color unevenness caused by the effects of image composition methods that utilize the property can be reduced.
  • the position of the subject image in the imaging region 104c is shifted by about 0.5 pixels in the X-axis direction with respect to the position of the subject image in the imaging region 104a, and in the imaging region 104b.
  • the position of the subject image is Y with respect to the position of the subject image in the imaging area 104a. If there is a shift of about 0.5 pixels in the axial direction, based on the same idea as above, the synthesis method of the composite image hr, hg, hb is changed according to the edge direction of the subject, and the weighted smoothing filter and edge are changed. Emphasis filter can be applied.
  • the amount of displacement between the four subject images projected from each of the four single lenses is the ideal amount of displacement 0.5.
  • a color image can be output.
  • the change in shading can be expressed smoothly, and even if the subject includes a curve, the curve can be expressed as a smooth curve, and between the image information of each color in the local area. Color unevenness caused by the effect of the image composition method using correlation can be reduced.
  • the curve can be expressed as a smooth curve, and the correlation between the image information of each color in the local area Color unevenness caused by the effect of the image composition method using can be reduced.
  • the above embodiment is merely an example, and the present invention is not limited to this.
  • the image synthesis method using the correlation between image information of different colors the selection of the image synthesis method according to the edge direction of the subject, the value of the weight coefficient in the weighted smoothing filter and edge enhancement filter, etc.
  • the present invention is not limited to this example, and other methods and values based on the same concept may be used. In this case, the same effect as described above can be obtained.
  • the edge direction detection unit 108 may be removed, and the red, green, and blue composite images hr, hg, and hb may be calculated using (Equation 8) to (Equation 10).
  • the composite image hr, hg By causing the smoothing filter unit 109 and the edge enhancement unit 110 in FIG. 1 to act on hb, the amount of deviation between the four subject images deviates from the ideal amount of deviation of 0.5 pixels.
  • Unevenness can be reduced, and even when the subject distance changes, a color image with high resolution and little color unevenness can always be output. Furthermore, color unevenness caused by the influence of the image composition method using the correlation between the image information of each color in the local region can be reduced.
  • the color filters 113a, 113b, 113c, 113d may be removed.
  • the four single lens forces are each the deviation force between the four projected subject images. Even in such a case, it is possible to always output a black and white image with high resolution and no color unevenness regardless of subject distance and temperature change.
  • a thin imaging device that can output black-and-white video that can express changes in shading smoothly and can express the curve as a smooth curve even when the subject includes a curve. it can.
  • the relative positional relationship of the optical axis 105c with respect to the imaging region 104c is approximately 0.5 pixels in the Y-axis direction with respect to the relative positional relationship of the optical axis 105a with respect to the imaging region 104a. It is only necessary to deviate (here, “about 0.5 pixel” means a range from 0.25 pixel to 0.75 pixel as will be described later). Figure 1 satisfies this condition. 13A shows a force in which the optical axis 105c is shifted by 2.5 pixels in the Y-axis direction with respect to the optical axis 105a on the image sensor 103.
  • the relative positional relationship of the optical axis 105c with respect to the imaging region 104c is The above condition is satisfied since the relative positional relationship of the optical axis 105a with respect to 104a is shifted by about 0.5 pixels in the Y-axis direction.
  • the imaging regions 104a to 104d do not need to be formed on one common imaging device 103 as shown in FIG. 1 and FIG. 13A. Each may be formed on 3a to 103d. However, the horizontal and vertical arrangement directions of the pixels in the imaging regions 104a to 104d need to be substantially the same between the imaging regions 104a to 104d. Also in this case, the above-mentioned condition that the relative positional relationship of the optical axis 105c with respect to the imaging region 104c is shifted by about 0.5 pixels in the Y-axis direction with respect to the relative positional relationship of the optical axis 105a with respect to the imaging region 104a. As long as you are satisfied.
  • the amount of deviation Gs in the Y-axis direction of the optical axis 105c with respect to the optical axis 105a satisfies (Equation 48).
  • A1 is a lower limit value of the subject distance
  • f is a distance (focusing distance) between the single lenses 102a to 102d and the image sensor 103
  • p is a pixel pitch of the image sensor 103.
  • FIG. 13A shows a force in which the optical axis 105b is shifted by 1.5 pixels in the X-axis direction with respect to the optical axis 105a on the image sensor 103.
  • the relative positional relationship of the optical axis 105b with respect to the imaging area 104b is The above condition is satisfied because the relative positional relationship of the optical axis 105a with respect to 104a is shifted by about 0.5 pixels in the X-axis direction.
  • the imaging regions 104a to 104d may be formed on four separate imaging devices 103a to 103d as shown in FIG. 13B.
  • the horizontal and vertical arrangement directions of the pixels in the imaging regions 104a to 104d need to be substantially the same between the imaging regions 104a to 104d.
  • the relative positional relationship of the optical axis 105b with respect to the imaging region 104b is shifted by about 0.5 pixels in the X-axis direction with respect to the relative positional relationship of the optical axis 105a with respect to the imaging region 104a. If the above conditions are satisfied, it is good!
  • the optical axis 105b with respect to the optical axis 105a If the amount of deviation in the X-axis direction is too large, there may be a problem when the subject distance is short (ie, when shooting at close range). This is because when the subject distance is short, the parallax in the X-axis direction generated due to the shift of the optical axis 105b in the X-axis direction with respect to the optical axis 105a cannot be ignored.
  • the deviation amount Gs in the X-axis direction with respect to the optical axis 105a of the optical axis 1 Obc satisfies (Equation 48)! /.
  • the relative positional relationship of the optical axis 105c with respect to the imaging region 104c is 0.5 pixels in the Y-axis direction relative to the relative positional relationship of the optical axis 105a with respect to the imaging region 104a.
  • the amount of shift in the Y-axis direction between the subject image in the imaging region 104c and the subject image in the imaging region 104a is always 0.25 pixels or more and 0.75 pixels or less regardless of the subject distance.
  • the relative positional relationship of the optical axis 105b with respect to the imaging region 104b is 0 in the X-axis direction with respect to the relative positional relationship of the optical axis 105a with respect to the imaging region 104a.
  • the amount of deviation in the X-axis direction between the subject image in the imaging area 104b and the subject image in the imaging area 104a is always 0.25 pixels or more and 0.75 pixels regardless of the subject distance. It becomes as follows.
  • the lenses 102a to 102d are preferably formed in the same plane, but the imaging device of the present invention can be realized even if they are not formed in the exact same plane due to molding errors or the like. Needless to say, there is.
  • a high-resolution image can be obtained by image synthesis when the amount of displacement of the position of the subject image between the imaging regions is about 0.5 pixels.
  • “about 0.5 pixel” means 0.25 pixel or more and 0.75 pixel or less. This will be described with reference to FIGS. 14A to 14C.
  • the X-axis direction of the pixel constituting the subject image on the imaging region 104b and the pixel constituting the subject image on the imaging region 104a is a composite image obtained by synthesizing the obtained image and the image obtained from the imaging region 104a.
  • Figure 14A shows the positional relationship on the first line.
  • the white circle on the inside is a pixel 201 that forms the subject image on the imaging region 104a
  • the circle that is hatched on the inside is a pixel 202 that forms the subject image on the imaging region 104b.
  • the pitch of the pixel 201 in the X-axis direction and the pitch of the pixel 202 in the X-axis direction are both p.
  • the interval between the pixel 201 and the pixel 202 is 0.5p. Therefore, the apparent X-axis direction pixel pitch of the composite image is 0.5p, the sampling frequency is apparently doubled, and high resolution in the X-axis direction is possible.
  • the subject image on the imaging region 104b and the subject image on the imaging region 104a are shifted by ⁇ pixels (0.5 ⁇ ⁇ 1) in the X-axis direction, and
  • the subject image on the imaging area 104b is obtained by combining the synthesized image of the image obtained from the imaging area 104b and the image obtained from the imaging area 104a.
  • the positional relationship on one line in the X-axis direction between the constituting pixel 202 and the pixel 201 constituting the subject image on the imaging region 104a is shown.
  • the pitch of the pixel 201 in the X-axis direction and the pitch of the pixel 202 in the X-axis direction are both p.
  • the distance between the pixel 201 and the pixel 202 is ⁇ ⁇ ⁇ for the longer side and (1 ⁇ ) ⁇ ⁇ for the shorter side.
  • the longer pixel pitch is apparently ⁇ ⁇ ⁇
  • the sampling frequency of an image with a pixel pitch of ⁇ is fs
  • the apparent sampling frequency of the images in Figs. 14B and 14C is fsZ.
  • ⁇ 0.75. That is, in FIGS. 14B and 14C, the distance between the pixel 201 and the pixel 202 needs to be 0.75 ⁇ for the longer side and 0.25 ⁇ for the shorter side.
  • the amount of deviation of the position of the subject image between the imaging regions is 0.25 pixels or more and 0.75 pixels or less. In the present invention, this range is expressed as “about 0.5 pixel”.
  • the subject image on the imaging region 104c is shifted by about 0.5 pixels in the Y-axis direction with respect to the subject image on the imaging region 104a, and
  • the lenses 102a to 102d are precisely molded, or the lenses 102a to 102d and the imaging are taken. This can be realized by precisely positioning the relative position of the element 103. It can also be realized by adjusting the relative rotational positions around the axes parallel to the optical axes 105a to 105d of the lenses 102a to 102d and the image sensor 103.
  • the processing of the image processing unit 106 in FIG. 1 is described in a programming language, HDL (Hardware Description Language), etc., and a flowchart of the processing is shown in FIG.
  • the digital signal input step 301 the digital signal from the AZD converter 111 in FIG. 1 is input.
  • the edge direction detection step 302 the same processing as that of the edge direction detection unit 108 in FIG. 1 is performed. 1 is performed in the same manner as the image synthesis unit 107 in FIG. 1.
  • the smoothing filter step 304 the same processing as that in the smoothing filter unit 109 in FIG. 1 is performed.
  • the edge enhancement step 305 the same processing as in the edge enhancement unit 110 in FIG.
  • the image output step 306 the processed image is output to a monitor, a memory or the like.
  • the flowchart of the process is not limited to that shown in FIG. 15, and any flowchart that includes the same process may be used.
  • the present invention can solve the two problems described above, and the following effects are obtained.
  • the amount of deviation between subject images in different imaging regions is from the ideal amount of 0.5 pixels. Off Even in such a case, it is possible to obtain a high-quality image without noticeable color unevenness.
  • the field of application of the imaging device of the present invention is not particularly limited, but is useful for portable devices, in-vehicle use, medical care, monitoring, robotic applications, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Cameras In General (AREA)
  • Image Processing (AREA)

Abstract

　同一平面上に配置された複数のレンズ１０２ａ～１０２ｄは、複数の被写体像を複数の撮像領域１０４ａ～１０４ｄ上に結像する。複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方向は複数の撮像領域間で互いに同一である。また、複数の撮像領域のうち、垂直ライン（又は水平ライン）の方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体像が、水平ライン（又は垂直ライン）の方向に互いに所定量ずれている。視差が発生する方向と直交する方向に画素ずらしを行うことにより、被写体距離が変化しても常に高解像度画像を得ることができる。

Description

明 細 書
撮像装置
技術分野
[0001] 本発明は、携帯機器、車載、医療、監視、ロボットなどの用途に用いられる、複数の 光学系により画像を撮像する複眼方式の撮像装置に関する。
背景技術
[0002] 近年、撮像装置には、高画素化に加えて小型化に対する要求が強くなつてきてい る。小型化するためには、光学レンズの大きさや焦点距離、撮像素子の大きさが障害 となることが多い。
[0003] 一般的に、光の波長が異なれば材料の屈折率が異なるため、焦点距離も異なる。
従って、全波長の光の情報が含まれる被写体像を単レンズで撮像面に結像すること はできない。その為、通常の撮像装置の光学系では、赤、緑、青の各波長の光を同 一の撮像面に結像するため、光軸方向に複数の光学レンズが配置されている。従つ て、光学長が長くなり、撮像装置が厚くなる。
[0004] そこで、撮像装置の小型化、特に薄型化に有効な技術として、焦点距離が短!、複 数の単レンズを略同一平面上に配置した複眼方式の撮像装置が提案されている (た とえば、特許文献 1参照)。複眼方式のカラー画像撮像装置では、青色の波長の光 を結像させるレンズと、緑色の波長の光を結像させるレンズと、赤色の波長の光を結 像させるレンズとが同一平面上に並べられ、それぞれのレンズの光軸上に撮像素子 の撮像面が配置されている。各レンズが受け持つ光の波長域が狭く限定されるため 、各レンズの焦点距離を同一にすることにより、複数の単レンズを用いて複数の被写 体像を同一平面上に配置された複数の撮像面に結像することが可能となる。従って 、撮像装置の厚みを大幅に小さく出来る。
[0005] 図 16に複眼方式の撮像装置の一例の斜視図を示す。 500はレンズアレイであり、 一体成型された 4つのレンズ 501a、 501b, 501c, 501dを備える。レンズ 501aは、 赤色の波長の光を結像させるレンズであり、赤色の波長分離フィルタ (カラーフィルタ )が撮像面に貼り付けられた撮像素子の撮像領域 502aに被写体像を結像させる。レ ンズ 501b, 501dは、緑色の波長の光を結像させるレンズであり、緑色の波長分離フ ィルタ (カラーフィルタ）が撮像面に貼り付けられた撮像素子の撮像領域 502b、 502d に被写体像を結像させる。レンズ 501cは、青色の波長の光を結像させるレンズであ り、青色の波長分離フィルタ (カラーフィルタ）が撮像面に貼り付けられた撮像素子の 撮像領域 502dに被写体像を結像させる。撮像素子は、各撮像領域 502a〜502dに 結像された被写体像の光強度を画像データに変換して出力する。これらの画像デー タを重ね合わせて合成することによりカラー画像を取得することができる。なお、レン ズの個数は 4個に限定する必要はない。
[0006] このように複眼方式の撮像装置によれば撮像装置を薄くすることができるが、べィャ 一配列されたカラーフィルタを備えた一般的な単眼方式の撮像装置に比べて解像度 が劣るという問題がある。その理由を以下に説明する。
[0007] この単眼方式の撮像装置では、撮像素子の各画素が所定の色情報を取り出すこと ができるように、多数の画素の入射面にカラーフィルタがべィヤー配列で設けられて いる。即ち、縦横方向に配置された多数の画素の配置に対応して、緑色光を透過さ せるカラーフィルタが巿松模様に配置され、残りの画素に、赤色光を透過させるカラ 一フィルタおよび青色光を透過させるカラーフィルタが交互に配置されて 、る。このよ うなカラーフィルタの配列は一般にべィヤー配列と呼ばれる。撮像素子の各画素から は、カラーフィルタを透過した光の波長域の色情報のみが得られ、カラーフィルタを 透過しない光の波長域の色情報を得ることはできない。しかしながら、画像の局所領 域では 3色の画像情報間に相関性があることが知られており（たとえば、非特許文献 1)、例えば赤や青の画像情報力 緑の画像情報を推測することができる。この特性 を利用して不足している色の画像情報の補完処理が行われる。したがって、撮像素 子の有効画素数と同じ画素数の解像度のカラー画像を得ることができる。たとえば、 有効画素数が 100万画素である撮像素子を用いた場合、 50万個の画素が緑色の画 像情報を検出し、 25万個の画素が青色の画像情報を検出し、 25万個の画素が赤色 の画像情報を検出するが、上記補間処理により、赤、緑、青のいずれの色について も 100万画素の解像度の画像情報を得ることができる。
[0008] 一方、複眼方式の撮像装置では、撮像素子の各色に対応する各撮像領域が赤、 緑、青のいずれかの色の画像情報を取得するため、各撮像領域の画素数と同じ画 素数の解像度を有するカラー画像が得られる。たとえば、赤、緑、青の各色に対応す る撮像領域がいずれも 25万画素を有するためには、撮像素子は合計 100万画素を 有している必要がある力 重ね合わせて得られるカラー画像の解像度は 25万画素と なる。
[0009] 画像の解像度を向上させる方法として、ァクチユエータによりレンズと被写体との相 対的位置を時系列的にずらすことによって、被写体像と撮像素子の画素との相対的 位置関係が相互にずれた複数の画像を取得し、それらを合成することにより、高解像 度画像を得る「画素ずらし」と呼ばれる技術がある（たとえば、特許文献 2)。この画素 ずらし技術におけるずらし量は、ずらす方向と取得する画像の数により最適な値が決 まる。たとえば、 2つの画像を合成する場合は、被写体像と画素との相対的位置関係 が画素の配置ピッチ（以下、「画素ピッチ」と 、う）の半分だけ 2つの画像間でずれて いると、もっとも高解像度の画像を得ることができる。画素ずらし技術は、レンズにより 結像された被写体像と撮像素子の画素との相対的位置関係が互いにずれた複数の 画像が得られれば利用可能であり、複眼方式の撮影装置にも適用可能である。但し 、レンズと被写体との相対的位置を時系列的にずらすことにより行う画素ずらし技術 は、被写体像が静止している場合には有効であるが、静止していない場合はレンズと 被写体との相対的位置を時系列的にずらすことに起因して撮影タイミングがずれるた め、高解像度画像を得ることは難しい。
[0010] また、例えば特許文献 3には、複数のレンズで複数の被写体像を複数の撮像領域 上にそれぞれ結像させる複眼方式の撮像装置において、所定距離にある被写体の 被写体像がレンズの光軸を結ぶ方向に所定量ずれて結像された画素ずらしが実現 されるように、撮像素子の画素に対して複数のレンズの各光軸を位置決めをすること により、高解像度の合成画像を取得する方法が提案されている。この方式は、被写 体と撮像装置との距離が一定であれば、被写体像が静止して!/ヽなくても高解像度画 像を得ることが可能である。
特許文献 1：特開 2002— 204462号公報
特許文献 2：特開平 10— 304235号公報 特許文献 3：特開 2002— 209226号公報
非特許文献 1 :小寺宏曄、他 2名、「色信号の相関を利用した単色画像からのフル力 ラー画像の表示方式」、昭和 63年度画像電子学会全国大会予稿 20、 p. 83 - 86 (1 988)
発明の開示
発明が解決しょうとする課題
[0011] し力しながら、特許文献 3に記載の方法には 2つの課題がある。
[0012] 第 1に、被写体と撮像装置との距離が所定値でない場合、もしくは温度変化等によ り複数のレンズの光軸間隔が変わった場合に、画素ずらしのずれ量が変化するため
、高解像度画像を得ることはできないという課題がある。以下、この第 1の課題につい て詳細に説明する。
[0013] 画素ずらし技術により確実に高解像度画像を得るためには、合成される複数の画 像間にお 、て、被写体像と画素との相対的位置関係が常にずれて 、る必要がある。 図 17A及び図 17Bは、複眼方式の撮像装置において、被写体と、光軸が異なる 2つ のレンズと、この 2つのレンズで結像された 2つの被写体像との位置関係を示した図 であり、図 17Aは 2つのレンズの光軸を含む平面における断面図、図 17Bは、撮像 素子の撮像面を光軸と平行な方向から見た平面図である。 600a, 600bはレンズ 60 la、 601bの光軸であり、 602a、 602bは光軸 600a、 600b力 象素子の撮像領域 6 03と交わる位置である。 605a、 605bは、光軸 600a上にある被写体 604の、レンズ 6 Ola, 601bによって結像された被写体像である。複眼方式の撮像装置においては 複数のレンズの光軸が互いに異なるため、撮像装置力 被写体までの距離に応じて 、撮像領域 603上での被写体像 605bの位置は、レンズの光軸 600a、 600bを結ぶ 方向（図中の一点鎖線 610の方向）に移動する。この現象は「視差」と呼ばれ、レンズ 光軸 600bと撮像領域 603とが交わる位置 602bから被写体像 605bまでのずれ量 S は、レンズ 601aから被写体 604までの距離（以下、「被写体距離」という）を A、レンズ 601a, 601bの光軸 600a, 600b間の距離を d、レンズ 601a, 601b力も撮像領域 6 03までの距離を fとすると、（数 1)で表される。
[0014] [数 1] „ f x d
S =
A
[0015] このように、レンズの光軸 600a、 600bを結ぶ一点鎖線 610の方向における被写体 像 605bと撮像領域 603の画素との相対的位置関係は、被写体距離 Aによって変化 する。したがって、特許文献 3のように、 2つのレンズの光軸を結ぶ方向における被写 体像のずれ量が所定値となるように予め設定した場合には、レンズから被写体までの 距離 Aによってずれ量 Sが変わるため、被写体距離によっては常に高解像度の合成 画像を得られるとは限らない。また、温度変化によりレンズの光軸間の距離 dが変化し た場合も、同様にずれ量 Sが変化するため、常に高解像度の合成画像を得られると は限らない。
[0016] 第 2に、画素ずらしのずれ量が所定量になるように光学系を設定したとしても、レン ズ成型誤差、実装誤差、被写体距離、温度などに起因して、図 18に示すように、異 なる撮像領域間で被写体像のずれ量が画素ピッチの 0. 5倍 (以下「0. 5画素」という )とならない場合が多いという課題がある。図 18において、 502aは赤色光を受光する 撮像領域、 502bは緑色光を受光する撮像領域、 502cは青色光を受光する撮像領 域、 502dは緑色光を受光する撮像領域、 702a、 702b, 702c, 702dは各撮像領 域 502a, 502b, 502c, 502dを構成する画素、 701a, 701b, 701c, 701dは各撮 像領域 502a, 502b, 502c, 502dにおける被写体像の位置である。水平方向に並 んだ撮像領域 502cと撮像領域 502bとの間のずれ量は、高解像度の合成画像を得 るためには水平方向に 0. 5画素、垂直方向に 0画素であることが理想的であるが、図 18では水平方向に 0. 6画素、垂直方向に 0. 1画素となっている。また、垂直方向に 並んだ撮像領域 502aと撮像領域 502bとのずれ量は、高解像度の合成画像を得る ためには水平方向に 0画素、垂直方向に 0. 5画素であることが理想的である力 図 1 8では水平方向に 0. 1画素、垂直方向に 0. 4画素となっている。また、撮像領域 502 dと撮像領域 502bとのずれ量は、高解像度の合成画像を得るためには水平方向に 0 . 5画素、垂直方向に 0. 5画素であることが理想的である力 図 18では水平方向に 0 . 5画素、垂直方向に 0. 5画素となっている。複数の撮像領域の画素と複数の被写 体像との位置関係が図 18の場合において、複数の撮像領域から得た複数の画像を 画素ずらし技術を用いて合成した場合にどのような画像が得られるかを図 19A〜図 1 9Dを用いて説明する。
[0017] 図 19Aは、白地に垂直方向に延びた 3本の黒線 (被写体)を撮像した場合におい て、撮像領域 502bに結像された被写体像を示した図である。図 19Bは、複数の撮像 領域の画素と複数の被写体像とが図 18の位置関係を有している場合において、複 数の撮像領域 502a, 502b, 502c, 502dから得た複数の画像を画素ずらし技術を 用いて合成して得た合成画像を示した図である。図 19Cは、複数の撮像領域と複数 の被写体像とが理想的な位置ずれ関係を有して ヽる場合にぉ ヽて、複数の撮像領 域 502a, 502b, 502c, 502dから得た複数の画像を画素ずらし技術を用いて合成 して得た合成画像を示した図である。図 19Dは、図 18の撮像領域 502bから得た画 像を示した図である。図 19A〜図 19Dでは、濃淡を線の密度で表現しており、濃い 色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現している。複数の撮像 領域に対する複数の被写体像のずれ量が理想値から外れた場合に得られる図 19B に示す合成画像は、複数の画像を合成する前の図 19Dに示す画像に比べて 3本の 黒線の識別は容易であり解像度は向上しているが、複数の撮像領域に対する複数 の被写体像のずれ量が理想値である場合に得られる図 19Cに示す合成画像に比べ て色むらが目立っている。
[0018] 本発明は、上記の従来の課題を解決し、被写体距離によらず常に高解像度且つ高 画質の画像を得ることができる薄型の複眼方式の撮像装置を提供することを目的と する。
課題を解決するための手段
[0019] 本発明の撮像装置は、同一平面上に配置された複数のレンズと、前記複数のレン ズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを有する。前記複数 の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平ラインの方 向が前記複数の撮像領域間で互 ヽに同一である。
[0020] 本発明の第 1の撮像装置では、前記複数の撮像領域のうち、前記垂直ラインの方 向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体 像力 前記水平ラインの方向に互いに所定量ずれて 、ることを特徴とする。 [0021] 本発明の第 2の撮像装置では、前記複数の撮像領域のうち、前記水平ラインの方 向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体 像力 前記複垂直ラインの方向に互いに所定量ずれて 、ることを特徴とする。
発明の効果
[0022] 本発明によれば、薄型で、高解像度且つ高画質の画像を得ることができる複眼方 式の撮像装置を実現することができる。
図面の簡単な説明
[0023] [図 1]図 1は、本発明の一実施の形態に係る撮像装置の概略構成図である。
[図 2]図 2は、図 1の II— II線に沿った、本発明の一実施の形態に係る撮像装置の撮 像部の矢視断面図である。
[図 3]図 3は、本発明の一実施の形態に係る撮像装置において、視差が発生する原 理を説明するための図である。
[図 4]図 4は、本発明の一実施の形態に係る撮像装置において、視差補正の原理を 説明する図である。
[図 5]図 5は、本発明の一実施の形態に係る撮像装置において、視差補正の方法を 説明する図である。
[図 6A]図 6Aは、本発明の一実施の形態に係る撮像装置において、画像の合成方法 の一例を説明する図である。
[図 6B]図 6Bは、本発明の一実施の形態に係る撮像装置において、画像の合成方法 の別の例を説明する図である。
[図 7A]図 7Aは、本発明の一実施の形態に係る撮像装置において、 1つの撮像領域 から得られる m X nの画素数を有する画像を示した図である。
[図 7B]図 7Bは、本発明の一実施の形態に係る撮像装置において、画像合成により 得られた 2 'm X 2 ·ηの画素数を有する高解像度画像を示した図である。
[図 8]図 8は、本発明の一実施の形態に係る撮像装置において、合成されたカラー画 像を示した図である。
[図 9]図 9は、本発明の一実施の形態に係る撮像装置において、撮像領域における 被写体像及び光軸の位置を示した部分拡大図である。 [図 10A]図 10Aは、本発明の一実施の形態に係る撮像装置において、 1つの撮像領 域に結像された被写体像を示した図である。
[図 10B]図 10Bは、本発明の一実施の形態に係る撮像装置において、 1つの撮像領 域から得られた画像の画素配列を垂直方向に反転して得られた画像を示した図であ る。
圆 10C]図 10Cは、本発明の一実施の形態に係る撮像装置において、高解像度の力 ラー合成画像を示した図である。
[図 10D]図 10Dは、本発明の一実施の形態に係る撮像装置において、画像のエッジ 方向に応じた画像合成を行って得られた高解像度のカラー合成画像を示した図であ る。
[図 11]図 11は、濃淡が変化する被写体を示した図である。
[図 12]図 12は、被写体距離が変化しない、本発明の別の実施の形態に係る撮像装 置の概略構成図である。
圆 13A]図 13Aは、本発明の別の実施の形態に係る撮像装置の撮像部の概略構成 図である。
[図 13B]図 13Bは、本発明の更に別の実施の形態に係る撮像装置の撮像部の概略 構成図である。
[図 14A]図 14Aは、本発明の一実施の形態に係る撮像装置において、 2つの撮像領 域上の 2つの被写体像が水平方向に 0. 5画素ずれている場合に、合成画像におい て 2つの被写体像を構成する画素の水平方向の位置関係を示した図である。
[図 14B]図 14Bは、本発明の一実施の形態に係る撮像装置において、 2つの撮像領 域上の 2つの被写体像が水平方向に α画素（0. 5く《< 1)ずれている場合に、合 成画像において 2つの被写体像を構成する画素の水平方向の位置関係の一例を示 した図である。
[図 14C]図 14Cは、本発明の一実施の形態に係る撮像装置において、 2つの撮像領 域上の 2つの被写体像が水平方向に α画素（0. 5く《< 1)ずれている場合に、合 成画像において 2つの被写体像を構成する画素の水平方向の位置関係の別の例を 示した図である。 [図 15]図 15は、本発明の一実施の形態に係る撮像装置の画像処理部が行う処理を 示したフローチャートである。
[図 16]従来の複眼方式の撮像装置の概略構成を示した図である。
[図 17A]図 17Aは、複眼方式の撮像装置において、複数のレンズと被写体と被写体 像との位置関係を示した断面図である。
[図 17B]図 17Bは、複眼方式の撮像装置において、複数のレンズの光軸と被写体像 との位置関係を示した平面図である。
[図 18]図 18は、従来の複眼方式の撮像装置において、複数のレンズの光軸の位置 と複数の撮像領域との関係を示した平面図である。
[図 19A]図 19Aは、従来の複眼方式の撮像装置において、 1つの撮像領域に結像さ れた被写体像を示した図である。
[図 19B]図 19Bは、従来の複眼方式の撮像装置において、複数の撮像領域と複数の 被写体像とが図 18に示す位置関係を有している場合において、画素ずらし技術を 用いて複数の画像を合成して得た合成画像を示した図である。
[図 19C]図 19Cは、従来の複眼方式の撮像装置において、複数の撮像領域と複数 の被写体像とが理想的な位置ずれ関係を有して ヽる場合にお!ヽて、画素ずらし技術 を用いて複数の画像を合成して得た合成画像を示した図である。
[図 19D]図 19Dは、従来の複眼方式の撮像装置において、 1つの撮像領域が撮像し た画像を示した図である。
発明を実施するための最良の形態
[0024] 本発明の第 1の撮像装置では、前記複数の撮像領域のうち、前記垂直ラインの方 向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写体 像力 前記水平ラインの方向に互いに所定量ずれている。これにより、垂直ライン方 向に延びる細線画像がより精細に見えるなど、水平ライン方向の解像度を被写体距 離によらず常に高解像度化することが可能となる。
[0025] また、本発明の第 2の撮像装置では、前記複数の撮像領域のうち、前記水平ライン の方向に視差を有する少なくとも一対の撮像領域に受光される少なくとも一対の被写 体像が、前記複垂直ラインの方向に互いに所定量ずれている。これにより、水平ライ ン方向に延びる細線画像がより精細に見えるなど、垂直ライン方向の解像度を被写 体距離によらず常に高解像度化することが可能となる。
[0026] 本発明の上記第 1及び第 2の撮像装置において、前記所定量が、前記所定量のず れ方向における前記複数の撮像領域の画素ピッチの 0. 25倍力も 0. 75倍の範囲で あることが好ましい。これにより、水平ライン方向もしくは垂直ライン方向の解像度を被 写体距離によらず常に高解像度化することが可能となる。なお、本発明において、「 前記所定量のずれ方向」を「画素ずらし方向」と呼ぶ。
[0027] 本発明の上記第 1及び第 2の撮像装置において、前記複数のレンズと前記複数の 撮像領域との間に複数のカラーフィルタが設けられていることが好ましい。これにより 、薄型でカラー画像の撮影が可能な撮像装置を実現できる。
[0028] この場合において、前記複数のカラーフィルタのうち、少なくとも 2つが同一の分光 透過率特性を有することが好ましい。これにより、薄型でカラー画像の撮影が可能で 、更に高精度な被写体像の合成が可能となる。
[0029] 本発明の上記第 1及び第 2の撮像装置は、前記複数の撮像領域からそれぞれ出力 される複数の画像データを処理する画像処理手段をさらに有することが好まし ヽ。こ の場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画像 データよりも高解像度の合成画像データを作成し出力する画像合成手段を有し、前 記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像データに 含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有することが好 ましい。そして、前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの 方向に基づき前記複数の画像データの合成方法を変更することが好ま ヽ。これに より、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮像領域 の画素ピッチの 0. 5倍でない場合であっても、画素ピッチの 0. 25倍以上 0. 75倍以 下であれば、常に高解像度で、色むらが少なぐ濃淡の変化の滑らかな画像を出力 することが可能となる。
[0030] この場合、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記 垂直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像デー タの前記局所領域では垂直方向に同一の画素信号値を連続して配置することが好 ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複 数の撮像領域の画素ピッチの 0. 5倍でない場合であっても、画素ピッチの 0. 25倍 以上 0. 75倍以下であれば、垂直ライン方向に延びたエッジを有する画像領域を常 に高解像度で、色むらを少なく出力することが可能となる。
[0031] あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂 直ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データ の前記局所領域では、前記複数の画像データのうち前記水平ラインの方向に互いに ずれた少なくとも 2つの画像データの画素信号値を前記水平ラインの方向に並べて 配置し、且つ、前記垂直ラインの方向に隣り合う 2つの画素間には、前記 2つの画素 の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密 に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの 0. 5倍で ない場合であっても、画素ピッチの 0. 25倍以上 0. 75倍以下であれば、垂直ライン 方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なぐ濃淡の 変化を滑らかに出力することが可能となる。
[0032] また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラ インの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前 記局所領域では水平方向に同一の画素信号値を連続して配置することが好まし 、。 これにより、前記所定量が、厳密に、前記所定量のずれ方向における前記複数の撮 像領域の画素ピッチの 0. 5倍でない場合であっても、画素ピッチの 0. 25倍以上 0. 75倍以下であれば、水平ライン方向に延びたエッジを有する画像領域を常に高解 像度で、色むらを少なく出力することが可能となる。
[0033] あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水 平ラインの方向と同一と判断したとき、前記画像合成手段は、前記合成画像データ の前記局所領域では、前記複数の画像データのうち前記垂直ラインの方向に互いに ずれた少なくとも 2つの画像データの画素信号値を前記垂直ラインの方向に並べて 配置し、且つ、前記水平ラインの方向に隣り合う 2つの画素間には、前記 2つの画素 の画素信号値の補間値を配置することが好ましい。これにより、前記所定量が、厳密 に、前記所定量のずれ方向における前記複数の撮像領域の画素ピッチの 0. 5倍で ない場合であっても、画素ピッチの 0. 25倍以上 0. 75倍以下であれば、水平ライン 方向に延びたエッジを有する画像領域を常に高解像度で、色むらが少なぐ濃淡の 変化を滑らかに出力することが可能となる。
[0034] また、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラ インの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画 像データの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置 することが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向に おける前記複数の撮像領域の画素ピッチの 0. 5倍でない場合であっても、画素ピッ チの 0. 25倍以上 0. 75倍以下であれば、斜め方向に延びたエッジを有する画像領 域を常に高解像度で、色むらを少なく出力することが可能となる。
[0035] あるいは、前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂 直ラインの方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合 成画像データの前記局所領域では、前記複数の画像データのうち前記水平ラインの 方向又は前記垂直ラインの方向に互いにずれた少なくとも 2つの画像データの画素 信号値と、前記エッジ方向に隣り合う 2つの画素の画素信号値の補間値とを配置す ることが好ましい。これにより、前記所定量が、厳密に、前記所定量のずれ方向にお ける前記複数の撮像領域の画素ピッチの 0. 5倍でない場合であっても、画素ピッチ の 0. 25倍以上 0. 75倍以下であれば、斜め方向に延びたエッジを有する画像領域 を常に高解像度で、色むらが少なぐ濃淡の変化を滑らかに出力することが可能とな る。
[0036] また、本発明の第 1及び第 2の撮像装置が、前記複数の撮像領域からそれぞれ出 力される複数の画像データを処理する画像処理手段をさらに有することが好ましい。 この場合、前記画像処理手段は、前記複数の画像データを合成して前記複数の画 像データよりも高解像度の合成画像データを作成し出力する画像合成手段を有する ことが好ましい。そして、前記画像合成手段は、前記複数の撮像領域のずれ量に応 じて前記複数の画像データの中から合成に使用する複数の画像データを選択するこ とが好ましい。これにより、前記少なくとも一対の被写体像のずれ量である前記所定 量が被写体距離や温度の変化などにより変化した場合でも、常に適切な画像データ を選択して合成画像データを出力するので、常に高解像度で、色むらが少なぐ濃 淡の変化の滑らかな画像を出力することが可能となる。
[0037] この場合において、 前記画像合成手段は、前記ずれ量が所定の値に最も近い画 像データを前記複数の画像データの中から選択することが好ましい。これにより、前 記少なくとも一対の被写体像のずれ量である前記所定量が被写体距離や温度の変 化などにより変化した場合でも、常に最適な画像データを選択して合成画像データ を出力するので、常に高解像度で、色むらが少なぐ濃淡の変化の滑らかな画像を 出力することが可能となる。
[0038] あるいは、前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データ を前記複数の画像データの中から選択することが好ましい。これにより、前記少なくと も一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などによ り変化した場合でも、常に適切な画像データを選択して合成画像データを出力する ので、常に高解像度で、色むらが少なぐ濃淡の変化の滑らかな画像を出力すること が可能となる。
[0039] 前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素 ピッチの 0. 25倍力ら 0. 75倍の範囲であることが好ましい。これにより、前記少なくと も一対の被写体像のずれ量である前記所定量が被写体距離や温度の変化などによ り変化した場合でも、常に適切な画像データを選択して合成画像データを出力する ので、常に高解像度で、色むらが少なぐ濃淡の変化の滑らかな画像を出力すること が可能となる。
[0040] 本発明の上記第 1及び第 2の撮像装置が、前記複数の撮像領域からそれぞれ出力 される複数の画像データを処理する画像処理手段をさらに有することが好まし ヽ。こ の場合において、前記画像処理手段は、前記複数の画像データを合成して前記複 数の画像データよりも高解像度の合成画像データを作成し出力する画像合成手段と
、前記合成画像データもしくは前記合成画像データに処理を施した画像データの各 画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑ィヒした平滑 化画像データを出力する平滑フィルタ手段と、前記平滑化画像データもしくは前記 平滑化画像データに処理を施した画像データの各画素の画素信号値をこの画素の 近傍の画素信号値に基づきエッジを強調したエッジ強調化画像データを出力するェ ッジ強調フィルタ手段とを有することが好ましい。これにより、前記画像合成手段から 出力された合成画像データの色むらを低減することが可能となる。
[0041] 以下に、本発明の好適な実施の形態を、図面を用いて詳細に説明する。
[0042] 本実施の形態に係る撮像装置は、ほぼ同一平面上に配置された 4つのレンズと、 4 つのレンズに対応して配置された 4つのカラーフィルタと、 4つのレンズによる 4つの被 写体像をそれぞれ受光する 4つの撮像領域とを備え、カラー画像及び Z又は白黒画 像を出力する薄型の複眼方式の撮像装置である。 4つのレンズのうち、 3つは互いに 異なる光学特性を有し、残りの 1つはこれら 3つのうちのいずれか 1つと同一の光学特 性を有している。 4つの撮像領域のそれぞれは、垂直方向及び水平方向に碁盤目状 に配置された多数の画素を有して 、る。 4つの撮像領域のそれぞれの画素が配置さ れた垂直ライン方向及び水平ライン方向が 4つの撮像領域間で互いに一致している 。撮像領域とその撮像領域上に結像される被写体像との相対的位置関係は、撮像 領域間において所定方向に約 0. 5画素ずれている。本実施の形態の撮像装置によ れば、被写体距離や温度変化によらず常に高解像度で、色むらが少なぐ濃淡が滑 らかに変化した画像を得ることができる。また、被写体に含まれる曲線を滑らかな曲 線として表現でき、局所領域での各色の画像情報間の相関性を利用した画像合成 の影響により生じる色むらを低減することができる。
[0043] 図 1に本発明の一実施の形態に係る撮像装置の概略構成を示す。また、図 2は図 1 の II— II線に沿った撮像部 101の断面図である。
[0044] まず、本実施の形態の撮像装置が、レンズ間の視差が補正されたカラー画像を出 力する原理を説明する。
[0045] 図 1において、 101は被写体側力も見た撮像部である。被写体力もの光は、ほぼ同 一平面上に配置された 4枚の単レンズ 102a、 102b, 102c, 102dに入射し、 4枚の 単レンズ 102a、 102b, 102c, 102dは、カラーフィルタ 113a, 113b, 113c, 113d ( 図 2参照。但し、カラーフィルタ 113b, 113dは図示せず。）を介して撮像素子 103の 撮像領域 104a、 104b, 104c, 104d上に被写体像をそれぞれ結像させる。撮像素 子 103としては、例えば 200万画素などの高画素数の撮像素子が使用されるが、図 面を簡単化するため図 1では 825画素の画素数の少な 、撮像素子を示して 、る。図 1において、撮像素子 103内に水平方向（X軸方向）及び垂直方向（Y軸方向）に格 子状に並んでいる各正方形は画素を表す。画素の配列方向のうち、水平方向（X軸 方向）を水平ライン方向、垂直方向 (Y軸方向）を垂直ライン方向と呼ぶ。各正方形（ 各画素）内の小さな正方形は受光部を表す。
[0046] 図 2に示すように、撮像素子 103の被写体側にはカラーフィルタ 113a, 113b, 113 c, 113d (カラーフィルタ 113b, 113dは図示せず）力 己置される。単レンズ 102a、 1 02dは、緑色の光線が撮像素子 103の撮像面に結像されるのに適切な焦点距離を 有するように設計されており、単レンズ 102bは赤色の光線が撮像素子 103の撮像面 に結像されるのに適切な焦点距離を有するように設計されており、単レンズ 102cは 青色の光線が撮像素子 103の撮像面に結像されるのに適切な焦点距離を有するよ うに設計されている。撮像素子 103の撮像面の上部には、単レンズ 102a, 102dに 対応する撮像領域 104a, 104dに緑色光を透過させるカラーフィルタ 113a, 113d が配置されており、単レンズ 102bに対応する撮像領域 104bに赤色光を透過させる カラーフィルタ 113bが配置されており、単レンズ 102cに対応する撮像領域 104cに 青色光を透過させるカラーフィルタ 113cが配置されている。これにより、撮像領域 10 4a, 104dには緑の光成分による被写体像が結像され、撮像領域 104bには赤の光 成分による被写体像が結像され、撮像領域 104cには青の光成分による被写体像が 結像される。撮像領域 104a, 104b, 104c, 104dにそれぞれ結像される被写体像 は、被写体距離を A、レンズの光軸間の距離を d、焦点距離を fとすると、（数 1)で算 出される視差量 Sだけ、それぞれ光軸 105a, 105b, 105c, 105dに対してずれて結 像される。
[0047] CCDや CMOSなどの固体撮像素子で構成される撮像素子 103は、撮像素子駆動 回路 112により露光時間や信号の取込み及び転送のタイミングなどが制御されてい る。撮像部 101から出力される各画素での受光量のアナログ信号値は、 AZD変換 器 111によりディジタル信号に変換され、このディジタル信号は画像処理部 106に入 力される。画像処理部 106に入力された撮像領域 104a、 104b, 104c, 104dのディ ジタルイ匕された画像データは、ホワイトバランスやシェーディング補正などの処理をさ れる。
[0048] 図 3に、単レンズ 102aの光軸 105a上で被写体距離 AOにある被写体の撮像領域 1 04a, 104dに結像される被写体像 114を示す。被写体像 114は、撮像領域 104a上 では光軸 105a上に結像され、撮像領域 104d上では光軸 105aと光軸 105dとを結 ぶ直線 115上であって、光軸 105dから距離 Sxyだけ離れた位置に結像される。
[0049] 光軸 105aと光軸 105dとの X軸方向における距離を dxとすると、撮像領域 104aと 撮像領域 104dとの間での被写体像 114の X軸方向の視差 Sxは (数 2)で表される。
[0050] [数 2]
AO
[0051] 光軸 105aと光軸 105dとの Y軸方向における距離を dyとすると、撮像領域 104aと撮 像領域 104dとの間での被写体像 114の Y軸方向の視差 Syは (数 3)で表される。
[0052] [数 3]
Figure imgf000018_0001
[0053] したがって、距離 Sxyは（数 4)で表される。
[0054] 画
SX = 2 +が
[0055] 画像合成部 107は、同色 (緑)の被写体像が形成される撮像領域 104a及び撮像 領域 104dから出力される 2つの画像データを用いて被写体像の相関性を求める演 算を行い視差 Sx及び Syを算出する。画素は、撮像素子 103上の整数座標にしか存 在しないが、線形補間などの補間演算を行うことにより、視差 Sx、 Syの小数点以下 の値をも求めることができる。
[0056] 光軸 105a及び光軸 105d間の X軸方向距離と、光軸 105a及び光軸 105c間の距 離とはほぼ等しいため、算出した視差 Sxを、撮像領域 104aと撮像領域 104cとの間 での被写体像の視差量として用いる。光軸 105a及び光軸 105d間の X軸方向距離と 、光軸 105a及び光軸 105c間の距離との誤差は、無限遠においた被写体 (例えば黒 地に白の点光源）の撮像領域 104a, 104c, 104dにそれぞれ結像される被写体像 の位置を比較するなどして補償する。
[0057] 同様に、光軸 105a及び光軸 105d間の Y軸方向の距離と、光軸 105a及び光軸 10 5b間の距離とはほぼ等しいため、算出した Syを、撮像領域 104aと撮像領域 104bと の間での被写体像の視差量として用いる。光軸 105a及び光軸 105d間の Y軸方向 距離と、光軸 105a及び光軸 105b間の距離との誤差は、上述した X軸方向距離の誤 差の補償方法と同様の方法により補償する。
[0058] 画像合成部 107は、緑の光成分よる被写体像が結像される撮像領域 104aからの 画像に対する、赤の光成分による被写体像が結像される撮像領域 104bからの画像 、及び青の光成分による被写体像が結像される撮像領域 104cからの画像のずれを 、算出した視差 Sx及び Syを用いて補正し、次いで、これら 3つの画像を合成する。か くして、被写体像のカラー画像を得ることができる。
[0059] 次に図 1の撮像装置が被写体距離によらず常に高解像度な画像を出力する原理 について説明する。
[0060] 図 4に単レンズ 102aの光軸 105a上で被写体距離 AOにある被写体の撮像領域 10 4&〜104(1に結像される被写体像114&〜114(1の位置を示す。
[0061] 撮像領域 104aでは被写体像 114aは光軸 105a上に存在する。
[0062] 撮像領域 104cでの光軸 105cの位置は、撮像領域 104aでの光軸 105aの位置に 対して Y軸の負方向に約 0. 5画素ずれている。被写体像 114cは、光軸 105cから X 軸の負方向に (数 2)で求めた視差 Sx離れた位置に結像される。
[0063] 撮像領域 104bでの光軸 105bの位置は、撮像領域 104aでの光軸 105aの位置に 対して X軸の負方向に約 0. 5画素ずれている。被写体像 114bは、光軸 105bから Y 軸の負方向に (数 3)で求めた視差 Sy離れた位置に結像される。
[0064] 撮像素子 103としては、図 4では説明を容易にするため実際より少ない画素数の撮 像素子を示しているが、実際には 200万画素などの高画素数の撮像素子が用いら れる。従って、光軸 105aと光軸 105cとの Y軸方向のずれ量は非常に小さいため、撮 像領域 104cでの被写体像 114cの Y軸方向における視差は無視できる。同様に、光 軸 105aと光軸 105bとの X軸方向のずれ量も非常に小さいため、撮像領域 104bで の被写体像 114bの X軸方向における視差は無視できる。
[0065] したがって、被写体距離 AOが変化すると、被写体像 114cは、撮像領域 104cにお いて X軸方向に移動する。この時、被写体像 114cは、光軸 105aに対して Y軸方向 に常に約 0. 5画素ずれた状態を保って X軸方向に移動する。
[0066] また、被写体距離 AOが変化すると、被写体像 114bは、撮像領域 104bにお ヽて Y 軸方向に移動する。この時、被写体像 114bは、光軸 105aに対して X軸方向に常に 約 0. 5画素ずれた状態を保って Y軸方向に移動する。
[0067] つまり、撮像領域 104c上の被写体像 114cは、被写体距離によらず撮像領域 104 a上の被写体像 114aに対して常に Y軸の負方向に約 0. 5画素ずれており、撮像領 域 104b上の被写体像 114bは、被写体距離によらず撮像領域 104a上の被写体像 1 14aに対して常に X軸の負方向に約 0. 5画素ずれて!/、る。
[0068] 視差による画像のずれは算出した視差 Sx, Syを用いて以下のようにして行う。図 5 に示すように、撮像領域 104cを X軸方向に Sxだけ補正する。また、撮像領域 104b を Y軸方向に Syだけ補正する。更に、撮像領域 104dを X軸方向に Sx、 Y軸方向に Syだけそれぞれ補正する。なお、各撮像領域の座標値は整数値のみであるので、 補正量 Sx、 Syが小数点以下の値を含む時は四捨五入などの処理を行う。
[0069] 各撮像領域 104a〜104dは m X n (縦 X横)画素を有し、撮像領域 104aの各画素 の座標を a (x、 y)、撮像領域 104bの各画素の座標を b (x、 y)、撮像領域 104cの各 画素の座標を c (x、 y)、撮像領域 104dの各画素の座標を d (x、 y)、但し、 x= l、 2、 • · ·、 m、 y= 1、 2、 · · ·、 nとする。撮像領域 104cの画素 c (x、 y)は、撮像領域 104a の画素 a (x、 y)に対して、 Y軸の正方向に約 0. 5画素だけずれた位置にある被写体 像を受光する。また、撮像領域 104bの画素 b (x、 y)は、撮像領域 104aの画素 a (x、 y)に対して、 X軸の正方向に約 0. 5画素だけずれた位置にある被写体像を受光する 。また、撮像領域 104dの画素 d (x、 y)が受光する被写体像の、撮像領域 104aの画 素 a (x、 y)が受光する被写体像に対する X軸方向及び Y軸方向におけるずれ量は、 被写体距離の変化に応じて変化する。
[0070] したがって、 X軸方向及び Υ軸方向にそれぞれ約 0. 5画素ずつずれた m X nの画 素数を有する画像から、 2 · m X 2 · n (縦 X横)の画素数を有する高解像度の合成画 像 hを作成するためには、図 6Aに示すように、合成画像の座標 h(2'x—l, 2-y-l) には画素 a (x, y)の輝度値を代入し、座標 Μ2·χ—1, 2'y)には画素 c(x, y)の輝 度値を代入し、座標 Μ2·χ, 2'y—l)には画素 b(x, y)の輝度値を代入し、座標 h(2 •X, 2'y)にはその 4近傍の画素の輝度値の平均値を代入する（x=l, 2, ···, m、y =1, 2, ···, n)。ここで、座標 h(2'x, 2'y)にはその 4近傍の画素の輝度値の平均 値ではなぐその近傍の画素の輝度値を用いて他の補間方法により算出した値を代 人してちょい。
[0071] なお、被写体距離によっては、撮像領域 104dの画素 d(x, y)力 撮像領域 104a の画素 a(x, y)に対して、 X軸の正方向に約 0. 5画素、 Y軸の正方向に約 0. 5画素 ずれた被写体像 114を受光している場合がある。この場合は、図 6Bに示すように、合 成画像の座標 Μ2·χ—1, 2'y—l)には画素 a (X, y)の輝度値を代入し、、座標 h( 2 •X— 1, 2'y)には画素 c(x, y)の輝度値を代入し、座標 Μ2·χ, 2'y— 1)には画素 b (X, y)の輝度値を代入し、座標 h(2'x, 2'y)には画素 d(x, y)の輝度値を代入する
[0072] 以上のようにして、 m X nの画素数を有し、且つ互いにずれた撮像領域 104a、 104 b、 104c, 104d力ら得た 4つの画像力ら、 2'111 2'11の画素数を有する合成画像11 を作成することができる。つまり、撮像領域 104a、 104b, 104c, 104dからそれぞれ 得られる図 7Aに示す mXnの画素数を有するの 4つの画像を合成することにより、図 7Bに示す 2 · m X 2 · nの画素数を有する高解像度の画像を得ることができる。
[0073] 被写体が白黒の場合は、上記の方法で高解像度の合成画像を作成することができ る。しかし、被写体がカラーの場合は、赤、緑、青の 3つの合成画像を作成する。赤の 色情報を持つ合成画像を hr、緑の色情報を持つ合成画像を hg、青の合成画像を hb とする。画像の局所領域では赤、緑、青の各画像情報間に相関性があるという特性 を利用して、合成画像 hr, hg, hbを作成する。赤及び緑間の画像情報の相関を表 す行列 c— rg、青及び緑間の画像情報の相関を表す行列 c—bg、青及び赤間の画 像情報の相関を表す行列 c_brを (数 5)で算出する。
[0074] [数 5] c_ r g ( x、 y ) = b ( x、 y ) / a ( x、 )
c_b g ( x、 y ) = c ( x、 y ) /a ( x、 y )
c_b r ( x、 y ) = c ( x、 y ) /b ( x、 y )
( x = 1、 2、 ， ■ -、 m、 y = 1、 2、 ■ ■ ■ , n )
[0075] 次に (数 5)で求めた各行列にメディアンフィルタを作用させてノイズを除去し、（数 6
)の丁タ' Ijmedian― c― rg、 median― c― bg、 median― c― brを算出す 。
[0076] 園
m e d i a n一 c― r g =m e d ι a n v c― r g
m e d i a n― c― b g =m e d i a n (c― b g)
m e d i a n― c― b r = m e d i a n ( c― b r )
[0077] 次に (数 6)で求めた各行列に重み係数を用いたローパスフィルタを作用させ、（数 7
)の LPF— c— rg、 LPF— c— bg、 LPF— c— brを算出する。
[0078] [数 7]
L P F— c— r g = I p f (me d i a n— c— r g)
L P F— c一 b g = I p f (m e d i a n― c― b g )
L P F― c― b r = l p f (m e d i a n― c― b r )
[0079] この局所領域での各色の相関を表す LPF— c—rg、 LPF— c— bg、 LPF— c— br を用いて、赤の色情報を持つ合成画像 hr、緑の色情報を持つ合成画像 hg、青の合 成画像 hbを作成する。
[0080] 赤の色情報を持つ合成画像 は (数 8)を用 、て作成する。
[0081] [数 8]
h r (2 · x— 1、 2 - y— 1 ) = a x、
h r (2 - x、 2 ■ y一 1 ) = b ( x、 y )
h r (2 - 1、 2 ■ y ) = c ( x、 y )
h r (2 ， χ、 2 ■ y ) ： 4近傍の平均値
(x 2、 ■ ■ ■、 m、 y = 1、 2 ■
[0082] 緑の色情報を持つ合成画像 hgは (数 9)を用いて作成する
[0083] [数 9] h g (2 - x— 1 » 2 ■ y - 1 ) = a (x、 y )
h g (2 · χ、 2 ■ y - 1 ) = b (x、 y ) /L P F一 c— r g (x、 y )
h g (2 · χ— 1、 2■ y ) = c (x、 y) Zl_ P F— c— bg (x、 y )
h g (2 . x、 2 - y) ： 4近傍の平均値
(x = 1、 2、 ■ ■ ■、 m、 y = 1 , 2、 ■ ■ ■、 n)
[0084] 青の色情報を持つ合成画像 hbは (数 10)を用いて作成する。
[0085] [数 10] h b (2 - X - 1 2 · y - 1 ) = a (x、 y ) ■ に P F c— b g (x、 y )
h b (2 ' x、 2 ■ y - 1 ) = b (x、 y ) - L P F__c_b r (x、 )
h b ( 2 ■ x - 1 2 ■ y ) = c (x、 y )
h b (2 · χ、 2 - y) ： 4近傍の平均値
(x = 1、 2、 ■ ■ .、 m、 y = 1、 2、 ■ ■ ■、 n)
[0086] 算出した赤、緑、青の合成画像 hr、 hg、 hbをカラー合成することにより、 2-mX2-n の画素数を有する高解像度なカラー合成画像 h—rgbを得る。なお、撮像素子 103 に結像される被写体像がレンズ 102a〜102dにより反転する特性を考慮し、図 8に示 すようにカラー合成画像 h—rgbの画素配列を Y軸方向に反転する。
[0087] 次に、図 1の撮像装置において、 4つのレンズから投影された 4つの被写体像間の ずれ量が、理想的なずれ量である 0. 5画素力 外れている場合であっても、常に高 解像度で色むらが少ない画像を出力できる原理について説明する。
[0088] 図 1の撮像領域 104a〜104dにおける光軸 105a〜105dのずれ量は、レンズ 102 a〜102dの成型誤差や実装の際の実装誤差などに起因して、各画素ずらし方向に おいて理想的なずれ量である 0. 5画素でない場合が多い。図 9に撮像領域 104a〜 104cにおける被写体像 114a〜114c及び光軸 105a〜105cとこれらの近傍の画素 を拡大して示す。図 9は視差補正処理後の被写体像 114&〜114じと光軸105&〜10 5cとの関係を示している。
[0089] 撮像領域 104cの被写体像 114cは、撮像領域 104aの被写体像 114aに対して Y 軸の負方向に 0. 6画素ずれており、 X軸の負方向に 0. 1画素ずれている。被写体距 離が変化すると、被写体像 114cは、被写体像 114aに対する Y軸方向のずれ量をほ ぼ 0.6画素に保ったまま X軸方向に移動する。この時、被写体像 114cの被写体像 1 14aに対する Y軸方向のずれ量が 0. 25画素力ら 0. 75画素の範囲内であれば、高 解像度の合成画像を得ることができる。撮像領域 104cの被写体像 114cと撮像領域 104aの被写体像 114aとの X軸方向のずれ量が ±0. 5画素の範囲内に入るように視 差補正処理される。
[0090] 撮像領域 104bの被写体像 114bは、撮像領域 104aの被写体像 114aに対して Y 軸の負方向に 0. 1画素ずれており、 X軸の負方向に 0. 6画素ずれている。被写体距 離が変化すると、被写体像 114bは、被写体像 114aに対する X軸方向のずれ量をほ ぼ 0. 6画素に保ったまま Y軸方向に移動する。この時、被写体像 114bの被写体像 1 14aに対する X軸方向のずれ量が 0. 25画素力ら 0. 75画素の範囲内であれば、高 解像度の合成画像を得ることができる。撮像領域 104bの被写体像 114bと撮像領域 104aの被写体像 114aとの Y軸方向のずれ量が ±0. 5画素の範囲内に入るように 視差補正処理される。
[0091] 各被写体像のずれ量が上記の場合において、垂直方向に延びたエッジを持つ被 写体を撮影した時の出力画像について述べる。撮像素子 103上に結像された垂直 方向に延びた三本の太線力もなる被写体像を図 10Aに、撮像領域 104aに取り込ま れた画像の画素配列を Y軸方向に反転して得られた画像を図 10Bに、高解像度の カラー合成画像 h— rgbを図 10Cに示す。図 10A〜図 10Cでは、濃淡を線の密度で 表現しており、濃い色ほど線の密度を高くし、薄い色ほど線の密度を低くして表現し ている。
[0092] 図 10Cの画像は、図 10Bの画像に比べて三本の太線からなる被写体像の識別が より容易であり、より高解像度の画像となっている。しかし、撮像領域 104c上の被写 体像 114cの撮像領域 104a上の被写体像 114aに対する X軸方向及び Y軸方向の ずれ量が、理想的なずれ量である X軸方向に 0画素、 Y軸方向に 0. 5画素から外れ ていることに起因して、図 10Cの画像には色むらが発生している。そこで、被写体像 の局所領域でのエッジの方向を検出し、エッジの方向に応じて赤の色情報を持つ合 成画像 hr、緑の色情報を持つ合成画像 hg、青の色情報を持つ合成画像 hbの合成 方法を以下のように変更する。
[0093] (数 11)は撮像領域 104aの各座標での Y軸方向に延びるエッジの強さ、つまり X軸 方向の平均化された微分成分 Dy (x、 y)を算出する式である。
[0094] [数 11]
D y (x、 y) =a (x— 1、 y - 1 ) +2 ■ a (x - K y) + a (x— Ί、
— a (x + 1、 y - 1 ) -2 ■ a (x 1、 y) — a (x + 1、 y + 1 )
(x = 1、 2、 · ■ ■、 m、 y = 1 « 2、 ， ■ ■、 n )
[0095] (数 12)は撮像領域 104aの各座標での X軸方向に延びるエッジの強さ、つまり Y軸 方向の平均化された微分成分 Dx(x、 y)を算出する式である。
[0096] [数 12]
D X (x、 y) =a (x— 1、 y - 1 ) + 2 ■ a (x, y - 1 ) + a (x+ 1、 y— 1 )
- a (x— 1、 y + 1 ) — 2 ' a (x、 y + 1 ) - a (x + 1、 y + 1 )
(x = 1、 2、 - ■ -、 m、 y = 1、 2、 ■ ■ ■、 n)
[0097] (数 13)は撮像領域 104aの各座標での右上がり斜め方向に延びるエッジの強さ、 つまり左上がり斜め方向の平均化された微分成分 Dsr(x、 y)を算出する式である。
[0098] [数 13]
D s r (x、 y ) = a ( x - 1 , y) +2 ■ a (x— 1、 y - 1 ) + a (x, y—
- a (x、 y + 1 ) — 2 · a (x + 1、 y + 1 ) — a (x + 1、 y )
(x = 1、 2、 . - -、 m、 y = 1、 2、 ·■ ■、 n)
[0099] (数 14)は撮像領域 104aの各座標での左上がり斜め方向に延びるエッジの強さ、 つまり右上がり斜め方向の平均化された微分成分 Dsl(x、 y)を算出する式である。
[0100] [数 14]
D s I (x、 y) = a (x、 y - 1 ) + 2 ■ a (x + 1 y— 1 ) + a (x + 1、 y
- a (x— 1、 y ) - 2 ■ a (x- 1 y + 1 )一 a (x、 y + 1 )
(x = 1、 2、 . ' ■、 m、 y = 1、 2、 ■ , ■、 n )
[0101] 算出した Dx(x、y)、 Dy(x、y)、 Dsr(x、y)、 Dsl(x、y)の各絶対値のうち、 Dx(x、 y)の絶対値が最大となる場合は、赤の色情報を持つ合成画像 hrは (数 15)を用いて 作成する。
[0102] [数 15] h r (2 ■ x— 1、 2 ■ y一 1 ) = ; 3 (x、 y) - し P F_c_
h r (2 ■ x、 2 ■ y― 1 ) = h r (2 . X— 1、 2 ■ y - 1 )
h r (2 · x— 1、 2 ■ y) =c (； <、 y ) /L P F— c一 b r
h r (2 - X、 2 ■ y) = h r (2 ■ x― 1、 2 ■ y)
(x = 1. 2. - ■ m、 y = 1、 2、 n)
[0103] 緑の色情報を持つ合成画像 hgは（数 16)を用いて作成する。
[0104] [数 16] h g (2 · x— 1、 2 ■ y 1 ) =i a (x 、 y)
h g (2 ■ x、 2 - y― 1 ) = g (2 ■ x— 1、 2 · y- 1 )
h g (2 - x— 1、 2 - y) =c (：、 y ) ZL P F_ c― b g
h g (2 · x、 2 ■ y) =h g (2 ■ x― 1. 2 - y)
( = 1、 2. ■ 匿 m、 y = 1、 2、 n)
[0105] 青の色情報を持つ合成画像 hbは (数 17)を用いて作成する。
[0106] [数 17]
h b (2 · x— 1、 2 - y - 1 ) = a ( x、 y) - し P F— c— (χ、 y)
h b (2 ' x、 2 ■ y - 1 ) = h b (2 - x - 1、 2 ■ y - 1 )
h b (2 · x— 1、 2 ■ y) = c ( x、 y )
h b (2 - x、 2 ■ y) h b (2 - x - 1 、 2 ■ y)
(x = 1、 2. ■ - ■ m、 y = 1、 2. - ■ ■、 n)
[0107] Dy(x、 y)の絶対値が最大となる場合は、赤の色情報を持つ合成画像 hrは (数 18) を用いて作成する。
[0108] [数 18]
h r (2 · x— 1、 2 ■ y― 1 ) =； a ( x . y ) · L P F_c_ r g ( X , y )
h r (2 - x, 2 ■ y― 1 ) = b (；、 y )
h r (2 · X— 1、 2 , y) 二 h r (2 ■ x— 1、 2 ■ y- 1 )
h r (2 ■ x、 2 ■ y) = h r (2 ■ X、 2 ■ y - 1 )
(x = 1 2. ■ ■ -、 m、 y = 1、 2. n)
[0109] 緑の色情報を持つ合成画像 hgは (数 19)を用いて作成する
[0110] [数 19] g (2 ■ X— 1 、 2 ■ y - 1 ) = a ( x、 y )
h g (2 ■ x、 2 ■ y― 1 ) = b ( x、 y ) /L P F― c― r g y )
h g (2 · 1 、 2 ■ y) = h g (2 - x一 1 、 2 , y— 1 )
g (2 ■ X、 2 ■ y ) = h g (2 ■ x , 2 ■ y一 1 )
( x = 1 、 2、 ■ ■ • 、 m、 y = 1 、 2. ■ ■ · 、 n )
[0111] 青の色情報を持つ合成画像 hbは（数 20)を用いて作成する。
[0112] [数 20]
h b (2 ■ x - 1 、 2 ■ y— 1 ) = a ( x s y ) - L P F— c— b g ( x、 y )
h b (2 · x、 2 ■ y - 1 ) = b ( x、 y ) ' L P F— c— b r ( x、 y )
h b (2 , x— 1 . 2 - y ) = h b (2 - x - 1 . 2 - y - l )
h b (2 ■ x、 2 - y) = h b (2 - x 2 - y - l )
( x = 1 , 2. ■ ■ ■ 、 rn、 y = 1 、 2、 ■ ■ ■ ¾ n )
[0113] Dsr(x、 y)の絶対値が最大となる場合は、赤の色情報を持つ合成画像 hrは (数 21 )を用いて作成する。
[0114] [数 21] h r (2 - x— 1、 2 ■ y一 1 ) = i a ( x、 y ) ■ ■ し P F_ r g ( x、 y )
h r (2 · x. 2 ■ y― 1 ) = b (： x , y )
h r (2 · x— 1 , 2 ■ y ) = h r (2 ■ x 、 2 ■ ■ y一 1 )
h r (2 ■ x、 2 ■ y ) = h r (2 ■ x + 1 . 2 ■ ■ y― 1 )
(x = 1 、 2、 ， ■ ■ 、 m、 y = 1 . 2、 ■ • ■ 、 n )
[0115] 緑の色情報を持つ合成画像 hgは (数 22)を用いて作成する
[0116] [数 22] h ε (2 - x— 1 、 2 ■ y― 1 ) = a ( x、 y )
h g (2 ■ x、 2 · y - 1 ) = b ( x、 y) ZL P F_ c― r g ( x、 y )
h s (2 ■ x— 1 、 2 ■ y) = h g (2 ■ x、 2 - y― 1 )
h g (2 - x、 2 ■ y ) - h g (2 ■ x + 1 、 2 ■ y― 1 )
( X = 1 、 2. ■ ■ 謹 、 m、 y = 1 、 2、 ■ ■ ■ 、 n )
[0117] 青の色情報を持つ合成画像 hbは (数 23)を用いて作成する
[0118] [数 23] h b (2 - x - 1、 2 ■ y - i a ( x、 y) · し P F_c
h b (2 ■ x、 2 ■ y一 1 ) = b c : y ) • L P F— c— b
h b ( 2 - x— 1 . 2 ■ y ) = h b (2 - x 2 ■ y一 1 )
h b ( 2 ■ x . 2 · y ) = h b (2 ■ x + 1 、 2 ■ y― 1 )
= 1、 2、 ■、 m、 y = 1、 2、 · • ·、 n )
[0119] Dsl (x、 y)の絶対値が最大となる場合は、赤の色情報を持つ合成画像 は (数 24
)を用いて作成する。
[0120] [数 24] h r (2 · x— 1、 2 ■ y一 1 ) ― a ( x、 y ) - し P F_c_
h r (2 · x, 2 ■ y― 1 ) b ( x、 y)
h r (2 ■ x— 1、 2 ■ y) = h r (2 - x一 2、 2 ■ y-D
h r (2 · x、 2 ■ y ) = h r (2 ■ x - 1 、 2 ■ y― 1 )
Cx = 1、 2. ■ ■ ■、 m、 y = 1、 2、 ' ■ ■、 n )
[0121] 緑の色情報を持つ合成画像 hgは (数 25)を用いて作成する
[0122] [数 25]
(2 1 , 2 1 (x、
h g (2 - x . 2 ■ y - 1 ) = b ( x、 y ) / \- P F— c— r g ( x、 y )
h g (2 - x— 1、 2 - y ) = h g (2 - x— 2、 2 ■ y - 1 )
h g (2 - x . 2 ■ y ) = h g (2 · χ— 1、 2 ■ y - 1 )
( x = 1 2、 ' ' -、 m、 y = 1、 2、 ■ ■ ■、 n )
[0123] 青の色情報を持つ合成画像 hbは (数 26)を用いて作成する。
[0124] [数 26] h b ( 2 2 - y - 1 ) = a ( x、 y ) - L P F— c— b g ( x、 y )
h b (2 · χ、 2 ■ y - 1 ) = b ( x、 y ) - L P F__c__b r ( x、 y)
h b (2 - x— 1、 2 - y ) = h b ( 2 - x - 2. 2 ■ y - 1 )
h b ( 2 · χ、 2 - y ) = h b (2 - x - K 2 ■ y - 1 )
( x = 1、 2、 一 m、 y = 1、 2、 ■ ' '、 ！！）
[0125] 図 lOAの被写体像は Y軸方向に延びるエッジであるため、（数 18)から (数 20)を用 いて合成画像 hr、 hg、 hbが作成される。算出した赤、緑、青の合成画像 hr、 hg、 hb を合成することにより、図 10Dに示すように、図 10Cの画像に発生していた色むらが 無くなり、 2 · m X 2 · nの画素数を有する高解像度の色むらの無 、カラー画像 h— rgb を得る。図 10Dでは、濃淡を線の密度で表現しており、濃い色ほど線の密度を高くし 、薄い色ほど線の密度を低くして表現している。
[0126] 図 10Dのように色むらの低減された画像が得られる理由は以下の通りである。図 10 Aのように Y軸方向に延びたエッジを有する局所領域では、 Y軸方向に隣り合う画素 の輝度値の相関性は高いため、 Y軸方向に隣り合う画素の輝度値を同一の値にして も出力画像に対する影響は小さい。したがって、（数 18)から (数 20)に示すように、 Y 軸方向に隣り合う画素に同一の値を代入する。これにより、 Y軸方向に延びたエッジ 画像の直線性が再現され、図 10Dのように色むらのな 、画像が得られる。
[0127] また、図示して ヽな 、が、 X軸方向に延びたエッジを有する局所領域では、 X軸方 向に隣り合う画素の輝度値の相関性は高 、ため、 X軸方向に隣り合う画素の輝度値 を同一の値にしても出力画像に対する影響は小さい。したがって、（数 15)から (数 1 7)に示すように、 X軸方向に隣り合う画素に同一の値を代入する。これにより、 X軸方 向に延びたエッジ画像の直線性が再現され、色むらがな 、画像が得られる。
[0128] また、図示していないが、右上がり斜め方向に延びたエッジを有する局所領域では 、右上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、右上がり斜め方 向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。し たがって、（数 21)から (数 23)に示すように、右上がり斜め方向に隣り合う画素に同 一の値を代入する。これにより、右上がり斜め方向に延びたエッジ画像の直線性が再 現され、色むらがない画像が得られる。
[0129] また、図示していないが、左上がり斜め方向に延びたエッジを有する局所領域では 、左上がり斜め方向に隣り合う画素の輝度値の相関性は高いため、左上がり斜め方 向に隣り合う画素の輝度値を同一の値にしても出力画像に対する影響は小さい。し たがって、（数 24)から (数 26)に示すように、左上がり斜め方向に隣り合う画素に同 一の値を代入する。これにより、左上がり斜め方向に延びたエッジ画像の直線性が再 現され、色むらがない画像が得られる。
[0130] なお、撮像素子 103に結像される被写体像はレンズ 102a〜102dにより反転する 特性を考慮し、図 8に示すようにカラー合成画像 h— rgbの画素配列を Y軸方向に反 転している。上記の右上がり斜め方向、左上がり斜め方向は反転後の画像における 方向を意味する。
[0131] 以上のような本実施の形態の複眼方式の撮像装置によれば、 4つの単レンズからそ れぞれ投影された 4つの被写体像間のずれ量が、理想的なずれ量である 0. 5画素 力 外れている場合であっても、被写体距離によらず常に高解像度で色むらが少な V、カラー画像を出力することができる。
[0132] なお、例えば図 11に示すように、被写体の濃淡が変化する場合は、（数 15)から（ 数 26)を、補間式を含む以下の (数 27)から (数 38)に変更することが好ましい。これ により、 4つの単レンズ力 それぞれ投影された 4つの被写体像間のずれ量力 理想 的なずれ量である 0. 5画素力 外れている場合であっても、被写体距離によらず常 に高解像度で、色むらが少ないカラー画像を出力することができ、且つ、濃淡の変化 を滑らかに表現することができる。図 11では、濃淡を線の密度で表現しており、濃い 色ほど線の密度を高くし、薄 、色ほど線の密度を低くして表現して 、る。
[0133] 合成画像 hr、 hg、 hbの画素の輝度値として、（数 15)から (数 26)では、ある画素に 、この画素に対してエッジ方向にお 、て一方の隣に位置する画素の輝度値を代入し た力 （数 27)から (数 38)では、この画素に対してエッジ方向において両隣に位置す る 2つの画素の輝度値を線形補間して得られた値を代入している。なお、補間方法と しては、線形補間に限られず、両隣に位置する 2つの画素の輝度値を用いた 3次補 間などを用いても良い。
[0134] 算出した Dx (x、 y)、 Dy(x、 y)、 Dsr (x、 y)、 Dsl (x、 y)の各絶対値のうち、 Dx (x、 y)の絶対値が最大となる場合は、合成画像 hr、hg、hbは (数 27)、（数 28)、（数 29) を用いて作成する。
[0135] [数 27] h r (2 - x - 1 , 2 - y - 1 ) = a (x y) - L PF c— r g (x y )
h r (2 · χ 2 ■ y- 1 ) =0. 5 - ( r (2 - x - 1 , 2 ■ y- 1 )
+ h r (2 - x + K 2 ■ y - 1 ) )
h r (2 · χ— 1 2 ■ y ) = c (x y ) /L P F_c_b r ( x y )
h r (2 - xv 2 - y) =0. 5 - (h r (2 · χ— 1 2 - y)
+ h r (2 ■ x + 1 2 ■ y) )
( x = 1 2 ■ ■ ■ m y = 1 2 n )
[0136] [数 28]
(2 · x 2 ■ y - 1 ) = a (x y )
(2 - x. y— 5 - (h g (2 · χ— 1 2 ■ y - 1 )
+ h g (2 ■ x +1 2 - y - 1 ) )
(2 ■ x 2 ■ y) =c (x y ) ZLPF— c— b g (x y )
(2 ■ x. y ) =0. 5 - (h g (2 ■ x— 1 2 - y)
+ h g (2 - xH- 2 - y) )
1 2, ■ m y = 1 2 ■ ■ ' n)
[0137] [数 29] h b (2 ■ x - 2 ■ y - 1 ) = a (x y ) - L P F— c b g (x y )
h b (2 · χ 2 ■ y- 1 ) =0. 5 - (h b (2 - x - 1. 2 ■ y - 1 )
+ h b (2 - x + 1 , 2 - y-l ) )
h b (2 - x-1 , 2 - y) =c (x y )
h b (2 . x 2 - y) =0. 5 · (h b (2 - x - K 2 - y)
+ h b (2 · χ + 1 2 ■ y) )
(x = 1 2 - - m y = 1 ¼ 2 ■ ■ - ^ n )
[0138] Dy(x y)の絶対値が最大となる場合は、合成画像 hr hg hbは (数 30)、（数 31)
、（数 32)を用いて作成する。
[0139] [数 30] h r (2 - 1、 2 ■ y一 1 ) =a ( x、 y ) ■ し P F— c— r g ( X、
h r (2 - 2 ■ y― 1 ) = b (x . y )
h r (2 - x-1. 2 ■ y) =0. 5 - (h r (2 ■ x— 1、 2 ■ y-i )
+ h r (2 ■ x一 1、 2 ■ y + 1 ) )
h r (2 - x、 2 ■ y) =0 . 5 ■ ( h r (2 ■ x、 2 . y— 1 )
+ h r (2 ■ x、 2 ■ y+1 ) )
(x = 1、 2, - ■ m、 y =1、 2, ■ ■ -、 n)
[0140] [数 31] g (2 · x - K 2 ■ y一 1 ) = a ( x、 y )
h g (2 · x、 2 ■ y― 1 ) b (x、 y) Zし P F_c ― r g ( X 、 y )
h g (2 · x - K 2 ■ y) = 0 ■ 5 ■ (h g (2 ■ x- - 1、 2 ■ y -1 )
+ h g (2 - x — 1、 2 ■ y十 1 ) )
g (2 ■ X、 2 ■ y ) =0 5 - (h g (2 ■ x、 2 ■ y― 1 )
+ g (2 - x, 2 ■ y + 1 ) )
(x = 1、 2, - ■ 眉、 m、 y = 1、 2、 ■ ■ -、 n)
[0141] [数 32] h b (2 - x- 1 , 2 - y― 1〉 = a x、 y ) ■ し P F— c _b g (x、
h b (2 - 、 2 ■ y― 1 ) = b (x、 y ) ■ し P F__c_b r C x , . y)
h b (2 · x— 1、 2 ■ y) =0. 5 - (h b (2 ■ x - 1. 2 ■ y -1 )
+ h b (2 - x一 1、 2 ■ y十 1 ) )
(2 · 、 2 ■ . 5 ■ (2 、 2 ■ 1 )
+ h b (2 ■ x、 2 ■ y+1 ) )
Cx = 1、 2 - ■ - 、 y = 1、 2、 ■ ' -、 n)
[0142] Dsr(x、 y)の絶対値が最大となる場合は、合成画像 hr、 hg、 hbは (数 33)、（数 34)
、（数 35)を用いて作成する。
[0143] [数 33] (2 x— 1、 2 ■ y- 1 ) = a (x、 y ) ■ し P F— c— r g (
(2 x、 2 ■ y - 1 ) = b ( x > y)
(2 x _ 1、 2 - y) =0. 5 ■ (h r (2 · χ、 2 ■ y - 1 )
+ h r (2 ■ x— 2、 2 ■ y + 1 ) )
h r (2 x、 2 - y) =0. 5 , C r (2 - x + K 2 - y - 1 )
+ h r (2 ■ x - K 2 ■ y + 1 ) )
( x = 1 , 2 、 m、 y = 1、 2、 、 n)
[0144] [数 34]
h g (2 · x _ 1、 2 ■ y- 1 ) = a ( x、 y )
h g (2 - x、 2 ■ y一 1 ) = b (x、 y) し P F— c ― r g ( x、 y )
h (2 · X— 1、 2 , y) = 0 . 5 · (h g (2 · x、 2 ■ y- 1 )
+ h g (2 ■ x— 2、 2 ■ y + 1 ) )
h g (2 ■ x、 2 ■ y) =0. 5 ■ (h g (2 ■ x + 1 , 2 ■ y - 1 )
+ h g (2 ■ x - 1 , 2 ■ y + 1 ) )
( x : = 1、 2. ■ ■ .、 m、 y 1、 2、 ■ ■ ■ , n)
[0145] [数 35] h b (2 - 1、 2 ■ y - 1 ) = a C x y ) - し P F— c— b g (x、
h b (2 ■ 2 ■ y - 1 ) = b (x 、 y) - し P F— c— b r ( x y )
h b (2 - 1. 2 ■ y) = 0. 5 - ( h b (2 • x、 2 ■ y - 1 )
+ h b (2 · x —2 , ■ y + 1 ) )
h b (2 - x、 2 ■ y) = 0. 5 - ( h b (2 ■ X + 1、 2 ■ y - 1 )
+ h b (2 . x— 1 、 ■ y + 1 ) )
(X : ： 1、 2、 - ■ - m、 y = 1、 2, ■ - -、 n)
[0146] Dsl(x、 y)の絶対値が最大となる場合は、合成画像 hr、 hg、 hbは (数 36)、（数 37)
、（数 38)を用いて作成する。
[0147] [数 36] h r (2 ■ x _ 1、 2 ■ y - l ) = a ( x、 y ) - L P F_c一 r g ( x ,
h r (2 ■ 2 ■ y - 1 ) = b (x、 y )
h r (2 - x _ 1、 2 ■ y) = 0. 5 ■ ( h r (2 ■ x— 2、 2 ■ y - 1 )
+ h r (2 - x 、 2 ■ y + 1 ) )
h r (2 ■ x、 2 - y) =0. 5 · (h r (2 - 1 , 2 - y - 1 )
+ h r (2 - x + 1 、 2 ■ y + 1 ) )
(x = 1、 2. ■ ■ 義、 m、 y = 1、 2、 ■ ■ ■、 n)
[0148] [数 37]
Figure imgf000034_0001
P F_c_ r g (x、 y )
h g (2 2 - y) =0. 5 - (h g (2 - x -2 2 - y - 1 )
+ h g (2 " x, 2 - y + l ) )
g (2 ：、 2 - y) =0. 5 - (h g (2 · χ— 1、 2 ■ y - 1 )
+ h g (2 - x+ 1 , 2 - y + l ) )
(x = 2 m、 y = 1、 2、 ■ ■ -、 n )
[0149] [数 38]
h b (2 t- K 2 ■ y- 1 ) == a (x. y) - L P F_c_b g (x、
h b (2 ：、 2 ■ y - 1 ) = b (x、 y ) ' L P F— c— b r (x、 y )
h b (2 1、 2 - y) =0. 5 - (h b (2 - x - 2, 2 , y— 1 )
+ h b (2 ' x、 2 ' y+ 1 ) )
h b (2 ：、 2 - y) =0. 5 - (h b (2 · χ— 1、 2 ■ y - 1 )
+ h b (2 - x + 1 , 2 - y + 1 ) )
[0150] なお、被写体距離によっては、撮像領域 104dの画素 d(x、 y) 撮像領域 104a の画素 a (x、y)に対して、 X軸の正方向に約 0.5画素、 Y軸の正方向に約 0.5画素 ずれた被写体像 114を受光している場合がある。この場合は、（数 27)から (数 32)に 代えて (数 39)から (数 44)を用いることが好ましい。これにより、特定の被写体距離で は緑の色再現性を向上させることができるので、より高解像度の輝度情報を得ること が可能となり、視覚的により高解像度の画像を得ることが可能となる。
[0151] 算出した Dx(x、 y)、 Dy(x、 y)、 Dsr(x、 y)、 Dsl(x、 y)の各絶対値のうち、 Dx(x、 y)の絶対値が最大となる場合は、合成画像 hr、 hg、hbは (数 39)、（数 40)、（数 41) を用いて作成する。 [0152] [数 39]
a (x , y) , L P '_ c_ r g ( x、 y )
Figure imgf000035_0001
5 " (h r (2 - x 1、 2 ■ y— 1 )
+ h r (2 ■ x + 1、 2 y-D )
h r (2 ■ x— 1、 2 y) =0· 5 ■ (h r (2 · x、 2 · y)
h r (2 ' x— 2、 2 y) )
h r (2 2 ■ y) = cl (x、 y) ■ L P F― c— g ( x、 y )
(x = 1. m、 y = 1 2, ■ ■ ■
[0153] [数 40]
h g (2 - x - 1 , 2 - y ~ 1 ) = a (x、 y)
h g (2 ■ x、 2 ■ y - 1 ) = 0. 5 - (h g (2 2 ■ 一
+ h g (2 - x + 1 , 2 ■ y— 1 )
h g (2 - x - 1 > 2 - y) =0. 5 · (h g (2 x , 2 ■
+ h g (2 ■ x— 2、 2 - y)
h g (2 ■ x、 2 ■ y ) = d (x、 y)
(x = 1、 2、 ■ - -、 m、 y = 1 . 2,
[0154] [数 41]
h b (2 - x - 2 ■ y ~ 1 ) = a (x、 y ) - L P F_c_b g (x、 y )
h b (2 · χ、 2 ■ y- 1 ) =0. 5 - (h b (2 - x - 1. 2 ■ y - 1 )
h b (2 · χ + 1、 2 ■ y - 1 ) )
h b (2 - x - 1 , - y) =0. 5 - (h b (2 ' x、 2 - y)
+ h b (2 - x— 2、 2 ■ y) )
h b (2 - x, 2 ■ y ) = d (x、 y ) - L P F_c_b g (x、 y )
(x = 1、 2、 - - ■、 m、 y = 1、 2、 ■ ■ -、 n )
[0155] Dy(x、 y)の絶対値が最大となる場合は、合成画像 hr、 hg、 hbは (数 42)、（数 43) 、（数 44)を用いて作成する。
[0156] [数 42] h r (2 x _ 1、 2 ■ y - 1 ) = a (x、 y ) - L P F_c__ r g (x、
h r (2 x、 2 - y- 1 ) =0. 5 - (h r (2 · χ、 2 - y)
+ h r (2 ■ x、 2 - y - 2)
h r (2 x— 1、 2 - y) =0. 5 - (h r (2 - x - 1 , 2 - y - 1 )
+ h r (2 · χ— 1、 2 ■ y + 1 ) )
h r (2 x、 2 ■ y) = d (x、 y ) - L P F_c_ r g (x、 y )
2、 . . '、 m、 y = 1、 2、 ■ ■ ■、 ！"！）
[0157] [数 43] h g (2 - 1、 2 ■ y― 1 ) = a ( x , y)
h ε (2 、 · y― 1 ) =0. 5 · ( h g (2 ■ X 、 2 ■ y)
+ h g (2 - X、 2 - y一 2)
h g (2 - 1、 2 ■ y ) =0. 5 ■ ( h g (2 - X - 1、 2 ■ y
十 h g (2 · X— 1、 2 ■ y + 1 ) )
h g (2 、 2 - y ) = d y )
、 ■ ■ ■ 、 m、 y = l 、 2. ■ ■ ■ , n l)
[0158] [数 44]
h b (2 - x— 1、 2 ' y _ 1 ) = a (x、 y) - L P F_c_b g (x、 y )
h b (2 ■ x、 2 ■ y - 1 ) =0. 5 ■ (h b (2 - x. 2 - y)
+ h b (2 ■ x、 2 - y - 2)
h b (2 ■ x - 1 , 2 - y) -0. 5 ■ (h b (2 . x— 1、 2 ■ y - 1 )
十 h b (2 - x - 1 , 2 ■ y + 1 ) )
h b (2 ■ x、 2 · y) =a (x、 y ) ■ し P F— c— b g ( x、 y )
(x = 1、 2, ■ ■、 m、 y = 1、 2、 ■ ■ n)
[0159] 被写体に曲線が含まれる場合は、合成されたカラー画像 h—rgbでその曲線が滑ら かでない場合がある。また、局所領域での各色の画像情報間の相関性を利用した画 像合成方法の影響により色むらが生じる場合がある。このような場合は、合成画像 hr 、 hg、 hbに (数 45)に示すような重み付き平滑フィルタ及び (数 46)に示すようなエツ ジ強調フィルタを作用させて得られる合成画像 EDGE— hr、 EDGE— hg、 EDGE— hbからカラー画像 h— rgbを合成することが好ましい。これにより、 4つの単レンズから それぞれ投影された 4つの被写体像間のずれ量力 理想的なずれ量である 0.5画 素から外れている場合であっても、被写体距離によらず常に高解像度で色むらが少 ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現でき、且 つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として表現す ることができ、且つ、局所領域での各色の画像情報間の相関性を利用した画像合成 方法の影響により生じた色むらを軽減することができる。
[0160] [数 45] し P F — h r " y) = ( r c x— 1、 y - 1 ) +2 ■ h r (x 、 y― 1 )
+ h r c x + 1、 y-D +2 ■ h r Cx - 1、 y)
+ 4 h r ( x s y) +2 ■ h r (x + 1 - y)
+ h r C x_ 1、 y + 1 ) +2 ■ h r (x 、 y + 1 )
+ h r c x + 1、 y + 1 ) ) /1 6
し P F _h g " y) = Ch g ( x— 1、 y- 1 ) +2 ■ h g ( X y一 1 )
+ h g c x + 1、 y-1 ) +2 ■ h g ( X 1、 y )
+ 4 ■ h S ( X、 y ) +2 ■ h g Cx + 1 y )
+ h g ( x— 1、 y + 1 ) +2 ■ h g (χ 、 y + 1 )
+ h g ( x + 1、 y +1 ) ) /1 6
し P F — h b (> " y) = Ch b ( X— 1、 y - 1 ) +2 ■ h b (x - y一 1 )
+ h b ( x + 1、 y-1 ) +2 ■ h b (x 1、 y)
十 4 - h b (x. y) +2 ■ h b Cx + 1 、 y)
+ h b ( x - 1 , y+1 ) +2 - h b ( x 、 y + 1 )
+ h b ( x + 1、 y+ 1 ) ) /1 6
( X = 1、 2、 ■ ■、 2 ■ m 、 y =1、 2 . ■ ■ ■ , 2 ' n )
[0161] [数 46]
EDGE— h r y) =— h r Cx- 1. y 1 ) ― h r ( x 一 1 )
- h r (x + 1 y-D - h r (x ― 1 y) + 5 ■ h r (χ y)
一 h r (x + 1 y ) — h r ( x ― 1 y + 1 ) — h r Cx y + 1 )
- h r (x + 1 y + 1 )
EDGE— h g (x. y) h g (x - 1 , y 1 ) - h g ( y― 1 )
- h g (x + 1 y— 1 ) — h g (x ― 1 y) + 5 ■ h g (χ y)
- h g (x + 1 y) — h g ( - 1 y + 1〕 — h g (x y + 1 )
- h g (x + 1 y + 1 )
E D G E— h b 、 y) =_ h b (x - 1 y 1 ) ― h b ( y― 1 )
一 h b (x + 1 y— 1 ) - h b (x - 1 y) + 5 ■ h b (χ y)
- h b ( x + 1 y) - h b (x一 1 y + 1 ) 一 h b (x y + 1 )
- h b 1 y + 1 )
(x 1 2 « ■ 2 ■ m y = 1 2. - ■ . 2 - n)
[0162] 画像の端では、重み付き平滑フィルタの計算などができない場合があるが、その場 合はそのフィルタを作用させな!/、など適切な処理をする。
[0163] 被写体距離が無限遠と実質的に同等であり、且つ、図 12に示すように、撮像領域 1 04cでの光軸 105cの位置が撮像領域 104aでの光軸 105aの位置に対して X軸方向 に約 0. 5画素ずれており、撮像領域 104bでの光軸 105bの位置が撮像領域 104a での光軸 105aの位置に対して Y軸方向に約 0. 5画素ずれている場合、上記と同様 の考え方に基づいて、被写体のエッジ方向に応じて合成画像 hr, hg, hbの合成方 法を変更し、重み付き平滑フィルタ及びエッジ強調フィルタを作用させることができる 。これにより、 4つの単レンズ力 それぞれ投影された 4つの被写体像間のずれ量力 理想的なずれ量である 0. 5画素力 外れている場合であっても、常に高解像度で色 むらが少ないカラー画像を出力することができる。更に、濃淡の変化を滑らかに表現 でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線として 表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用した画 像合成方法の影響により生じた色むらを軽減することができる。
[0164] また、視差により、撮像領域 104cにおける被写体像の位置が撮像領域 104aにお ける被写体像の位置に対して X軸方向に約 0. 5画素ずれており、且つ、撮像領域 1 04bにおける被写体像の位置が撮像領域 104aにおける被写体像の位置に対して Y 軸方向に約 0. 5画素ずれている場合、上記と同様の考え方に基づいて、被写体の エッジ方向に応じて合成画像 hr, hg, hbの合成方法を変更し、重み付き平滑フィル タ及びエッジ強調フィルタを作用させることができる。これにより、 4つの単レンズから それぞれ投影された 4つの被写体像間のずれ量力 理想的なずれ量である 0. 5画 素から外れている場合であっても、常に高解像度で色むらが少ないカラー画像を出 力することができる。更に、濃淡の変化を滑らかに表現でき、且つ、被写体に曲線が 含まれる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局 所領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じ た色むらを軽減することができる。
[0165] 図 1の 4つのレンズ 102a〜102dがレンズアレイ上に一体成型されている場合、温 度変化によりレンズの光軸 105a〜105dの位置が移動する。しかしながら、レンズァ レイは等方的に膨張 ·収縮するため、レンズの光軸 105a〜105dの位置の移動方向 は、被写体距離が変化した場合に視差により被写体像が移動する方向と同じである 。従って、温度変化による影響は視差の補正の処理に吸収される。よって、本実施の 形態によれば、温度が変化しても、常に高解像度で色むらが少ないカラー画像を出 力することができる。更に、濃淡の変化を滑らかにでき、且つ、被写体に曲線が含ま れる場合であってもその曲線を滑らかな曲線として表現することができ、且つ、局所 領域での各色の画像情報間の相関性を利用した画像合成方法の影響により生じた 色むらを軽減することができる。
[0166] 上記の実施の形態は一例であり、本発明はこれに限定されない。例えば、異なる色 の画像情報間の相関性を利用した画像合成方法や、被写体のエッジ方向に応じた 画像の合成方法の選択、重み付き平滑フィルタやエッジ強調フィルタにおける重み 係数の値などは、上記の例に限定されず、同様の考え方に基づく別の方法や値を用 いても良ぐその場合も上記と同様の効果を得ることができる。
[0167] 図 1の撮像装置において、 4つの単レンズからそれぞれ投影された 4つの被写体像 間のずれ量が、理想的なずれ量である 0. 5画素から外れている場合、演算時間ゃメ モリ量を削減する目的でエッジ方向検出部 108を除去し、（数 8)から (数 10)を用い て赤、緑、青の合成画像 hr、 hg、 hbを算出しても良い。この場合、合成画像 hr、 hg、 hbに図 1の平滑フィルタ部 109及びエッジ強調部 110を作用させることにより、 4つの 被写体像間のずれ量が、理想的なずれ量である 0. 5画素から外れていることに起因 する色むらを低減することができ、被写体距離が変化しても、常に高解像度で色むら が少ないカラー画像を出力することができる。更に、局所領域での各色の画像情報 間の相関性を利用した画像合成方法の影響により生じた色むらも軽減することができ る。
[0168] 本実施の形態の撮像装置において、カラーフィルタ 113a, 113b, 113c, 113dを 除去しても良い。この場合、（数 5)を下記 (数 47)に変更することにより、 4つの単レン ズ力 それぞれ投影された 4つの被写体像間のずれ量力 理想的なずれ量である 0 . 5画素から外れている場合であっても、被写体距離や温度変化によらず常に高解 像度で色むらが無い白黒画像を出力することができる。更に、濃淡の変化を滑らかに 表現でき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線と して表現することができる、白黒映像を出力する薄型の撮像装置を実現できる。
[0169] [数 47]
C― g ( X、 y ) = 1
c— b g ( x、 y ) = 1
c― r g ( x y ) = 1
( x = 1、 2、 ■ ■ ■、 m、 y = 1、 2、 ■ ■ ■、 ！"！)
[0170] 本実施の形態では、撮像領域 104cに対する光軸 105cの相対的位置関係が、撮 像領域 104aに対する光軸 105aの相対的位置関係に対して、 Y軸方向に約 0. 5画 素ずれていれば良い（ここで、「約 0. 5画素」とは、後述するように 0. 25画素から 0. 7 5画素の範囲を意味する)。図 1はこの条件を満足する。また、図 13Aは、撮像素子 1 03上では光軸 105cは光軸 105aに対して Y軸方向に 2. 5画素ずれている力 撮像 領域 104cに対する光軸 105cの相対的位置関係は、撮像領域 104aに対する光軸 1 05aの相対的位置関係に対して、 Y軸方向に約 0. 5画素ずれているので、上記の条 件を満足している。
[0171] 撮像領域 104a〜104dは、図 1及び図 13Aに示すように共通する 1つの撮像素子 103上に形成されている必要はなぐ図 13Bに示すように別個の 4つの撮像素子 10 3a〜103d上にそれぞれ形成されていても良い。但し、撮像領域 104a〜104dのそ れぞれの画素の水平方向及び垂直方向の配列方向が撮像領域 104a〜104d間で 互いにほぼ同一である必要がある。この場合も、撮像領域 104cに対する光軸 105c の相対的位置関係が、撮像領域 104aに対する光軸 105aの相対的位置関係に対し て、 Y軸方向に約 0. 5画素ずれているという上記の条件を満足していれば良い。
[0172] 但し、上記の条件を満足している場合であっても、光軸 105cの光軸 105aに対する Y軸方向のずれ量が大きすぎると、被写体距離が短い場合 (即ち、近距離撮影の場 合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸 105c の光軸 105aに対する Y軸方向のずれに起因して発生する Y軸方向の視差が無視で きなくなる力もである。従って、被写体距離の下限値が分力つている場合には、光軸 105cの光軸 105aに対する Y軸方向のずれ量 Gsは（数 48)を満たすことが好ましい 。ここで、 A1は被写体距離の下限値、 fは単レンズ 102a〜102dと撮像素子 103との 間の距離 (合焦点距離)、 pは撮像素子 103の画素ピッチである。
[0173] また、撮像領域 104bに対する光軸 105bの相対的位置関係は、撮像領域 104aに 対する光軸 105aの相対的位置関係に対して、 X軸方向に約 0. 5画素ずれていれば ば良い（ここで、「約 0. 5画素」とは、後述するように 0. 25画素から 0. 75画素の範囲 を意味する）。図 1はこの条件を満足する。また、図 13Aは、撮像素子 103上では光 軸 105bは光軸 105aに対して X軸方向に 1. 5画素ずれている力 撮像領域 104bに 対する光軸 105bの相対的位置関係は、撮像領域 104aに対する光軸 105aの相対 的位置関係に対して、 X軸方向に約 0. 5画素ずれているので、上記の条件を満足し ている。
[0174] 撮像領域 104a〜104dが、図 13Bに示すように別個の 4つの撮像素子 103a〜10 3d上にそれぞれ形成されていても良い。但し、撮像領域 104a〜104dのそれぞれの 画素の水平方向及び垂直方向の配列方向が撮像領域 104a〜104d間で互いにほ ぼ同一である必要がある。この場合も、撮像領域 104bに対する光軸 105bの相対的 位置関係が、撮像領域 104aに対する光軸 105aの相対的位置関係に対して、 X軸 方向に約 0. 5画素ずれて 、ると 、う上記の条件を満足して 、れば良!、。
[0175] 但し、上記の条件を満足している場合であっても、光軸 105bの光軸 105aに対する X軸方向のずれ量が大きすぎると、被写体距離が短い場合 (即ち、近距離撮影の場 合）には問題が生じる可能性がある。なぜなら、被写体距離が短い場合、光軸 105b の光軸 105aに対する X軸方向のずれに起因して発生する X軸方向の視差が無視で きなくなる力もである。従って、被写体距離の下限値が分力つている場合には、光軸 1 Obcの光軸 105aに対する X軸方向のずれ量 Gsは（数 48)を満たすことが好まし！/、。
[0176] [数 48]
I G s I ≤A 1 , p Z ( 4■ f )
[0177] (数 48)を満たしていれば、撮像領域 104cに対する光軸 105cの相対的位置関係 力 撮像領域 104aに対する光軸 105aの相対的位置関係に対して、 Y軸方向に 0. 5画素ずれて 、るとき、撮像領域 104cでの被写体像と撮像領域 104aでの被写体像 との Y軸方向のずれ量は、被写体距離によらず常に 0. 25画素以上 0. 75画素以下 となる。
[0178] また、（数 48)を満たしていれば、撮像領域 104bに対する光軸 105bの相対的位置 関係が、撮像領域 104aに対する光軸 105aの相対的位置関係に対して、 X軸方向 に 0. 5画素ずれているとき、撮像領域 104bでの被写体像と撮像領域 104aでの被写 体像との X軸方向のずれ量は、被写体距離によらず常に 0. 25画素以上 0. 75画素 以下となる。
[0179] つまり、（数 48)を満たしていれば、被写体距離が変化しても、常に高解像度で、色 むらが少ないカラー及び白黒画像を出力することができる。更に、濃淡の変化を滑ら かにでき、且つ、被写体に曲線が含まれる場合であってもその曲線を滑らかな曲線と して表現することができ、且つ、局所領域での各色の画像情報間の相関性を利用し た画像合成方法の影響により生じた色むらを軽減することができる。
[0180] 本発明において、レンズ 102a〜102dは同一平面状に形成されることが望ましいが 、成型誤差等により厳密に同一平面状に形成されていなくても、本発明の撮像装置 を実現可能であることは言うまでも無 、。
[0181] 本発明では、撮像領域間での被写体像の位置のずれ量が約 0. 5画素であると、画 像合成により高解像度画像を得ることができる。ここで、「約 0. 5画素」とは 0. 25画素 以上 0. 75画素以下を意味する。これを図 14A〜図 14Cを用いて説明する。 [0182] 撮像領域 104b上の被写体像と撮像領域 104a上の被写体像とが X軸方向に 0. 5 画素ずれており、且つ、 Y軸方向に 0画素ずれている場合に、撮像領域 104bから得 られる画像と撮像領域 104aから得られる画像とを合成した合成画像にぉ 、て、撮像 領域 104b上の被写体像を構成する画素と撮像領域 104a上の被写体像を構成する 画素との X軸方向の 1ライン上での位置関係を図 14Aに示す。内側が白の円は撮像 領域 104a上の被写体像を構成する画素 201、内側にハッチングを施した円は撮像 領域 104b上の被写体像を構成する画素 202である。画素 201の X軸方向のピッチ 及び画素 202の X軸方向のピッチはいずれも pである。画素 201と画素 202の間隔は 0. 5pである。したがって、合成画像の見かけ上の X軸方向画素ピッチは 0. 5pとなり 、サンプリング周波数が見かけ上 2倍になり X軸方向の高解像度化が可能となる。
[0183] 次に、図 14B及び図 14Cに、撮像領域 104b上の被写体像と撮像領域 104a上の 被写体像とが X軸方向に α画素（0. 5< α < 1)ずれており、且つ、 Υ軸方向に 0画 素ずれて ヽる場合に、撮像領域 104bから得られる画像と撮像領域 104aから得られ る画像とを合成した合成画像にぉ ヽて、撮像領域 104b上の被写体像を構成する画 素 202と撮像領域 104a上の被写体像を構成する画素 201との X軸方向の 1ライン上 での位置関係を示す。画素 201の X軸方向のピッチ及び画素 202の X軸方向のピッ チはいずれも pである。画素 201と画素 202の間隔は、長い方で α ·ρ、短い方で（1 α ) ·ρである。この場合、長い方の画素ピッチが見かけ上 α ·ρとなることから、画素 ピッチが ρである画像のサンプリング周波数を fsとすると、図 14B及び図 14Cの画像 の見かけ上のサンプリング周波数は fsZ となる。サンプリング周波数が fsである画 像を肉眼にて認識できる程度に高解像度化するためには、サンプリング周波数を 4 /3 'fs以上に向上させることが好ま Uヽことを、本発明者らは実験により確認して!/ヽる 。従って、 α =0. 75である必要がある。即ち、図 14B及び図 14Cにおいて、画素 20 1と画素 202の間隔は、長い方で 0. 75ρ、短い方で 0. 25ρである必要がある。
[0184] 上記の理由により、高解像度化された合成画像を得るためには、撮像領域間での 被写体像の位置のずれ量は 0. 25画素以上 0. 75画素以下であることが好ましぐ本 発明ではこの範囲を「約 0. 5画素」と表現している。上記の説明は、 X軸方向におけ る高解像度化を説明したが、 Υ軸方向についても同様に適用されることはいうまでも ない。
[0185] 本発明の撮像装置の量産時において、撮像領域 104c上の被写体像を撮像領域 1 04a上の被写体像に対して Y軸方向に約 0. 5画素ずらし、且つ、撮像領域 104b上 の被写体像を撮像領域 104a上の被写体像に対して X軸方向に約 0. 5画素ずらす ためには、例えば、レンズ 102a〜102dを精密に成型加工したり、あるいは、レンズ 1 02a〜102d及び撮像素子 103の相対的位置を精密に位置決めしたりすることで実 現できる。また、レンズ 102a〜102dと撮像素子 103とのレンズの光軸 105a〜105d と平行な軸回りの相対的回転位置を調整することによつても実現できる。
[0186] 図 1の画像処理部 106の処理はプログラミング言語や HDL (Hardware Descript ion Language)などで記述され、その処理のフローチャートを図 15に示す。デイジ タル信号入力ステップ 301では図 1の AZD変換器 111からのディジタル信号を入力 し、エッジ方向検出ステップ 302では図 1のエッジ方向検出部 108と同様の処理を行 い、画像合成ステップ 303では図 1の画像合成部 107と同様の処理を行い、平滑フィ ルタステップ 304では図 1の平滑フィルタ部 109と同様の処理を行い、エッジ強調ス テツプ 305では図 1のエッジ強調部 110と同様の処理を行い、画像出力ステップ 306 では処理を行った画像をモニタやメモリ等に出力する。処理のフローチャートは図 15 に限定されず、同様の処理が含まれるフローチャートであれば良ぐその場合も本発 明の効果が得られる。
[0187] 上記の実施の形態は、本発明を具現化した一例であり、本発明の技術的範囲を限 定するものではない。
[0188] 上記した実施の形態により、本発明は上述した 2つ課題を解決でき、以下の効果が 得られる。
[0189] 第 1に、被写体と撮像装置との距離が所定の固定値でなく変化する場合、もしくは 温度変化等により複数のレンズ間の間隔が変化する場合であっても、画素ずらしの ずらし量が変化しな 、ため、ァクチユエータなどによる物理的な調整なしで被写体距 離や温度の変化にかかわらず常に高解像度の画像を得ることができる。
[0190] 第 2に、レンズ成型誤差、実装誤差、被写体距離、温度などに起因して、異なる撮 像領域での被写体像間のずれ量が、理想的なずれ量である 0. 5画素から外れてい る場合であっても、色むらの目立たない高画質の画像を得ることができる。
[0191] これら第 1、第 2の効果により、レンズ成型誤差、実装誤差、被写体距離、温度など によらず、薄型で、常に高画素及び高画質な画像を撮像できる撮像装置を得ること が可能となる。
[0192] 以上に説明した実施の形態は、いずれもあくまでも本発明の技術的内容を明らか にする意図のものであって、本発明はこのような具体例にのみ限定して解釈されるも のではなぐその発明の精神と請求の範囲に記載する範囲内でいろいろと変更して 実施することができ、本発明を広義に解釈すべきである。
産業上の利用可能性
[0193] 本発明の撮像装置の利用分野は、特に制限はないが、例えば、携帯機器、車載、 医療、監視、ロボット用途などに有用である。

Claims

請求の範囲
[1] 同一平面上に配置された複数のレンズと、
前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを 有し、
前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平 ラインの方向が前記複数の撮像領域間で互いに同一であり、且つ、
前記複数の撮像領域のうち、前記垂直ラインの方向に視差を有する少なくとも一対 の撮像領域に受光される少なくとも一対の被写体像が、前記水平ラインの方向に互
Vヽに所定量ずれて!/ヽることを特徴とする撮像装置。
[2] 同一平面上に配置された複数のレンズと、
前記複数のレンズによる複数の被写体像をそれぞれ受光する複数の撮像領域とを 有し、
前記複数の撮像領域のそれぞれにおける画素配置の垂直ラインの方向及び水平 ラインの方向が前記複数の撮像領域間で互いに同一であり、且つ、
前記複数の撮像領域のうち、前記水平ラインの方向に視差を有する少なくとも一対 の撮像領域に受光される少なくとも一対の被写体像が、前記複垂直ラインの方向に 互 ヽに所定量ずれて ヽることを特徴とする撮像装置。
[3] 前記所定量が、前記所定量のずれ方向における前記複数の撮像領域の画素ピッ チの 0. 25倍力も 0. 75倍の範囲である請求項 1または 2に記載の撮像装置。
[4] 前記複数のレンズと前記複数の撮像領域との間に複数のカラーフィルタが設けられ ている請求項 1または 2に記載の撮像装置。
[5] 前記複数のカラーフィルタのうち、少なくとも 2つが同一の分光透過率特性を有する 請求項 4に記載の撮像装置。
[6] 前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像 処理手段をさらに有し、
前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データ よりも高解像度の合成画像データを作成し出力する画像合成手段を有し、
前記画像合成手段は、前記複数の画像データのうちの少なくとも一つの画像デー タに含まれる局所領域でのエッジ方向を検出するエッジ方向検出手段を有し、 前記画像合成手段は、前記エッジ方向検出手段が判断したエッジの方向に基づき 前記複数の画像データの合成方法を変更する請求項 1または 2に記載の撮像装置。
[7] 前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの 方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所 領域では垂直方向に同一の画素信号値を連続して配置する請求項 6に記載の撮像 装置。
[8] 前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの 方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所 領域では、前記複数の画像データのうち前記水平ラインの方向に互いにずれた少な くとも 2つの画像データの画素信号値を前記水平ラインの方向に並べて配置し、且つ 、前記垂直ラインの方向に隣り合う 2つの画素間には、前記 2つの画素の画素信号値 の補間値を配置する請求項 6に記載の撮像装置。
[9] 前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの 方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所 領域では水平方向に同一の画素信号値を連続して配置する請求項 6に記載の撮像 装置。
[10] 前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記水平ラインの 方向と同一と判断したとき、前記画像合成手段は、前記合成画像データの前記局所 領域では、前記複数の画像データのうち前記垂直ラインの方向に互いにずれた少な くとも 2つの画像データの画素信号値を前記垂直ラインの方向に並べて配置し、且つ 、前記水平ラインの方向に隣り合う 2つの画素間には、前記 2つの画素の画素信号値 の補間値を配置する請求項 6に記載の撮像装置。
[11] 前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの 方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像デ ータの前記局所領域では前記エッジ方向に同一の画素信号値を連続して配置する 請求項 6に記載の撮像装置。
[12] 前記エッジ方向検出手段が前記局所領域での前記エッジ方向が前記垂直ラインの 方向に対して傾斜していると判断したとき、前記画像合成手段は、前記合成画像デ ータの前記局所領域では、前記複数の画像データのうち前記水平ラインの方向又は 前記垂直ラインの方向に互いにずれた少なくとも 2つの画像データの画素信号値と、 前記エッジ方向に隣り合う 2つの画素の画素信号値の補間値とを配置する請求項 6 に記載の撮像装置。
[13] 前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像 処理手段をさらに有し、
前記画像処理手段は、前記複数の画像データを合成して前記複数の画像データ よりも高解像度の合成画像データを作成し出力する画像合成手段を有し、
前記画像合成手段は、前記複数の撮像領域のずれ量に応じて前記複数の画像デ ータの中から合成に使用する複数の画像データを選択する請求項 6に記載の撮像 装置。
[14] 前記画像合成手段は、前記ずれ量が所定の値に最も近 ヽ画像データを前記複数 の画像データの中から選択する請求項 13に記載の撮像装置。
[15] 前記画像合成手段は、前記ずれ量が所定の範囲に含まれる画像データを前記複 数の画像データの中から選択する請求項 13に記載の撮像装置。
[16] 前記所定の範囲が、前記所定量のずれ方向における前記複数の撮像領域の画素 ピッチの 0. 25倍力も 0. 75倍の範囲である請求項 15に記載の撮像装置。
[17] 前記複数の撮像領域からそれぞれ出力される複数の画像データを処理する画像 処理手段をさらに有し、
前記画像処理手段は、
前記複数の画像データを合成して前記複数の画像データよりも高解像度の合成画 像データを作成し出力する画像合成手段と、
前記合成画像データもしくは前記合成画像データに処理を施した画像データの各 画素の画素信号値をこの画素の近傍の画素の画素信号値に基づき平滑ィヒした平滑 化画像データを出力する平滑フィルタ手段と、
前記平滑化画像データもしくは前記平滑化画像データに処理を施した画像データ の各画素の画素信号値をこの画素の近傍の画素信号値に基づきエッジを強調した エッジ強調化画像データを出力するエッジ強調フィルタ手段と を有することを特徴とする請求項 1または 2に記載の撮像装置。
PCT/JP2006/322475 2005-11-22 2006-11-10 撮像装置 Ceased WO2007060847A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007546402A JP4976310B2 (ja) 2005-11-22 2006-11-10 撮像装置
US12/094,051 US7999873B2 (en) 2005-11-22 2006-11-10 Imaging device with plural lenses and imaging regions
CN2006800428253A CN101310539B (zh) 2005-11-22 2006-11-10 成像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2005336542 2005-11-22
JP2005-336542 2005-11-22

Publications (1)

Publication Number Publication Date
WO2007060847A1 true WO2007060847A1 (ja) 2007-05-31

Family

ID=38067078

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2006/322475 Ceased WO2007060847A1 (ja) 2005-11-22 2006-11-10 撮像装置

Country Status (4)

Country Link
US (1) US7999873B2 (ja)
JP (1) JP4976310B2 (ja)
CN (1) CN101310539B (ja)
WO (1) WO2007060847A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206922A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
JP2010071747A (ja) * 2008-09-17 2010-04-02 Nikon Corp 光学特性測定方法および装置
US20110025905A1 (en) * 2008-04-02 2011-02-03 Seiichi Tanaka Imaging device and optical axis control method
WO2011129387A1 (ja) * 2010-04-14 2011-10-20 シャープ株式会社 撮像装置
WO2013108656A1 (ja) * 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
JP2019097169A (ja) * 2017-11-24 2019-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 映像復元装置及び方法

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4264464B2 (ja) * 2007-06-28 2009-05-20 パナソニック株式会社 撮像装置及び半導体回路素子
US20090051790A1 (en) * 2007-08-21 2009-02-26 Micron Technology, Inc. De-parallax methods and apparatuses for lateral sensor arrays
JP4510930B2 (ja) * 2008-07-23 2010-07-28 パナソニック株式会社 撮像装置及び半導体回路素子
JP2010218271A (ja) * 2009-03-17 2010-09-30 Tokyo Institute Of Technology パラメータ制御処理装置及び画像処理装置
US8478076B2 (en) * 2010-07-05 2013-07-02 Apple Inc. Alignment of digital images and local motion detection for high dynamic range (HDR) imaging
TWI523519B (zh) * 2011-01-28 2016-02-21 佳能企業股份有限公司 影像補償方法及系統
JP5725975B2 (ja) * 2011-05-27 2015-05-27 キヤノン株式会社 撮像装置及び撮像方法
JP5818697B2 (ja) * 2012-01-13 2015-11-18 キヤノン株式会社 画像生成方法、撮像装置および表示装置、プログラム、記憶媒体
TW201333537A (zh) * 2012-02-03 2013-08-16 Novatek Microelectronics Corp 感光裝置與光學設定方法
JP6131546B2 (ja) * 2012-03-16 2017-05-24 株式会社ニコン 画像処理装置、撮像装置および画像処理プログラム
JP5988790B2 (ja) * 2012-09-12 2016-09-07 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
US9398272B2 (en) * 2012-11-07 2016-07-19 Google Inc. Low-profile lens array camera
JP2014230179A (ja) * 2013-05-24 2014-12-08 ソニー株式会社 撮像装置及び撮像方法
JP6415113B2 (ja) * 2014-05-29 2018-10-31 オリンパス株式会社 撮像装置、画像処理方法
DE102014212104A1 (de) * 2014-06-24 2015-12-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und verfahren zur relativen positionierung einer multiaperturoptik mit mehreren optischen kanälen relativ zu einem bildsensor
CN106537890A (zh) * 2014-07-16 2017-03-22 索尼公司 复眼摄像装置
US10440281B2 (en) * 2014-08-13 2019-10-08 Taiwan Semiconductor Manufacturing Company, Ltd. Image processing apparatus on integrated circuit and method thereof
US10051182B2 (en) * 2015-10-05 2018-08-14 Light Labs Inc. Methods and apparatus for compensating for motion and/or changing light conditions during image capture
JP2019105919A (ja) * 2017-12-11 2019-06-27 シャープ株式会社 平滑画像生成装置、異常判定装置、平滑画像生成方法、およびプログラム
CN111753934A (zh) * 2019-03-29 2020-10-09 青岛九石智能科技股份有限公司 一种存储柜的控制方法、控制装置及存储柜
US11899342B2 (en) * 2019-04-18 2024-02-13 Sony Group Corporation Interchangeable lens, information processing apparatus, information processing method, and program
CA3087909A1 (en) * 2019-07-24 2021-01-24 Arris Enterprises Llc Magnification enhancement of video for visually impaired viewers
CN112484692B (zh) * 2020-11-05 2023-01-03 江西洪都航空工业集团有限责任公司 一种飞行器与云层相对高度视觉检测方法和装置
KR20240063107A (ko) * 2021-07-21 2024-05-10 엘리먼트 바이오사이언스, 인크. 핵산 시퀀싱을 위한 광학 시스템 및 이의 방법
CN115278065A (zh) * 2022-07-18 2022-11-01 奕目(上海)科技有限公司 光场成像方法、光场成像系统、光场相机及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149381A (ja) * 1994-11-24 1996-06-07 Sony Corp 撮像信号処理方法及び装置
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
JP2002262300A (ja) * 2001-03-02 2002-09-13 Canon Inc 撮像装置および撮像方法
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10304235A (ja) 1997-04-30 1998-11-13 Ricoh Co Ltd 撮像装置
US6720997B1 (en) * 1997-12-26 2004-04-13 Minolta Co., Ltd. Image generating apparatus
US6882368B1 (en) 1999-06-30 2005-04-19 Canon Kabushiki Kaisha Image pickup apparatus
JP3397758B2 (ja) 1999-06-30 2003-04-21 キヤノン株式会社 撮像装置
JP3703424B2 (ja) 2000-10-25 2005-10-05 キヤノン株式会社 撮像装置及びその制御方法及び制御プログラム及び記憶媒体
US7262799B2 (en) 2000-10-25 2007-08-28 Canon Kabushiki Kaisha Image sensing apparatus and its control method, control program, and storage medium
US7286168B2 (en) * 2001-10-12 2007-10-23 Canon Kabushiki Kaisha Image processing apparatus and method for adding blur to an image
JP2003283907A (ja) * 2002-03-20 2003-10-03 Japan Science & Technology Corp 撮像装置
US6905258B2 (en) * 2003-08-27 2005-06-14 Mitutoyo Corporation Miniature imaging encoder readhead using fiber optic receiver channels
JP2005303694A (ja) 2004-04-13 2005-10-27 Konica Minolta Holdings Inc 複眼撮像装置
US20060054782A1 (en) * 2004-08-25 2006-03-16 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US20070102622A1 (en) * 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
US7566855B2 (en) * 2005-08-25 2009-07-28 Richard Ian Olsen Digital camera with integrated infrared (IR) response

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08149381A (ja) * 1994-11-24 1996-06-07 Sony Corp 撮像信号処理方法及び装置
JP2002209226A (ja) * 2000-12-28 2002-07-26 Canon Inc 撮像装置
JP2002262300A (ja) * 2001-03-02 2002-09-13 Canon Inc 撮像装置および撮像方法
JP2005176040A (ja) * 2003-12-12 2005-06-30 Canon Inc 撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009206922A (ja) * 2008-02-28 2009-09-10 Funai Electric Co Ltd 複眼撮像装置
US8237841B2 (en) 2008-02-28 2012-08-07 Funai Electric Co., Ltd. Compound-eye imaging device
US20110025905A1 (en) * 2008-04-02 2011-02-03 Seiichi Tanaka Imaging device and optical axis control method
JP2010071747A (ja) * 2008-09-17 2010-04-02 Nikon Corp 光学特性測定方法および装置
WO2011129387A1 (ja) * 2010-04-14 2011-10-20 シャープ株式会社 撮像装置
WO2013108656A1 (ja) * 2012-01-16 2013-07-25 ソニー株式会社 固体撮像素子およびカメラシステム
JP2019097169A (ja) * 2017-11-24 2019-06-20 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 映像復元装置及び方法
JP7264624B2 (ja) 2017-11-24 2023-04-25 三星電子株式会社 映像復元装置及び方法

Also Published As

Publication number Publication date
JP4976310B2 (ja) 2012-07-18
US7999873B2 (en) 2011-08-16
US20090160997A1 (en) 2009-06-25
CN101310539A (zh) 2008-11-19
CN101310539B (zh) 2010-10-27
JPWO2007060847A1 (ja) 2009-05-07

Similar Documents

Publication Publication Date Title
WO2007060847A1 (ja) 撮像装置
JP6767543B2 (ja) 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
JP5300133B2 (ja) 画像表示装置及び撮像装置
JP4699995B2 (ja) 複眼撮像装置及び撮像方法
EP2160018B1 (en) Image pickup apparatus
JP5036482B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
CN105556944B (zh) 多孔径成像系统和方法
US9516285B2 (en) Image processing device, image processing method, and image processing program
WO2007013250A1 (ja) 複眼方式の撮像装置
CN103415240A (zh) 内窥镜系统
US8774551B2 (en) Image processing apparatus and image processing method for reducing noise
WO2012117616A1 (ja) 撮像装置及び欠陥画素補正方法
JP2009117976A (ja) 撮像装置
WO2012073727A1 (ja) 撮像装置及びその合焦位置検出方法
WO2009001956A1 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP2013192182A (ja) 固体撮像装置および携帯情報端末
JP4329542B2 (ja) 画素の類似度判定を行う画像処理装置、および画像処理プログラム
TWI599809B (zh) 鏡頭模組陣列、影像感測裝置與數位縮放影像融合方法
JP2020061129A (ja) 画像処理方法、画像処理装置、撮像装置、画像処理システム、プログラム、および、記憶媒体
JP5378283B2 (ja) 撮像装置およびその制御方法
JP6173065B2 (ja) 撮像装置、画像処理装置、撮像方法及び画像処理方法
JP7458769B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体
JP2006135823A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN110784642B (zh) 图像处理装置及其控制方法以及存储介质、摄像装置
JP6467823B2 (ja) 撮像装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200680042825.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2007546402

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 12094051

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 06823297

Country of ref document: EP

Kind code of ref document: A1