[go: up one dir, main page]

WO2018180530A1 - 画像処理装置および方法 - Google Patents

画像処理装置および方法 Download PDF

Info

Publication number
WO2018180530A1
WO2018180530A1 PCT/JP2018/010164 JP2018010164W WO2018180530A1 WO 2018180530 A1 WO2018180530 A1 WO 2018180530A1 JP 2018010164 W JP2018010164 W JP 2018010164W WO 2018180530 A1 WO2018180530 A1 WO 2018180530A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
projection
inverse filter
projected
blur
Prior art date
Application number
PCT/JP2018/010164
Other languages
English (en)
French (fr)
Inventor
孝明 鈴木
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to CN201880019642.2A priority Critical patent/CN110431840B/zh
Priority to JP2019509242A priority patent/JP7218721B2/ja
Priority to US16/488,110 priority patent/US11151698B2/en
Publication of WO2018180530A1 publication Critical patent/WO2018180530A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00—Projectors or projection-type viewers; Accessories therefor
    • G03B21/02—Multiple-film apparatus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3191—Testing thereof
    • H04N9/3194—Testing thereof including sensor feedback

Definitions

  • the present disclosure relates to an image processing apparatus and method, and more particularly, to an image processing apparatus and method capable of suppressing reduction in subjective image quality.
  • a video display system that realizes a large screen projection and a video display system that improves the brightness / resolution feeling of the projected image as compared with a single projector by using a plurality of projectors.
  • a video display system there is a so-called overlap area in which video images of a plurality of projectors are superimposed and projected in the projection area of the projector.
  • blur superimposed blur
  • Patent Documents In order to suppress such superimposing blur, for example, a method of adjusting the correction so that the difference between the projected superimposed image and the input image is minimized by using a feedback loop has been considered (for example, Patent Documents). 1).
  • blur may occur in one projected image.
  • blur due to diffuse reflection of light from the projector on the projection surface on which the image is projected blur due to depth change of the projection surface (so-called defocus), optical blur caused by the lens or light source of the projector, etc. May occur.
  • defocus blur due to depth change of the projection surface
  • optical blur caused by the lens or light source of the projector etc. May occur.
  • a method for estimating individual blur at the time of projection using a camera, PSF estimation using the obtained blur amount, and projecting an input image with the filter applied (For example, refer nonpatent literature 1).
  • the present disclosure has been made in view of such a situation, and is intended to suppress reduction in subjective image quality.
  • An image processing apparatus is generated by superimposing a plurality of projection images on an individual blur amount indicating a size of optical blur generated in each projection image projected from each of a plurality of projection units.
  • An inverse filter that generates an inverse filter of a filter that converts an input image projected by the plurality of projection units into a projection image projected by the plurality of projection units based on a superimposed blur amount indicating a size of optical blur to be performed
  • An image processing apparatus comprising: a generation unit; and a phase image generation unit that converts the input image using the inverse filter generated by the inverse filter generation unit to generate a phase image.
  • the inverse filter generation unit generates the filter so that an error between a value obtained by filtering the input image and a projection image of the input image is minimized, and the inverse filter is generated using the generated filter. Can be generated.
  • the inverse filter generation unit can generate a Wiener filter as the inverse filter.
  • the inverse filter generation unit can generate the inverse filter for each projection unit.
  • the inverse filter generation unit can generate the inverse filter for the representative pixel of the input image.
  • the inverse filter generation unit can generate the inverse filter for all pixels of the input image.
  • the phase image generation unit can generate the phase image for each projection unit.
  • the phase image generation unit can convert the entire input image using the inverse filter generated by the inverse filter generation unit, and generate the phase image for the entire input image.
  • the phase image generation unit may convert a part of the input image using the inverse filter generated by the inverse filter generation unit, and generate the phase image for the part of the input image.
  • the phase image generation unit can omit conversion of other parts of the input image.
  • the phase image generation unit can perform conversion on the other part of the input image so as to reduce the individual blur amount.
  • the individual blur amount calculation unit projects a test image from each of the plurality of projection units, and calculates a PSF (Point Spread Function) as the individual blur amount for the test image in the captured image obtained by capturing the projection image. Can do.
  • PSF Point Spread Function
  • the image processing apparatus may further include a superimposed blur amount calculation unit that calculates the superimposed blur amount based on a captured image obtained by capturing each projection image projected from each of the plurality of projection units.
  • the superimposing blur amount calculation unit can obtain the projection coordinates of each pixel of the projection image from the captured image, and can calculate the superimposition blur amount from the projection coordinates for a portion where a plurality of projection images are superimposed.
  • the plurality of projection units that project an image may be further provided.
  • the plurality of projection units can project the phase image generated by the phase image generation unit.
  • the plurality of projection units can project images at positions shifted from each other such that the projection image is a higher resolution image than the image projected by each projection unit.
  • An image processing method is generated by superimposing an individual blur amount indicating the size of an optical blur generated in each projection image projected from each of a plurality of projection units and the plurality of projection images.
  • Generating an inverse filter of a filter that converts an input image projected by the plurality of projection units into a projection image projected by the plurality of projection units based on a superimposed blur amount indicating a size of optical blur to be generated An image processing method for generating a phase image by converting the input image using the inverse filter.
  • the amount of individual blur indicating the size of optical blur generated in each projection image projected from each of a plurality of projection units and the plurality of projection images are superimposed. Based on the superimposed blur amount indicating the size of the optical blur generated by, an inverse filter of the filter that converts the input image projected by the plurality of projection units into the projection image projected by the plurality of projection units is generated and generated The input image is converted using the inverse filter, and a phase image is generated.
  • an image can be processed.
  • reduction in subjective image quality can be suppressed.
  • FIG. 20 is a block diagram illustrating a main configuration example of a computer.
  • a video display system that realizes a large screen projection and a video display system that improves the brightness / resolution of the projected image compared to a single projector.
  • a video display system there is a so-called overlap area in which video images of a plurality of projectors are superimposed and projected in the projection area of the projector.
  • optical blur also referred to as superimposed blur
  • optical blur also referred to as individual blur
  • optical blur may occur in each superimposed projection image. For example, when light from the projector is diffusely reflected on the projection surface on which the image is projected, blur due to a change in the depth of the projection surface (so-called defocus), blur due to the projector lens or light source, etc. was there.
  • both the above-described superimposed blur and individual blur of each projection image often occur. If such optical blur occurs in the projected image, the subjective image quality of the projected image may be reduced.
  • Non-Patent Document 1 PSF (Point Spread Function) is estimated using a camera for individual blur at the time of projection, and an inverse filter is designed using the obtained blur amount. A method of projecting the filtered input image is described.
  • PSF Point Spread Function
  • Non-Patent Document 1 the state of individual blur of each projection image cannot be obtained correctly, and as a result, individual blur cannot be sufficiently suppressed, or excessive errors such as ringing and jaggies are caused. There is a risk that other factors of image quality degradation due to the correction may occur. Further, since the method described in Non-Patent Document 1 cannot grasp the positional relationship between the projected images, it is naturally difficult to suppress the superimposing blur.
  • Patent Document 1 describes a method of adjusting correction so that a difference between the projected superimposition image and input image is minimized using a feedback loop. ing.
  • a feedback loop process since a feedback loop process is performed, it takes a long time for the correction to converge, and it is difficult to cope with a case where the correction is shifted.
  • the result may not converge to the true value. For example, if the processing time is to be suppressed, there is a possibility that the possibility of not converging to the optimal solution increases.
  • FIG. 1 is a block diagram illustrating a main configuration example of an embodiment of a projection imaging system to which the present technology is applied.
  • the projection imaging system 100 is a system that can project an image, capture a projection image, or perform image processing for suppressing optical blur by a method to which the present technology is applied. .
  • the projection imaging system 100 includes an image processing device 111, a projection device 112-1, a projection device 112-2, and an imaging device 113.
  • the image processing device 111 is communicably connected to the projection device 112-1, the projection device 112-2, and the imaging device 113.
  • This connection may be by wired communication or wireless communication. That is, for example, it may be physically connected using a cable or the like, or may be physically separated.
  • the projector 112-1 and the projector 112-2 are referred to as the projector 112 when it is not necessary to distinguish between them.
  • the image processing apparatus 111 performs processing related to image processing on an input image to be projected that is input to the projection imaging system 100. For example, the image processing device 111 performs image processing for suppressing optical blurring that occurs in the projection image on the input image, generates a phase image for each projection device 112, and outputs the corresponding phase projection device to each of them. 112.
  • the projection device 112 performs processing related to image projection. For example, the projection device 112 projects the image supplied from the image processing device 111 onto the screen 120. For example, both the projection device 112-1 and the projection device 112-2 project an image onto the range 121 of the screen 120.
  • the imaging device 113 performs processing related to imaging of a subject. For example, the imaging device 113 images the range 122 of the screen 120. That is, the imaging device 113 captures a projection image projected on the screen 120. As shown in FIG. 1, the range 122 includes the entire range 121. That is, the imaging device 113 captures a range including a range in which the entire overlap region of the projected images projected from the plurality of projection devices 112 on the screen 120 is projected. The imaging device 113 supplies the captured image obtained by the imaging to the image processing device 111. The image processing device 111 performs the above-described image processing based on the captured image.
  • the screen 120 is an example of a target on which the projection device 112 projects an image
  • the target of the image projection is not limited to this screen 120. That is, the projection device 112 can project an image onto an arbitrary target, and the imaging device 113 can also capture a projection image projected on the target.
  • FIG. 2 is a block diagram illustrating a main configuration example of the image processing apparatus 111 in FIG.
  • the image processing apparatus 111 includes a test image storage unit 131, a projection control unit 132, an imaging control unit 133, an individual blur amount calculation unit 134, an individual blur amount storage unit 135, a projection coordinate specification unit 136, A projection coordinate storage unit 137, a superimposed blur amount calculation unit 138, an inverse filter design unit 139, and a phase image generation unit 140 are included.
  • the test image storage unit 131 has an arbitrary recording medium such as a hard disk or a semiconductor memory, for example, and stores a test image that is an image of a predetermined pattern used for suppressing optical blur in the recording medium. .
  • the test image storage unit 131 supplies the test image to the projection control unit 132 at an arbitrary timing or based on a request from the outside such as the projection control unit 132, for example.
  • the projection control unit 132 performs processing related to the control of the projection device 112. For example, the projection control unit 132 supplies the test image supplied from the test image storage unit 131 and the input image and phase image supplied from the phase image generation unit 140 to the projection device 112-1 and the projection device 112-2. . The projection control unit 132 controls the projection device 112-1 and the projection device 112-2 to project the supplied image.
  • the imaging control unit 133 performs processing related to the control of the imaging device 113. For example, the imaging control unit 133 controls the imaging device 113 to capture an image of a subject (for example, the screen 120 on which the image is projected), and acquires the obtained captured image. In addition, the imaging control unit 133 supplies the acquired captured image to the individual blur amount calculation unit 134 and the projection coordinate specification unit 136.
  • the individual blur amount calculation unit 134 performs processing related to the calculation of the individual blur amount indicating the size of the individual blur generated in each projection image projected from each projection device 112. For example, the individual blur amount calculation unit 134 acquires a captured image obtained by capturing the projection image projected by the projection device 112-1 from the imaging control unit 133, and projects the projection image by the projection device 112-1 based on the captured image. An individual blur amount of the projected image is calculated. Similarly, the individual blur amount calculation unit 134 acquires a captured image obtained by capturing the projection image projected by the projection device 112-2 from the imaging control unit 133, and based on the captured image, the projection device 112-2 An individual blur amount of the projected image is calculated. The individual blur amount calculation unit 134 supplies information indicating the calculated individual blur amount to the individual blur amount storage unit 135.
  • the individual blur amount storage unit 135 includes an arbitrary recording medium such as a hard disk or a semiconductor memory, and stores information indicating the individual blur amount supplied from the individual blur amount calculation unit 134. Also, the individual blur amount storage unit 135 sends information indicating the stored individual blur amount to the inverse filter design unit 139 at a predetermined timing or in response to a request from the outside such as the inverse filter design unit 139. Supply.
  • the projected coordinate specifying unit 136 performs processing related to specifying the position (also referred to as a projected coordinate) of each projection image projected from each projection device 112. For example, the projection coordinate specifying unit 136 acquires a captured image obtained by capturing the projection image projected by the projection device 112-1 from the imaging control unit 133, and is projected by the projection device 112-1 based on the captured image. The projection coordinates of the projected image are specified. Similarly, the projection coordinate specifying unit 136 acquires a captured image obtained by capturing the projection image projected by the projection device 112-2 from the imaging control unit 133, and the projection device 112-2 projects the image based on the captured image. The projection coordinates of the projected image are specified. The projection coordinate specifying unit 136 supplies information indicating the specified projection coordinates to the projection coordinate storage unit 137.
  • the projection coordinate storage unit 137 has an arbitrary recording medium such as a hard disk or a semiconductor memory, and stores information indicating the projection coordinates supplied from the projection coordinate specifying unit 136. In addition, the projection coordinate storage unit 137 sends information indicating the stored projection coordinates to the superimposed blur amount calculation unit 138 at a predetermined timing or in response to a request from the outside such as the superimposed blur amount calculation unit 138, for example. Supply.
  • the superimposed blur amount calculation unit 138 performs processing related to the calculation of the superimposed blur amount indicating the size of the superimposed blur, which is an optical blur generated by superimposing a plurality of projection images. For example, the superimposed blur amount calculation unit 138 acquires information indicating the projection coordinates from the projection coordinate storage unit 137, and calculates the superimposed blur amount based on the information. Also, the superimposed blur amount calculation unit 138 supplies information indicating the calculated superimposed blur amount to the inverse filter design unit 139.
  • the inverse filter design unit 139 performs processing related to generation of an inverse filter of a filter that converts each input image projected by each projection device 112 into a projection image projected from each projection device 112 to the screen 120.
  • An inverse filter is a filter in which an inverse transformation of a transformation performed by applying a filter corresponding to the inverse filter is performed by applying the inverse filter. In other words, the influence of the filter can be canceled by applying an inverse filter.
  • the inverse filter design unit 139 acquires information indicating the superimposed blur amount from the superimposed blur amount calculation unit 138, acquires information indicating the individual blur amount from the individual blur amount storage unit 135, and based on the information.
  • a filter for converting the input image into a projection image is designed and generated, and an inverse filter of the filter is designed and generated.
  • the inverse filter design unit 139 generates an inverse filter for each projection device 112. Further, the inverse filter design unit 139 supplies the generated inverse filter to the phase image generation unit 140.
  • the phase image generation unit 140 performs processing related to generation of a phase image.
  • the phase image is an image obtained by applying the inverse filter generated by the inverse filter design unit 139 to the input image. That is, the phase image is an image in which the pixel value of the input image is corrected so as to reduce the difference between the input image and the projection image.
  • the phase image generation unit 140 acquires an inverse filter from the inverse filter design unit 139, converts the input image using the inverse filter, and generates a phase image.
  • the phase image generation unit 140 supplies the generated phase image to the projection control unit 132 and causes the projection device 112 to project it.
  • the phase image generation unit 140 generates a phase image for each projection device 112.
  • the phase image generation unit 140 can also supply the projection image to the projection control unit 132 without causing the input image to be corrected, and cause the projection device 112 to project the input image.
  • the projection imaging system 100 performs a projection process to project an image. An example of the flow of this projection process will be described with reference to the flowchart of FIG.
  • the image processing apparatus 111 When the projection process is started, the image processing apparatus 111 performs a blur amount calculation process in step S101 to calculate the blur amount of the optical blur generated in the projection image.
  • the phase image generation unit 140 of the image processing device 111 applies an inverse filter for the projection device 112 that projects the input image to the input image, and generates a phase image corresponding to the entire input image. To do.
  • the projection device 112 acquires and projects the phase image corresponding to itself generated in step S102.
  • the phase image generation unit 140 converts the input image projected from the projection device 112-1 into a phase image by applying an inverse filter for the projection device 112-1, and passes the projection image through the projection control unit 132.
  • the phase image is supplied to the projection device 112-1.
  • the phase image generation unit 140 converts the input image projected from the projection device 112-2 into a phase image by applying an inverse filter for the projection device 112-2, and passes the projection image through the projection control unit 132.
  • the phase image is supplied to the projection device 112-2.
  • Each projection device 112 is controlled by the projection control unit 132 to project the phase image supplied thereto.
  • the input image corresponding to each projection device 112 may be an image of the same frame of moving images input to the projection imaging system 100 or may be an image of different frames.
  • step S104 the projection control unit 132 determines whether or not to end the projection. When it is determined that there is an unprocessed input image and projection is not finished, the process returns to step S102 and the subsequent processes are repeated. That is, each process of step S102 to step S104 is executed for each input image. In step S104, if it is determined that the projection is to be ended, for example, by processing all input images, the projection process is ended.
  • the projection control unit 132 selects a projection apparatus 112 (also referred to as a current projection apparatus) to be processed from the unprocessed projection apparatuses 112 in step S151.
  • the projection control unit 132 reads the test image stored in the test image storage unit 131, supplies it to the current projection device 112, controls the current projection device 112, and supplies the supplied test image. Project.
  • the current projection device 112 projects the supplied test image on the screen 120 according to the control.
  • Figure 5 shows an example of a test image.
  • the dot pattern 211 is drawn on the test image 210 over the entire image at a predetermined interval.
  • the content of the test image may be anything as long as it can calculate the amount of individual blur and specify the projection coordinates.
  • the imaging control unit 133 controls the imaging device 113 to capture a projected image of the test image projected on the screen 120.
  • the imaging device 113 captures the projection image according to the control, and supplies the captured image to the imaging control unit 133.
  • the imaging control unit 133 supplies the supplied captured image to the individual blur amount calculation unit 134 and the projection coordinate specification unit 136.
  • step S154 the individual blur amount calculation unit 134 calculates the individual blur amount ⁇ individual blur of the projection image of the test image included in the captured image based on the supplied captured image.
  • the individual blur amount calculation unit 134 calculates the individual blur amount ⁇ individual blur based on the state of diffusion of the dot pattern 211.
  • the calculation method of the individual blur amount ⁇ individual blur is arbitrary. Further, the individual blur amount ⁇ individual blur may be any parameter as long as it is a parameter indicating the size of the individual blur.
  • the individual blur amount calculation unit 134 extracts the image of the dot pattern 211 (A in FIG. 6) from the captured image, analyzes the image, and uses the PSF (Point Spread Function) as the individual blur amount. It may be calculated as ⁇ individual blur .
  • the individual blur amount calculation unit 134 displays a user interface (UI) that can reproduce the expansion of the dot pattern 211 on the monitor together with the captured image, and the user expands the dot pattern 211 on the captured image. This is reproduced by operating the user interface while visually confirming the state of the image, and the individual blur amount calculation unit 134 accepts the operation, and the reproduced parameter indicating the state of spread is set as the individual blur amount ⁇ individual blur . You may do it.
  • UI user interface
  • the individual blur amount calculation unit 134 supplies information indicating the calculated individual blur amount ⁇ individual blur to the individual blur amount storage unit 135 and stores the information.
  • step S155 based on the supplied captured image, the projection coordinate specification unit 136 projects the projection coordinates of each pixel of the projection image of the test image included in the captured image (that is, the position (coordinate) where each pixel is projected). Is identified.
  • a projection image projected from the projection device 112-1 and a projection image projected from the projection device 112-2 are projected as shown in FIG.
  • Each square indicated by a dotted line indicates, for example, a pixel opening of a projection image projected from the projection device 112-1.
  • the pixel aperture indicates a range where light for one pixel is projected. That is, in FIG. 7A, a range (pixel opening 251-1, pixel opening 251-2, pixel opening 251) in which light of 4 pixels (2 ⁇ 2 pixels) output from the projection device 112-1 is projected is projected. ⁇ 3, pixel aperture 251-4).
  • the pixel openings 251-1 to 251-4 are referred to as pixel openings 251 when they do not need to be distinguished from each other.
  • FIG. 1 pixel openings 251 when they do not need to be distinguished from each other.
  • each square indicated by a one-dot chain line indicates, for example, a pixel opening of a projection image projected by the projection device 112-2. That is, in FIG. 7A, a range (pixel opening 261-1, pixel opening 261-2, pixel opening 261) in which light of 4 pixels (2 ⁇ 2 pixels) output from the projection device 112-2 is projected is projected. ⁇ 3, pixel aperture 261-4).
  • the pixel openings 261-1 to 261-4 are referred to as pixel openings 261 when it is not necessary to distinguish them from each other.
  • the center of gravity 252-1 indicates the center of gravity of the pixel opening 251-1
  • the center of gravity 252-2 indicates the center of gravity of the pixel opening 251-2
  • the center of gravity 252-3 indicates the pixel opening 251-. 3 indicates the center of gravity of the pixel opening 251-4
  • the center of gravity 262-1 indicates the center of gravity of the pixel opening 261-1
  • the center of gravity 262-2 indicates the center of gravity of the pixel opening 261-2
  • the center of gravity 262-2 indicates the center of gravity of the pixel opening 261-3.
  • Centroid 262-4 indicates the centroid of the pixel opening 261-4.
  • the centroids 252-1 to 252-4 are referred to as centroids 252 when there is no need to distinguish them from each other.
  • the centroids 262-1 to 262-4 are referred to as centroids 262 when it is not necessary to distinguish them from each other.
  • the projected coordinate specifying unit 136 specifies the coordinates of the center of gravity of each pixel opening as the projected coordinates of each pixel.
  • the projection coordinate specifying unit 136 supplies information indicating the projection coordinates of each specified pixel to the projection coordinate storage unit 137 for storage.
  • step S156 the projection control unit 132 determines whether all the projection apparatuses 112 have been processed. If it is determined that there is an unprocessed projection device 112, the process returns to step S151, and a new unprocessed projection device 112 is selected as the current projection device 112. Then, each process of step S152 to step S156 is executed for the new current projection device 112. That is, each process of step S151 to step S156 is executed for each projection device 112. If it is determined in step S156 that all the projection devices 112 have been processed, the process proceeds to step S157.
  • step S157 the superimposed blur amount calculation unit 138 acquires information indicating the projection coordinates stored in the projection coordinate storage unit 137, and calculates the superimposed blur amount ⁇ superimposed blur from the projection coordinates.
  • the projection coordinate storage unit 137 stores the projection coordinates of each pixel of each projection image projected from all the projection apparatuses 112. Is remembered. That is, from this information, as shown in FIG. 7A, for example, the positional relationship (for example, the direction and the distance) of the projection coordinates between the projection images superimposed on each other becomes clear. Therefore, the superimposed blur amount calculation unit 138 calculates the superimposed blur amount ⁇ superimposed blur based on the positional relationship of the projection coordinates (the positional relationship of the center of gravity of the pixel aperture).
  • the method for calculating the superimposed blur amount ⁇ superimposed blur is arbitrary.
  • the superimposing blur amount ⁇ superimposing blur may be any parameter as long as it is a parameter indicating the size of the superimposing blur.
  • the projection image projected by the projection device 112-1 and the projection image projected by the projection device 112-2 are superimposed.
  • the pixel value z at the position of the pixel aperture 261-1 (pixel value x 01 ) of the projected image of can be expressed as the following equation (1).
  • ⁇ 0 indicates the ratio of the portion where the pixel opening 261-1 and the pixel opening 251-1 (pixel value x 10 ) overlap with respect to the entire pixel opening 261-1
  • ⁇ 1 Indicates the ratio of the overlapping portion of the pixel aperture 261-1 and the pixel aperture 251-2 (pixel value x 11 ) to the entire pixel aperture 261-1
  • ⁇ 2 is relative to the entire pixel aperture 261-1.
  • [delta] 3 may, for the entire pixel aperture 261-1, pixel aperture 261-1 and pixel aperture 251 ⁇ 3 (pixel x 13 ) indicates the ratio of the overlapping portion.
  • ⁇ 0 to ⁇ 3 can be obtained based on the projection coordinates of both superimposed projection images.
  • the pixel value of each projection image (pixel value not including individual blur) can be obtained from the input image. Therefore, it is possible to obtain the pixel value z (pixel value including only the superimposed blur) of the projection image in the superimposed state by using the model equation as shown in the equation (1).
  • the magnitude of the error between the pixel value z and the pixel value of the input image may be set as the superimposed blur amount ⁇ superimposed blur .
  • the superimposed blur amount calculation unit 138 supplies information indicating the calculated superimposed blur amount ⁇ superimposed blur to the inverse filter design unit 139.
  • step S158 the inverse filter design unit 139 obtains information indicating the superimposed blur amount ⁇ superimposed blur from the superimposed blur amount calculation unit 138.
  • the inverse filter design unit 139 acquires information indicating the individual blur amount ⁇ individual blur stored in the individual blur amount storage unit 135.
  • the individual blur amount storage unit 135 stores the individual blur amount ⁇ of each projection image projected from all the projection devices 112. Information indicating individual blur is stored.
  • the inverse filter design unit 139 convolves the individual blur amount ⁇ individual blur of each projection image superimposed on the superimposed blur amount ⁇ superimposed blur as shown in the following expression (2).
  • the blur amount of the projected image (final blur amount ⁇ final blur ) is obtained.
  • the inverse filter design unit 139 obtains a final blur amount ⁇ final blur for all the pixels in the portion where the projection image is superimposed, and uses the value to calculate the projection image in a state where the input image is superimposed. Design a filter to convert to. That is, the inverse filter design unit 139 generates a filter for each projection device 112.
  • the filter may be designed so that the error between the value obtained by filtering the input image and the projected image of the input image is minimized.
  • the coefficient for one pixel of the filter is w j
  • the pixel value y i of the projection image is used by the blur amount ⁇ k
  • the coefficient w j and the pixel value x kj of the input image the following equation (3)
  • the error ⁇ i (formula (4)) between the pixel value y i and the teacher t i which is the pixel value of the projection image in a state where the projection image projected from each projection device 112 is superimposed is the smallest.
  • the coefficient w j may be obtained by machine learning.
  • the filter may be designed so as to minimize the mean square error of the pixel values between the input image and the projection image.
  • the inverse filter design unit 139 designs and generates an inverse filter for each filter. That is, the inverse filter design unit 139 generates an inverse filter for each projection device 112.
  • This inverse filter design (generation) method is arbitrary. For example, as shown in FIG. 8B, a Wiener filter may be used.
  • the inverse filter design unit 139 supplies the inverse filter to the phase image generation unit 140.
  • step S158 When the process of step S158 is completed, the blur amount calculation process is completed, and the process returns to FIG.
  • the amount of blur can be obtained more accurately, so that it is possible to more accurately suppress individual blur and superimposed blur in a projection image in which a plurality of projection images are superimposed. it can. That is, it is possible to suppress a reduction in subjective image quality of the projected image. Also, by calculating the blur amount as described above, the blur amount can be calculated at a higher speed.
  • the coefficient w for one pixel is obtained at the time of designing the filter.
  • the number of the coefficients w is arbitrary, and may be singular or plural. .
  • an arbitrary number of representative pixels may be set, and the coefficient w may be obtained for each representative pixel.
  • the representative pixel may be set for the entire image or may be set for each partial region of the image.
  • the coefficient w may be obtained for all the pixels of the image.
  • each coefficient w may be calculated using linear programming or the like.
  • Second Embodiment> ⁇ Partial image overlay>
  • the projection positions of the projection images projected from the projection devices 112 may be different from each other. That is, the overlap region where a plurality of projection images are superimposed may not be the entire projection image as in the example of FIG. For example, a partial area of the projection image may be superimposed as in the example of FIG.
  • a projection imaging system 300 shown in FIG. 9 has a configuration similar to that of the projection imaging system 100 in FIG. 1 and performs the same processing.
  • the projection device 112-1 performs projection.
  • the overlap region between the projected image and the projected image projected by the projection device 112-2 is a part of the projected image.
  • the projection image projected by the projection device 112-1 is projected onto a range 311 of the screen 120.
  • the projection image projected by the projection device 112-2 is projected onto the range 312 of the screen 120. Therefore, the overlap region is a range 313 where the range 311 and the range 312 overlap. That is, only a part of the projected image projected by these projection devices 112 is superimposed. By doing so, for example, the image size can be increased while suppressing a reduction in the image quality of the projected image.
  • the imaging device 113 may capture the entire overlap area. Therefore, as in the example of FIG. 9, the imaging device 113 may capture the range 314 including the range 311 and the range 312.
  • the present technology can also be applied to such a projection imaging system 300. That is, similarly to the case described in the first embodiment, the projection imaging system 300 can more accurately suppress the individual blur and the superimposed blur in the overlap region. That is, it is possible to suppress a reduction in subjective image quality of the projected image. Also, by calculating the blur amount as described above, the blur amount can be calculated at a higher speed.
  • the phase image generation unit 140 generates a phase image for the overlap region of the projection image. That is, in the first embodiment, the phase image generation unit 140 has been described as generating a phase image for the entire input image. However, in this case, the phase image generation unit 140 is generated by the inverse filter generation unit 139. Using the generated inverse filter, a part of the input image is transformed to generate a phase image for the part of the input image.
  • the phase image generation unit 140 may omit the generation of the phase image for regions other than the overlap region of the projection image. That is, the input image may be projected in a region other than the overlap region of the projection image.
  • the phase image generation unit 140 may perform image processing so as to suppress only individual blur for regions other than the overlap region of the projected image. By doing in this way, the amount of image processing can be reduced and an increase in load and cost can be suppressed.
  • the inverse filter design unit 139 designs a filter using only the individual blur amount to generate the inverse filter, and the phase image generation unit 140 uses the inverse filter to generate the projection image. You may make it produce
  • the projection position of each pixel of each projection image projected from each projection device 112 may be shifted. For example, by shifting the projection position of each projection image by a half pixel, it is possible to increase the resolution of the projection image in a state where a plurality of projection images are superimposed. Thus, in a state where each projection image is projected at a correct position, the present technology can be applied even when the projection coordinates of each pixel in the overlap region do not coincide with each other between the projection images.
  • a projection imaging system 400 shown in FIG. 10 is the same system as the projection imaging system 100, but includes an image processing device 111, projection devices 412-1 to 412-4, and an imaging device 113.
  • the projection devices 412-1 to 412-4 will be referred to as the projection devices 412 when there is no need to distinguish them from each other.
  • the resolution of the input image input to the image processing device 111 is so-called 8K (7680 pixels ⁇ 4320 pixels).
  • the projection device 412 has the same configuration as the projection device 112 and performs the same processing.
  • the projection device 412 can project an image with a resolution of so-called 4K (3840 pixels ⁇ 2160 pixels). Therefore, the image processing apparatus 111 generates a phase image with a resolution of 4K from an input image with a resolution of 8K, and supplies it to the projection apparatus 412.
  • the four projectors 412 project an image with a resolution of 4K onto the range 421 of the screen 120.
  • each projection device 412 projects an image on the screen 120 at a position shifted by half a pixel from each other in the vertical or horizontal direction.
  • a projected image with a resolution of 8K is projected at a position in the range 421 of the screen 120.
  • the imaging device 113 may capture the entire overlap area. Therefore, the imaging device 113 images the range 422 including the range 421.
  • the projection imaging system 400 can project an image with an 8K resolution without substantially changing the image size, using the projection device 412 that projects an image with a 4K resolution. That is, the projection imaging system 400 can project an image on the input image without reducing the resolution of the projection image by using a plurality of projection devices that project an image having a lower resolution than the input image. In other words, by using a plurality of projection apparatuses, the projection imaging system 400 can perform image projection so that the resolution of the projection image is higher than the resolution that the projection apparatus can project. . That is, since a lower-performance projection device can be used, an increase in cost can be suppressed (more inexpensive and an increase in power consumption can be suppressed).
  • the present technology can also be applied to such a projection imaging system 400. That is, similarly to the case described in the first embodiment, the projection imaging system 400 can more accurately suppress individual blur and superimposed blur in the overlap region. That is, it is possible to suppress a reduction in subjective image quality of the projected image. Also, by calculating the blur amount as described above, the blur amount can be calculated at a higher speed.
  • the configuration of the projection imaging system 100 to which the present technology is applied is not limited to the examples of FIGS. 1, 9, and 10 described above.
  • the number of the image processing device 111, the projection device 112, and the imaging device 113 is arbitrary and may be plural.
  • the specifications (for example, resolution, brightness, frame rate, etc.) of each projection device 112 may or may not all be the same.
  • the apparatuses of the projection imaging system 100 may be connected to each other via a network 501.
  • This network 501 is an arbitrary communication network.
  • a communication method employed in the network 501 is arbitrary. For example, wired communication, wireless communication, or both of them may be used.
  • the network 501 may be configured by a single communication network or may be configured by a plurality of communication networks.
  • the network 501 may include a communication network or a communication path of an arbitrary communication standard such as a wired communication network complying with the standard.
  • Each device is communicably connected to this network 501.
  • this connection may be wired (that is, connection via wired communication), wireless (that is, connection via wireless communication), or both.
  • Each device can communicate with each other (transfer and receive information) via the network 501.
  • each device may be connected to be communicable with each other via another facility (device, transmission line, etc.).
  • the projection imaging system 100 can apply the present technology in the same manner as in the other embodiments described above, and can achieve the above-described effects.
  • the projection device 112 and the imaging device 113 may be integrated to form a single device.
  • the projection imaging system 100 includes a projection imaging device 510 instead of the projection device 112 and the imaging device 113.
  • the projection imaging device 510 is a device that performs processing related to image projection and imaging, and includes a projection unit 512-1, a projection unit 512-2, and an imaging unit 513.
  • the projection unit 512-1 and the projection unit 512-2 are processing units that perform processing relating to image projection, and each have the same configuration as the projection device 112 and perform similar processing. Note that the projection unit 512-1 and the projection unit 512-2 are referred to as the projection unit 512 when it is not necessary to distinguish between them.
  • the imaging unit 513 is a processing unit that performs processing related to imaging, has the same configuration as the imaging device 113, and performs the same processing. As shown in FIG. 12, the projection imaging device 510 is also connected to the image processing device 111.
  • the image processing device 111 converts the input image based on the captured image captured by the imaging unit 513, and generates a phase image so as to reduce individual blur and superimposed blur in the projection image.
  • the projection unit 512 projects the phase image. Therefore, even in such a configuration, the projection imaging system 100 can apply the present technology and can achieve the above-described effects.
  • the projection device 112 may be integrated into one device, and the imaging device 113 may be a separate device. Further, only a part of the projection devices 112 may be integrated, and the other projection devices 112 and the imaging devices 113 may be different devices.
  • the image processing apparatus may be integrated.
  • the image processing apparatus 111 and the projection apparatus 112 may be integrated and configured as one apparatus.
  • the projection imaging system 100 includes a projection device 530 instead of the image processing device 111 and the projection device 112-1.
  • the projection device 530 includes an image processing unit 531 and a projection unit 512.
  • the image processing unit 531 is a processing unit that performs processing related to image processing on an input image, has the same configuration as the image processing apparatus 111, and performs the same processing.
  • the projection device 112 and the imaging device 113 are connected to the image processing unit 531 in the same manner as being connected to the image processing device 111.
  • the image processing unit 531 converts the input image based on the captured image captured by the imaging device 113, and generates a phase image so as to reduce individual blur and superimposed blur in the projection image.
  • the projection unit 512 and the projection device 112 project the phase image. Therefore, even in such a configuration, the projection imaging system 100 can apply the present technology and can achieve the above-described effects.
  • the image processing apparatus 111 and the plurality of projection apparatuses 112 may be integrated into one apparatus. Further, the image processing apparatus 111 and all the projection apparatuses 112 may be integrated into one apparatus. Further, the image processing device 111 and the imaging device 113 may be integrated into one device.
  • the projection imaging system 100 includes a projection imaging device 540 instead of the image processing device 111, the projection device 112, and the imaging device 113.
  • the projection imaging device 540 includes an image processing unit 531, a projection unit 512-1, a projection unit 512-2, and an imaging unit 513.
  • the image processing unit 531 converts the input image based on the captured image captured by the imaging unit 513, and generates a phase image so as to reduce individual blur and superimposed blur in the projection image.
  • the projection unit 512 projects the phase image. Therefore, even in such a configuration, the projection imaging system 100 can apply the present technology and can achieve the above-described effects.
  • each device of the projection imaging system 100 is not limited to the above-described example, and can be integrated into one device in any combination. Note that, in the case of the projection imaging system 300 and the projection imaging system 400 as well, any configuration can be adopted as in the case of the projection imaging system 100 described above.
  • the present technology has been described above using a projection imaging system.
  • the present technology is an arbitrary configuration having an image display function, such as an image display device or an image display system, or an arbitrary configuration that performs processing for image display Can be applied to.
  • the present technology can also be applied to systems and devices used for viewing.
  • the present technology can be applied to a system or a device provided for traffic management.
  • the present technology can also be applied to a system or device used for security.
  • the present technology can be applied to a system or a device provided for sports.
  • the present technology can also be applied to a system or a device provided for agriculture.
  • the present technology can also be applied to a system or device used for livestock industry.
  • the present technology can also be applied to systems and devices that monitor natural conditions such as volcanoes, forests, and oceans.
  • the present technology can be applied to, for example, a weather observation system or a weather observation apparatus that observes weather, temperature, humidity, wind speed, sunshine duration, and the like.
  • the present technology can also be applied to systems and devices for observing the ecology of wildlife such as birds, fish, reptiles, amphibians, mammals, insects, and plants.
  • the series of processes described above can be executed by hardware or can be executed by software. Also, some processes can be executed by hardware, and other processes can be executed by software.
  • a program constituting the software is installed in the computer.
  • the computer includes, for example, a general-purpose personal computer that can execute various functions by installing a computer incorporated in dedicated hardware and various programs.
  • FIG. 15 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • An input / output interface 910 is also connected to the bus 904.
  • An input unit 911, an output unit 912, a storage unit 913, a communication unit 914, and a drive 915 are connected to the input / output interface 910.
  • the input unit 911 includes, for example, a keyboard, a mouse, a microphone, a touch panel, an input terminal, and the like.
  • the output unit 912 includes, for example, a display, a speaker, an output terminal, and the like.
  • the storage unit 913 includes, for example, a hard disk, a RAM disk, a nonvolatile memory, and the like.
  • the communication unit 914 includes a network interface, for example.
  • the drive 915 drives a removable medium 921 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 901 loads the program stored in the storage unit 913 into the RAM 903 via the input / output interface 910 and the bus 904 and executes the program, for example. Is performed.
  • the RAM 903 also appropriately stores data necessary for the CPU 901 to execute various processes.
  • the program executed by the computer can be recorded and applied to, for example, a removable medium 921 as a package medium or the like.
  • the program can be installed in the storage unit 913 via the input / output interface 910 by attaching the removable medium 921 to the drive 915.
  • This program can also be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be received by the communication unit 914 and installed in the storage unit 913.
  • this program can be installed in the ROM 902 or the storage unit 913 in advance.
  • Embodiments of the present technology are not limited to the above-described embodiments, and various modifications can be made without departing from the gist of the present technology.
  • the present technology may be applied to any configuration that constitutes an apparatus or system, for example, a processor as a system LSI (Large Scale Integration), a module that uses a plurality of processors, a unit that uses a plurality of modules, etc. It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • a processor as a system LSI (Large Scale Integration)
  • a module that uses a plurality of processors
  • a unit that uses a plurality of modules etc.
  • It can also be implemented as a set or the like to which functions are added (that is, a partial configuration of the apparatus).
  • the system means a set of a plurality of constituent elements (devices, modules (parts), etc.), and it does not matter whether all the constituent elements are in the same casing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the above-described processing unit may be realized by any configuration as long as it has the function described for the processing unit.
  • the processing unit may be configured by an arbitrary circuit, LSI, system LSI, processor, module, unit, set, device, apparatus, system, or the like. A plurality of them may be combined.
  • the same type of configuration such as a plurality of circuits and a plurality of processors may be combined, or different types of configurations such as a circuit and an LSI may be combined.
  • the configuration described as one device (or processing unit) may be divided and configured as a plurality of devices (or processing units).
  • the configurations described above as a plurality of devices (or processing units) may be combined into a single device (or processing unit).
  • a configuration other than that described above may be added to the configuration of each device (or each processing unit).
  • a part of the configuration of a certain device (or processing unit) may be included in the configuration of another device (or other processing unit). .
  • the present technology can take a configuration of cloud computing in which one function is shared and processed by a plurality of devices via a network.
  • the above-described program can be executed in an arbitrary device.
  • the device may have necessary functions (functional blocks and the like) so that necessary information can be obtained.
  • each step described in the above flowchart can be executed by one device or can be executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a plurality of processes included in one step can be executed as a process of a plurality of steps.
  • the processing described as a plurality of steps can be collectively executed as one step.
  • the program executed by the computer may be such that the processing of steps describing the program is executed in time series in the order described in this specification, or in parallel or when a call is made. It may be executed individually at the required timing. That is, as long as no contradiction occurs, the processing of each step may be executed in an order different from the order described above. Furthermore, the processing of the steps describing this program may be executed in parallel with the processing of other programs, or may be executed in combination with the processing of other programs.
  • this technique can also take the following structures.
  • An individual blur amount indicating the size of optical blur generated in each projection image projected from each of a plurality of projection units and a size of optical blur generated by superimposing the plurality of projection images
  • An inverse filter generation unit that generates an inverse filter of a filter that converts an input image projected by the plurality of projection units into a projection image projected by the plurality of projection units based on the amount of superimposing blur
  • An image processing apparatus comprising: a phase image generation unit that converts the input image using the inverse filter generated by the inverse filter generation unit to generate a phase image.
  • the inverse filter generation unit generates the filter so that an error between a value obtained by filtering the input image and a projection image of the input image is minimized, and the generated filter is used.
  • the image processing device according to (2), wherein the inverse filter generation unit generates a Wiener filter as the inverse filter.
  • the image processing device according to any one of (1) to (4), wherein the inverse filter generation unit generates the inverse filter for all pixels of the input image.
  • the image processing device according to any one of (1) to (6), wherein the phase image generation unit generates the phase image for each projection unit.
  • the phase image generation unit converts the entire input image using the inverse filter generated by the inverse filter generation unit, and generates the phase image for the entire input image.
  • the image processing apparatus according to any one of (9)
  • the phase image generation unit converts a part of the input image using the inverse filter generated by the inverse filter generation unit, and generates the phase image for the part of the input image.
  • the image processing device according to any one of (7) to (7).
  • the image processing device further includes: an individual blur amount calculation unit that calculates the individual blur amount based on a captured image obtained by capturing each projection image projected from each of the plurality of projection units (1) to (11) An image processing apparatus according to 1. (13) The individual blur amount calculation unit projects a test image from each of the plurality of projection units, and PSF (Point Spread Function) is used as the individual blur amount for the test image in the captured image obtained by capturing the projection image.
  • PSF Point Spread Function
  • the image processing apparatus further includes: a superimposed blur amount calculation unit that calculates the superimposed blur amount based on a captured image obtained by capturing each projection image projected from each of the plurality of projection units.
  • the superimposed blur amount calculation unit obtains the projection coordinates of each pixel of the projection image from the captured image, and calculates a superimposed blur amount from the projection coordinates for a portion where a plurality of projection images are superimposed.
  • the image processing apparatus according to any one of (1) to (15), further including an imaging unit that captures each projection image projected from each of the plurality of projection units.
  • the image processing device according to any one of (1) to (16), further including the plurality of projection units that project an image.
  • 100 projection imaging system 111 image processing device, 112 projection device, 113 imaging device, 120 screen, 131 test image storage unit, 132 projection control unit, 133 imaging control unit, 134 individual blur amount calculation unit, 135 individual blur amount storage unit , 136 Projected coordinate specifying unit, 137 Projected coordinate storage unit, 138 Superimposed blur amount calculating unit, 139 Inverse filter design unit, 140 Phase image generating unit, 300 Projected imaging system, 400 Projected imaging system, 412 Projecting device, 501 Network, 510 Projection imaging device, 512 projection unit, 513 imaging unit, 530 projection device, 531 image processing unit, 540 projection imaging device, 900 computer

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

本開示は、主観画質の低減を抑制することができるようにする画像処理装置および方法に関する。 複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、複数の投影部が投影する入力画像を複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成し、生成された逆フィルタを用いて入力画像を変換して位相画像を生成する。本開示は、例えば、画像処理装置、画像投影装置、制御装置、情報処理装置、投影撮像システム、画像処理方法、またはプログラム等に適用することができる。

Description

画像処理装置および方法
　本開示は、画像処理装置および方法に関し、特に、主観画質の低減を抑制することができるようにした画像処理装置および方法に関する。
　従来、プロジェクタを複数台用いることで、1台のプロジェクタに比べて、大画面の投影を実現する映像表示系や、投影像の明るさ/解像感等の向上を図る映像表示系がある。このような映像表示系においては、プロジェクタの投影領域において、複数のプロジェクタの映像が重畳されて投影される、いわゆるオーバーラップ領域が存在する。オーバーラップ領域における投影画像には、複数プロジェクタの投影像間の位置合わせずれが原因となり、ボケ（重畳ボケ）が発生する場合があった。
　このような重畳ボケを抑制するために、例えば、投影される重畳画像と入力画像をフィードバックループを用いて、両者の差分が最小となるよう補正を調整する方法が考えられた（例えば、特許文献１参照）。
　また、１枚の投影画像においてもボケ（個別ボケ）が発生する場合があった。例えば、画像が投影される投影面においてプロジェクタからの光が拡散反射することによるボケや、投影面の奥行変化によるボケ（所謂焦点ボケ）や、プロジェクタのレンズや光源に起因する光学的なボケ等が生じる場合があった。このような個別ボケを抑制するために、例えば、投影時の個別ボケをカメラを用いてPSF推定し、求めたボケ量を用いて逆フィルタを設計、そのフィルタをかけた入力画像を投影する方法が考えられた（例えば、非特許文献１参照）。
特開２００９－８９７４号公報
M. S. Brown, P. Song and T.-J. Cham: "Image preconditioning for out-of-focus projector blur", Proceedings of the 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition(CVPR'06), pp. 1956-1963 (2006).
　しかしながら、投影画像のオーバラップ領域においては、一般的に、上述の重畳ボケと個別ボケの両方が発生する場合が多い。特許文献１に記載の方法では、フィードバックループ処理が行われるため補正が収束するまでに長時間かかり、ずれた場合などに対応することが困難であった。また結果が真値に収束しない場合もあり得る。例えば処理時間を抑制しようとすると最適解に収束しない可能性が増大するおそれがあった。また、非特許文献１に記載の方法では、重畳ボケを抑制することは困難であった。
　本開示は、このような状況に鑑みてなされたものであり、主観画質の低減を抑制することができるようにするものである。
　本技術の一側面の画像処理装置は、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成する逆フィルタ生成部と、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する位相画像生成部とを備える画像処理装置である。
　前記逆フィルタ生成部は、前記入力画像にフィルタをかけた値と、前記入力画像の投影画像との誤差が最小となるように前記フィルタを生成し、生成された前記フィルタを用いて前記逆フィルタを生成することができる。
　前記逆フィルタ生成部は、ウィナーフィルタを前記逆フィルタとして生成することができる。
　前記逆フィルタ生成部は、前記投影部毎に前記逆フィルタを生成することができる。
　前記逆フィルタ生成部は、前記入力画像の代表画素について、前記逆フィルタを生成することができる。
　前記逆フィルタ生成部は、前記入力画像の全画素について、前記逆フィルタを生成することができる。
　前記位相画像生成部は、前記投影部毎に前記位相画像を生成することができる。
　前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像全体を変換し、前記入力画像全体についての前記位相画像を生成することができる。
　前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の一部分を変換し、前記入力画像の一部分についての前記位相画像を生成することができる。
　前記位相画像生成部は、前記入力画像のその他の部分の変換を省略することができる。
　前記位相画像生成部は、前記入力画像のその他の部分に対して、前記個別ボケ量を低減させるように変換を行うことができる。
　前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記個別ボケ量を算出する個別ボケ量算出部をさらに備えるようにすることができる。
　前記個別ボケ量算出部は、前記複数の投影部のそれぞれからテスト画像を投影し、その投影画像を撮像した撮像画像における前記テスト画像についてPSF（Point Spread Function）を前記個別ボケ量として算出することができる。
　前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記重畳ボケ量を算出する重畳ボケ量算出部をさらに備えるようにすることができる。
　前記重畳ボケ量算出部は、前記撮像画像より投影画像の各画素の投影座標を求め、複数の投影画像が重畳する部分について、前記投影座標から重畳ボケ量を算出することができる。
　前記複数の投影部のそれぞれから投影された各投影画像を撮像する撮像部をさらに備えるようにすることができる。
　画像を投影する前記複数の投影部をさらに備えるようにすることができる。
　前記複数の投影部は、前記位相画像生成部により生成された前記位相画像を投影することができる。
　前記複数の投影部は、前記投影画像が各投影部が投影する画像よりも高解像度の画像となるように、画像を互いにずれた位置に投影することができる。
　本技術の一側面の画像処理方法は、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成し、生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する画像処理方法である。
　本技術の一側面の画像処理装置および方法においては、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、複数の投影部が投影する入力画像を複数の投影部により投影された投影画像に変換するフィルタの逆フィルタが生成され、生成された逆フィルタを用いて入力画像が変換されて位相画像が生成される。
　本開示によれば、画像を処理することができる。特に、主観画質の低減を抑制することができる。
投影撮像システムの主な構成例を示すブロック図である。 画像処理装置の主な構成例を示すブロック図である。 投影処理の流れの例を説明するフローチャートである。 ボケ量算出処理の流れの例を説明するフローチャートである。 テスト画像の例を説明するための図である。 個別ボケ量算出の様子の例を説明するための図である。 重畳ボケ量算出の様子の例を説明するための図である。 逆フィルタ設計の様子の例を説明するための図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 投影撮像システムの主な構成例を示すブロック図である。 コンピュータの主な構成例を示すブロック図である。
　以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
　１．投影画像に発生するボケとその対策
　２．第１の実施の形態（投影撮像システム・投影画像全体重畳）
　３．第２の実施の形態（投影撮像システム・投影画像一部重畳）
　４．第３の実施の形態（投影撮像システム・投影画像高解像度化）
　５．第４の実施の形態（投影撮像システム・他の構成例）
　６．その他
　＜１．投影画像に発生するボケとその対策＞
　　＜光学ボケによる投影画像の主観画質の低減＞
　従来、プロジェクタが投影した投影画像においては、光学的に画像がぼける現象（はっきりしなくなる現象）である光学ボケが生じる場合があった。
　例えば、プロジェクタを複数台用いることで、１台のプロジェクタに比べて、大画面の投影を実現する映像表示系や、投影像の明るさ/解像感等の向上を図る映像表示系がある。このような映像表示系においては、プロジェクタの投影領域において、複数のプロジェクタの映像が重畳されて投影される、いわゆるオーバーラップ領域が存在する。オーバーラップ領域における投影画像には、複数プロジェクタの投影像間の位置合わせずれが原因となる光学ボケ（重畳ボケとも称する）が発生する場合があった。
　また、重畳される各投影画像においても光学ボケ（個別ボケとも称する）が発生する場合があった。例えば、画像が投影される投影面においてプロジェクタからの光が拡散反射することによるボケや、投影面の奥行変化によるボケ（所謂焦点ボケ）や、プロジェクタのレンズや光源に起因するボケ等が生じる場合があった。
　一般的に、投影画像のオーバラップ領域においては、上述の重畳ボケと各投影画像の個別ボケの両方が発生する場合が多い。投影画像にこのような光学ボケが生じることにより、投影画像の主観画質が低減するおそれがあった。
　個別ボケを抑制する方法として、例えば、非特許文献１には、投影時の個別ボケをカメラを用いてPSF（Point Spread Function）を推定し、求めたボケ量を用いて逆フィルタを設計し、そのフィルタをかけた入力画像を投影する方法が記載されている。
　しかしながら、この方法では、オーバーラップ領域における光学ボケを抑制することは困難であった。例えば、オーバーラップ領域においては、複数の投影画像が重畳されているため、それぞれの投影画像の個別ボケも重畳されている。各投影画像の個別ボケのぼけ方は互いに独立しており、一般的には、オーバーラップ領域を構成する各投影画像の個別ボケのぼけ方は互いに異なる場合が多い。そのため、個別ボケを抑制するためには、投影画像毎にPSFを推定する必要がある。しかしながら非特許文献１に記載の方法では、投影画像の重畳について考慮されていないため、各投影画像の位置関係（どのように重なっているか）を把握することができない。そのため、非特許文献１に記載の方法では、このような重畳された状態の投影画像の画素のPSFしか観測することができない。したがって、非特許文献１に記載の方法では、各投影画像の個別ボケの様子を正しく求めることができず、結果として、個別ボケを十分に抑制することができなかったり、リンギングやジャギ等といった過補正による他の画質劣化の要因を生じさせたりしてしまうおそれがあった。また、非特許文献１に記載の方法では、各投影画像の位置関係を把握することができないのであるから、当然、重畳ボケも抑制することは困難であった。
　重畳ボケや個別ボケを抑制する方法として、例えば、特許文献１には、投影される重畳画像と入力画像をフィードバックループを用いて、両者の差分が最小となるよう補正を調整する方法が記載されている。しかしながら、この方法では、フィードバックループ処理が行われるため補正が収束するまでに長時間かかり、ずれた場合などに対応することが困難であった。また結果が真値に収束しない場合もあり得る。例えば処理時間を抑制しようとすると最適解に収束しない可能性が増大するおそれがあった。
　したがって、仮に特許文献１に記載の方法と非特許文献１に記載の方法とを組み合わせたとしてもオーバーラップ領域の光学ボケを十分に抑制することは困難であった。以上のように、これらの方法では、投影画像に光学ボケが残ったり、その他の画質劣化の要因が生じたりする等して、投影画像の主観画質が低減するおそれがあった。
　　＜個別ボケと重畳ボケの抑制＞
　そこで、複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、複数の投影部が投影する入力画像を複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成し、生成された逆フィルタを用いて入力画像を変換して位相画像を生成するようにする。
　＜２．第１の実施の形態＞
　　＜投影撮像システム＞
　図１は、本技術を適用した投影撮像システムの一実施の形態の主な構成例を示すブロック図である。図１において、投影撮像システム１００は、画像を投影したり、投影画像を撮像したり、本技術を適用した方法で、光学ボケを抑制するための画像処理を行ったりすることができるシステムである。
　図１に示されるように、投影撮像システム１００は、画像処理装置１１１、投影装置１１２－１、投影装置１１２－２、および撮像装置１１３を有する。画像処理装置１１１は、投影装置１１２－１、投影装置１１２－２、および撮像装置１１３とそれぞれ通信可能に接続されている。この接続は、有線通信によるものであってもよいし、無線通信によるものであってもよい。つまり、例えばケーブル等を用いて物理的に接続されていてもよいし、物理的には離れていてもよい。なお、投影装置１１２－１と投影装置１１２－２とを互いに区別して説明する必要がない場合、投影装置１１２と称する。
　画像処理装置１１１は、投影撮像システム１００に入力される投影対象の入力画像に対する画像処理に関する処理を行う。例えば、画像処理装置１１１は、入力画像に対して、投影画像に生じる光学ボケを抑制するための画像処理を行い、各投影装置１１２用の位相画像を生成し、それらをそれぞれに対応する投影装置１１２に供給する。
　投影装置１１２は、画像の投影に関する処理を行う。例えば、投影装置１１２は、画像処理装置１１１から供給される画像をスクリーン１２０に投影する。例えば、投影装置１１２－１および投影装置１１２－２は、ともに、スクリーン１２０の範囲１２１に画像を投影する。
　撮像装置１１３は、被写体の撮像に関する処理を行う。例えば、撮像装置１１３は、スクリーン１２０の範囲１２２を撮像する。つまり、撮像装置１１３は、スクリーン１２０に投影された投影画像を撮像する。なお、図１に示されるように、範囲１２２は、範囲１２１を全て含む。つまり、撮像装置１１３は、スクリーン１２０の、複数の投影装置１１２から投影された投影画像同士のオーバーラップ領域全体が投影される範囲を含む範囲を撮像する。撮像装置１１３は、その撮像により得られた撮像画像を画像処理装置１１１に供給する。画像処理装置１１１は、その撮像画像に基づいて、上述の画像処理を行う。
　なお、スクリーン１２０は、投影装置１１２が画像を投影する対象の一例であり、画像投影の対象はこのスクリーン１２０に限定されない。つまり、投影装置１１２は任意の対象に対して画像を投影することができ、撮像装置１１３も、その対象に投影された投影画像を撮像することができる。
　　＜画像処理装置の構成＞
　図２は、図１の画像処理装置１１１の主な構成例を示すブロック図である。図２に示されるように、画像処理装置１１１は、テスト画像記憶部１３１、投影制御部１３２、撮像制御部１３３、個別ボケ量算出部１３４、個別ボケ量記憶部１３５、投影座標特定部１３６、投影座標記憶部１３７、重畳ボケ量算出部１３８、逆フィルタ設計部１３９、および位相画像生成部１４０を有する。
　テスト画像記憶部１３１は、例えばハードディスクや半導体メモリ等の任意の記録媒体を有し、光学ボケを抑制するために利用される所定の絵柄の画像であるテスト画像をその記録媒体に記憶している。テスト画像記憶部１３１は、任意のタイミングにおいて、または、例えば投影制御部１３２等の外部からの要求に基づいて、そのテスト画像を投影制御部１３２に供給する。
　投影制御部１３２は、投影装置１１２の制御に関する処理を行う。例えば、投影制御部１３２は、テスト画像記憶部１３１から供給されるテスト画像や、位相画像生成部１４０から供給される入力画像や位相画像を投影装置１１２－１や投影装置１１２－２に供給する。また、投影制御部１３２は、投影装置１１２－１や投影装置１１２－２を制御し、供給した画像を投影させる。
　撮像制御部１３３は、撮像装置１１３の制御に関する処理を行う。例えば、撮像制御部１３３は、撮像装置１１３を制御し、被写体（例えば画像が投影されたスクリーン１２０）を撮像させ、得られた撮像画像を取得する。また、撮像制御部１３３は、その取得した撮像画像を個別ボケ量算出部１３４や投影座標特定部１３６に供給する。
　個別ボケ量算出部１３４は、各投影装置１１２から投影される各投影画像において発生する個別ボケの大きさを示す個別ボケ量の算出に関する処理を行う。例えば、個別ボケ量算出部１３４は、撮像制御部１３３から、投影装置１１２－１により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－１により投影された投影画像の個別ボケ量を算出する。同様に、個別ボケ量算出部１３４は、撮像制御部１３３から、投影装置１１２－２により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－２により投影された投影画像の個別ボケ量を算出する。個別ボケ量算出部１３４は、算出した個別ボケ量を示す情報を個別ボケ量記憶部１３５に供給する。
　個別ボケ量記憶部１３５は、例えばハードディスクや半導体メモリ等の任意の記録媒体を有し、個別ボケ量算出部１３４より供給される個別ボケ量を示す情報を記憶する。また、個別ボケ量記憶部１３５は、所定のタイミングにおいて、または、例えば逆フィルタ設計部１３９等の外部からの要求に応じて、記憶している個別ボケ量を示す情報を逆フィルタ設計部１３９に供給する。
　投影座標特定部１３６は、各投影装置１１２から投影された各投影画像の位置（投影座標とも称する）の特定に関する処理を行う。例えば、投影座標特定部１３６は、撮像制御部１３３から、投影装置１１２－１により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－１により投影された投影画像の投影座標を特定する。同様に、投影座標特定部１３６は、撮像制御部１３３から、投影装置１１２－２により投影された投影画像を撮像した撮像画像を取得し、その撮像画像に基づいて、投影装置１１２－２により投影された投影画像の投影座標を特定する。投影座標特定部１３６は、特定した投影座標を示す情報を、投影座標記憶部１３７に供給する。
　投影座標記憶部１３７、例えばハードディスクや半導体メモリ等の任意の記録媒体を有し、投影座標特定部１３６より供給される投影座標を示す情報を記憶する。また、投影座標記憶部１３７は、所定のタイミングにおいて、または、例えば重畳ボケ量算出部１３８等の外部からの要求に応じて、記憶している投影座標を示す情報を重畳ボケ量算出部１３８に供給する。
　重畳ボケ量算出部１３８は、複数の投影画像が重畳することにより発生する光学ボケである重畳ボケの大きさを示す重畳ボケ量の算出に関する処理を行う。例えば、重畳ボケ量算出部１３８は、投影座標記憶部１３７から投影座標を示す情報を取得し、その情報に基づいて、重畳ボケ量を算出する。また、重畳ボケ量算出部１３８は、算出した重畳ボケ量を示す情報を逆フィルタ設計部１３９に供給する。
　逆フィルタ設計部１３９は、各投影装置１１２が投影する各入力画像を各投影装置１１２からスクリーン１２０投影された投影画像に変換するフィルタの逆フィルタの生成に関する処理を行う。逆フィルタとは、その逆フィルタをかけることにより、その逆フィルタに対応するフィルタをかけることにより行われる変換の逆変換が行われるフィルタである。すなわち、逆フィルタをかけることにより、フィルタによる影響を相殺することができる。例えば、逆フィルタ設計部１３９は、重畳ボケ量算出部１３８より重畳ボケ量を示す情報を取得し、また、個別ボケ量記憶部１３５より個別ボケ量を示す情報を取得し、それらの情報に基づいて、入力画像を投影画像に変換するフィルタを設計して生成し、そのフィルタの逆フィルタを設計して生成する。逆フィルタ設計部１３９は、投影装置１１２毎に逆フィルタを生成する。また、逆フィルタ設計部１３９は、生成した逆フィルタを位相画像生成部１４０に供給する。
　位相画像生成部１４０は、位相画像の生成に関する処理を行う。位相画像は、入力画像に逆フィルタ設計部１３９において生成された逆フィルタをかけて得られる画像である。つまり、位相画像は、入力画像と投影画像との差分を低減するように入力画像の画素値が補正された画像である。例えば、位相画像生成部１４０は、逆フィルタ設計部１３９より逆フィルタを取得し、その逆フィルタを用いて入力画像を変換して、位相画像を生成する。位相画像生成部１４０は、生成した位相画像を投影制御部１３２に供給し、投影装置１１２より投影させる。上述のように、位相画像は、入力画像とその投影画像との差分（すなわち、入力画像から投影画像への変化）を相殺するように補正されているので、位相画像の投影画像は、より入力画像に近くなる。つまり、このように入力画像の代わりに位相画像を投影装置１１２に投影させることにより、入力画像と投影画像との差分を低減させることができる。つまり、投影画像における個別ボケや重畳ボケを抑制することができる。位相画像生成部１４０は、投影装置１１２毎に位相画像を生成する。
　なお、位相画像生成部１４０は、入力画像を補正せずに、投影制御部１３２に供給し、投影装置１１２より投影させることもできる。
　　＜投影処理の流れ＞
　投影撮像システム１００は、投影処理を実行して画像の投影を行う。この投影処理の流れの例を、図３のフローチャートを参照して説明する。
　投影処理が開始されると、画像処理装置１１１は、ステップＳ１０１において、ボケ量算出処理を行い、投影画像に発生する光学ボケのボケ量を算出する。ステップＳ１０２において、画像処理装置１１１の位相画像生成部１４０は、入力画像に対して、その入力画像を投影する投影装置１１２用の逆フィルタをかけて、その入力画像全体に対応する位相画像を生成する。ステップＳ１０３において、投影装置１１２は、ステップＳ１０２において生成された、自身に対応する位相画像を取得し、投影する。
　例えば、位相画像生成部１４０は、投影装置１１２－１から投影する入力画像に対して、投影装置１１２－１用の逆フィルタをかけて位相画像に変換し、投影制御部１３２を介して、その位相画像を投影装置１１２－１に供給する。また、位相画像生成部１４０は、投影装置１１２－２から投影する入力画像に対して、投影装置１１２－２用の逆フィルタをかけて位相画像に変換し、投影制御部１３２を介して、その位相画像を投影装置１１２－２に供給する。各投影装置１１２は、投影制御部１３２に制御されて、自身に供給された位相画像を投影する。
　なお、各投影装置１１２に対応する入力画像は、投影撮像システム１００に入力される動画像の、互いに同一のフレームの画像であってもよいし、互いに異なるフレームの画像であってもよい。
　ステップＳ１０４において、投影制御部１３２は、投影を終了するか否かを判定する。未処理の入力画像が存在し、投影を終了しないと判定された場合、処理はステップＳ１０２に戻り、それ以降の処理を繰り返す。つまり、ステップＳ１０２乃至ステップＳ１０４の各処理が、各入力画像に対して実行される。そして、ステップＳ１０４において、全ての入力画像が処理される等して、投影を終了すると判定された場合、投影処理が終了する。
　　＜ボケ量算出処理の流れ＞
　次に、図４のフローチャートを参照して、図３のステップＳ１０１において実行されるボケ量算出処理の流れの例を説明する。
　ボケ量算出処理が開始されると、投影制御部１３２は、ステップＳ１５１において、未処理の投影装置１１２の中から、処理対象とする投影装置１１２（カレント投影装置とも称する）を選択する。ステップＳ１５２において、投影制御部１３２は、テスト画像記憶部１３１に記憶されているテスト画像を読み出し、それをカレント投影装置１１２に供給し、そのカレント投影装置１１２を制御して、供給したテスト画像を投影させる。カレント投影装置１１２は、その制御に従って、供給されたテスト画像をスクリーン１２０に投影する。
　図５にテスト画像の例を示す。図５の例の場合、テスト画像２１０には、ドットパタン２１１が所定の間隔で画像全体に描画されている。勿論、テスト画像の内容（絵柄、明るさ、色、模様等）は、個別ボケ量の算出や投影座標の特定等が可能なものであれば、どのようなものであってもよい。
　ステップＳ１５３において、撮像制御部１３３は、撮像装置１１３を制御し、スクリーン１２０に投影されたテスト画像の投影画像を撮像させる。撮像装置１１３は、その制御に従ってその投影画像を撮像し、その撮像画像を撮像制御部１３３に供給する。撮像制御部１３３は、供給された撮像画像を個別ボケ量算出部１３４および投影座標特定部１３６に供給する。
　ステップＳ１５４において、個別ボケ量算出部１３４は、供給された撮像画像に基づいて、その撮像画像に含まれるテスト画像の投影画像の個別ボケ量ω個別ボケを算出する。テスト画像の投影画像において個別ボケが発生すると、例えば図６のＡに示されるように、図５のテスト画像２１０のドットパタン２１１は拡散する（所謂ぼける）。個別ボケ量算出部１３４は、そのドットパタン２１１の拡散の様子に基づいて個別ボケ量ω個別ボケを算出する。
　この個別ボケ量ω個別ボケの算出方法は任意である。また、個別ボケ量ω個別ボケは、個別ボケの大きさを示すパラメータであれば、どのようなパラメータであってもよい。例えば、個別ボケ量算出部１３４が、撮像画像よりドットパタン２１１の画像（図６のＡ）を抽出し、その画像を解析してPSF（Point Spread Function、点拡がり関数とも称する）を個別ボケ量ω個別ボケとして算出するようにしてもよい。また、例えば、個別ボケ量算出部１３４が、ドットパタン２１１の拡がりを再現することができるユーザインタフェース（UI）を撮像画像とともにモニタに表示し、ユーザが、その撮像画像上のドットパタン２１１の拡がりの様子を目視で確認しながらユーザインタフェースを操作してそれを再現し、個別ボケ量算出部１３４が、その操作を受け付け、再現された拡がりの様子を示すパラメータを個別ボケ量ω個別ボケとするようにしてもよい。
　個別ボケ量算出部１３４は、算出した個別ボケ量ω個別ボケを示す情報を個別ボケ量記憶部１３５に供給し、記憶させる。
　ステップＳ１５５において、投影座標特定部１３６は、供給された撮像画像に基づいて、その撮像画像含まれるテスト画像の投影画像の各画素の投影座標（つまり、各画素が投影された位置（座標））を特定する。
　例えば、投影装置１１２－１より投影された投影画像と、投影装置１１２－２より投影された投影画像とが、図７のＡのように投影されているとする。点線で示される各四角は、例えば投影装置１１２－１より投影された投影画像の画素開口を示す。画素開口は、１画素分の光が投影されている範囲を示す。つまり、図７のＡには、投影装置１１２－１より出力された４画素（２×２画素）分の光が投影される範囲（画素開口２５１－１、画素開口２５１－２、画素開口２５１－３、画素開口２５１－４）が示されている。画素開口２５１－１乃至画素開口２５１－４を互いに区別して説明する必要がない場合、画素開口２５１と称する。これに対して、図７のＡにおいて、一点鎖線で示される各四角は、例えば投影装置１１２－２より投影された投影画像の画素開口を示す。つまり、図７のＡには、投影装置１１２－２より出力された４画素（２×２画素）分の光が投影される範囲（画素開口２６１－１、画素開口２６１－２、画素開口２６１－３、画素開口２６１－４）が示されている。画素開口２６１－１乃至画素開口２６１－４を互いに区別して説明する必要がない場合、画素開口２６１と称する。
　なお、図７のＡにおいて、重心２５２－１は、画素開口２５１－１の重心を示し、重心２５２－２は、画素開口２５１－２の重心を示し、重心２５２－３は、画素開口２５１－３の重心を示し、重心２５２－４は、画素開口２５１－４の重心を示す。同様に、重心２６２－１は、画素開口２６１－１の重心を示し、重心２６２－２は、画素開口２６１－２の重心を示し、重心２６２－３は、画素開口２６１－３の重心を示し、重心２６２－４は、画素開口２６１－４の重心を示す。重心２５２－１乃至重心２５２－４を互いに区別して説明する必要がない場合、重心２５２と称する。また、重心２６２－１乃至重心２６２－４を互いに区別して説明する必要がない場合、重心２６２と称する。
　投影座標特定部１３６は、このような各画素開口の重心の座標を各画素の投影座標として特定する。投影座標特定部１３６は、特定した各画素の投影座標を示す情報を投影座標記憶部１３７に供給し、記憶させる。
　ステップＳ１５６において、投影制御部１３２は、全ての投影装置１１２を処理したか否かを判定する。未処理の投影装置１１２が存在すると判定された場合、処理はステップＳ１５１に戻り、新たな未処理の投影装置１１２がカレント投影装置１１２として選択される。そして、その新たなカレント投影装置１１２に対して、ステップＳ１５２乃至ステップＳ１５６の各処理が実行される。つまり、ステップＳ１５１乃至ステップＳ１５６の各処理が、各投影装置１１２について実行される。そして、ステップＳ１５６において、全ての投影装置１１２が処理されたと判定された場合、処理はステップＳ１５７に進む。
　ステップＳ１５７において、重畳ボケ量算出部１３８は、投影座標記憶部１３７に記憶されている投影座標を示す情報を取得し、その投影座標から重畳ボケ量ω重畳ボケを算出する。上述のように、ステップＳ１５１乃至ステップＳ１５６の各処理が各投影装置１１２について実行されるので、投影座標記憶部１３７には、全ての投影装置１１２から投影された各投影画像の各画素の投影座標が記憶されている。つまり、この情報から、例えば図７のＡに示されるように、互いに重畳する投影画像間の投影座標の位置関係（例えば向きや距離等）が明らかとなる。そこで、重畳ボケ量算出部１３８は、この投影座標の位置関係（画素開口の重心の位置関係）に基づいて、重畳ボケ量ω重畳ボケを算出する。
　この重畳ボケ量ω重畳ボケの算出方法は任意である。また、重畳ボケ量ω重畳ボケは、重畳ボケの大きさを示すパラメータであれば、どのようなパラメータであってもよい。例えば、図７のＡの重畳例において、図７のＢに示されるように、投影装置１１２－１より投影された投影画像と投影装置１１２－２より投影された投影画像とが重畳された状態の投影画像の、画素開口２６１－１（画素値x01）の位置の画素値ｚは、以下の式（１）のように表すことができる。
　なお、式（１）において、δ0は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－１（画素値x10）とが重畳する部分の割合を示し、δ1は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－２（画素値x11）とが重畳する部分の割合を示し、δ2は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－４（画素値x12）とが重畳する部分の割合を示し、δ3は、画素開口２６１－１の全体に対する、画素開口２６１－１と画素開口２５１－３（画素x13）とが重畳する部分の割合を示す。
　z = (δ0+δ1+δ2+δ3)x01+δ0x10+δ1x11+δ2x12+δ3x13　・・・（１）
　δ0乃至δ3は、重畳された両投影画像の投影座標に基づいて求めることができる。各投影画像の画素値（個別ボケを含まない画素値）は入力画像から求めることができる。したがって、式（１）に示されるようなモデル式を用いて、重畳された状態の投影画像の画素値z（重畳ボケのみを含む画素値）を求めることができる。例えば、このような画素値zと入力画像の画素値との誤差の大きさを重畳ボケ量ω重畳ボケとするようにしてもよい。
　重畳ボケ量算出部１３８は、算出した重畳ボケ量ω重畳ボケを示す情報を逆フィルタ設計部１３９に供給する。
　ステップＳ１５８において、逆フィルタ設計部１３９は、重畳ボケ量算出部１３８より重畳ボケ量ω重畳ボケを示す情報を取得する。また、逆フィルタ設計部１３９は、個別ボケ量記憶部１３５に記憶されている個別ボケ量ω個別ボケを示す情報を取得する。上述のように、ステップＳ１５１乃至ステップＳ１５６の各処理が各投影装置１１２について実行されるので、個別ボケ量記憶部１３５には、全ての投影装置１１２から投影された各投影画像の個別ボケ量ω個別ボケを示す情報が記憶されている。
　そこで、逆フィルタ設計部１３９は、以下の式（２）に示されるように、重畳ボケ量ω重畳ボケに重畳される各投影画像の個別ボケ量ω個別ボケを畳み込むことにより、重畳された状態の投影画像のボケ量（最終的なボケ量ω最終的なボケ）を求める。
　ω最終的なボケ = ω個別ボケ*ω重畳ボケ　・・・（２）
　逆フィルタ設計部１３９は、投影画像の重畳している部分の全ての画素について、最終的なボケ量ω最終的なボケを求め、その値を用いて、入力画像を重畳された状態の投影画像に変換するフィルタを設計する。つまり、逆フィルタ設計部１３９は、投影装置１１２毎にフィルタを生成する。
　このフィルタの設計（生成）方法は任意である。例えば、図８のＡのように、入力画像にフィルタをかけた値と、入力画像の投影画像との誤差が最小となるようにフィルタを設計するようにしてもよい。例えば、フィルタの１画素用の係数をwjとし、投影画像の画素値yiをボケ量ωkと係数wjと入力画像の画素値xkjとを用いて、以下の式（３）のように表し、その画素値yiと、各投影装置１１２より投影された投影画像が重畳された状態の投影画像の画素値である教師tiとの誤差εi（式（４））が最小となるように、機械学習によって係数wjを求めるようにしてもよい。
Figure JPOXMLDOC01-appb-I000001
　・・・（３）
　εi = ti-yi　・・・（４）
　また、例えば、入力画像と投影画像との画素値の平均二乗誤差を最小とするようにフィルタを設計するようにしてもよい。
　以上のようにフィルタを設計すると逆フィルタ設計部１３９は、各フィルタの逆フィルタを設計し、生成する。つまり、逆フィルタ設計部１３９は、投影装置１１２毎に逆フィルタを生成する。この逆フィルタの設計（生成）方法は任意である。例えば、図８のＢのように、ウィナーフィルタ（Wiener Filter）を用いるようにしてもよい。以上のように逆フィルタを生成すると、逆フィルタ設計部１３９は、その逆フィルタを位相画像生成部１４０に供給する。
　ステップＳ１５８の処理が終了すると、ボケ量算出処理が終了し、処理は図３に戻る。
　以上のように各処理を実行することにより、ボケ量をより正確に求めることができるので、複数の投影画像が重畳された状態の投影画像における個別ボケや重畳ボケをより正確に抑制することができる。つまり、投影画像の主観画質の低減を抑制することができる。また、以上のようにボケ量を算出することにより、より高速にボケ量を算出することができる。
　なお、以上においてはフィルタの設計の際に、１画素用の係数ｗを求めるように説明したが、この係数ｗの数は任意であり、単数であってもよいし、複数であってもよい。例えば、任意の数の代表画素を設定し、各代表画素について係数ｗを求めるようにしてもよい。この代表画素は、画像全体に対して設定されるようにしてもよいし、画像の部分領域毎に設定されるようにしてもよい。また、画像の全画素について係数ｗをそれぞれ求めるようにしてもよい。例えば、線形計画法等を用いて各係数ｗを算出するようにしてもよい。
　＜３．第２の実施の形態＞
　　＜画像の一部の重畳＞
　なお、各投影装置１１２より投影された各投影画像の投影位置が、互いに異なるようにしてもよい。つまり、複数の投影画像が重畳されるオーバーラップ領域は、図１の例のように投影画像全体でなくてもよい。例えば、図９の例のように投影画像の一部の領域が重畳するようにしてもよい。
　図９に示される投影撮像システム３００は、図１の投影撮像システム１００と同様の構成を有し、同様の処理を行うシステムであるが、投影撮像システム３００の場合、投影装置１１２－１が投影した投影画像と、投影装置１１２－２が投影した投影画像とのオーバーラップ領域は、投影画像の一部である。
　図９に示されるように、投影装置１１２－１が投影した投影画像は、スクリーン１２０の範囲３１１に投影される。これに対して投影装置１１２－２が投影した投影画像は、スクリーン１２０の範囲３１２に投影される。したがって、オーバーラップ領域は、範囲３１１と範囲３１２とが重畳する部分である範囲３１３となる。つまり、これらの投影装置１１２が投影した投影画像は、その一部の領域のみが重畳している。このようにすることにより、例えば投影画像の画質の低減を抑制しながら、画サイズをより大きくすることができる。
　撮像装置１１３は、オーバーラップ領域全体を撮像するようにすればよい。したがって、図９の例のように、撮像装置１１３が範囲３１１および範囲３１２を含む範囲３１４を撮像するようにしてもよい。
　このような投影撮像システム３００にも、本技術を適用することができる。つまり、投影撮像システム３００も、第１の実施の形態において説明した場合と同様に、オーバーラップ領域において、個別ボケや重畳ボケをより正確に抑制することができる。つまり、投影画像の主観画質の低減を抑制することができる。また、以上のようにボケ量を算出することにより、より高速にボケ量を算出することができる。
　なお、この場合、位相画像生成部１４０は、投影画像のオーバーラップ領域について位相画像を生成する。つまり、第１の実施の形態においては、位相画像生成部１４０は、入力画像全体についての位相画像を生成するように説明したが、この場合の位相画像生成部１４０は、逆フィルタ生成部１３９により生成された逆フィルタを用いて、入力画像の一部分を変換し、入力画像の一部分についての位相画像を生成する。
　その際、投影画像のオーバーラップ領域以外の領域については、位相画像生成部１４０が位相画像の生成を省略するようにしてもよい。つまり、投影画像のオーバーラップ領域以外の領域については、入力画像を投影するようにしてもよい。また、投影画像のオーバーラップ領域以外の領域については、位相画像生成部１４０が、個別ボケのみを抑制するように画像処理を行うようにしてもよい。このようにすることにより、画像処理の処理量を低減させることができ、負荷やコストの増大を抑制することができる。また、例えば、この領域について、逆フィルタ設計部１３９が個別ボケ量のみを用いてフィルタを設計してその逆フィルタを生成し、位相画像生成部１４０が、その逆フィルタを用いて、投影画像のオーバーラップ領域以外の領域の位相画像を生成するようにしてもよい。このようにすることにより、このオーバーラップ領域以外の領域についても主観画質の低減を抑制することができる。
　＜４．第３の実施の形態＞
　なお、各投影装置１１２より投影された各投影画像の各画素の投影位置がずれていていもよい。例えば各投影画像の投影位置を半画素分ずらすことにより、複数の投影画像が重畳された状態の投影画像を高解像度化することができる。このように、各投影画像が正しい位置に投影された状態において、オーバーラップ領域の各画素の投影座標が、それらの投影画像間において互いに一致しない場合にも本技術を適用することができる。
　例えば、図１０に示される投影撮像システム４００は、投影撮像システム１００と同様のシステムであるが、画像処理装置１１１、投影装置４１２－１乃至投影装置４１２－４、並びに、撮像装置１１３を有する。以下において、投影装置４１２－１乃至投影装置４１２－４を互いに区別して説明する必要がない場合、投影装置４１２と称する。画像処理装置１１１に入力される入力画像の解像度は、所謂８Ｋ（7680画素×4320画素）である。投影装置４１２は、投影装置１１２と同様の構成を有し、同様の処理を行う装置である。投影装置４１２は、所謂４Ｋ（3840画素×2160画素）の解像度の画像を投影することができる。したがって、画像処理装置１１１は、解像度８Ｋの入力画像から解像度４Ｋの位相画像を生成し、それを投影装置４１２に供給する。
　４台の投影装置４１２は、スクリーン１２０の範囲４２１に解像度４Ｋの画像を投影する。その際、各投影装置４１２は、スクリーン１２０の、垂直方向または水平方向に互いに半画素ずつずらした位置に画像を投影する。これにより、スクリーン１２０の範囲４２１の位置に解像度８Ｋの投影画像が投影される。
　撮像装置１１３は、オーバーラップ領域全体を撮像するようにすればよい。したがって、撮像装置１１３は、範囲４２１を含む範囲４２２を撮像する。
　このように画像を投影することにより、投影撮像システム４００は、解像度４Ｋの画像を投影する投影装置４１２を用いて、画サイズを略変えずに解像度８Ｋの画像を投影することができる。つまり、投影撮像システム４００は、入力画像よりも低解像度の画像を投影する投影装置を複数用いて、その入力画像に対して投影画像の解像度を低減させずに画像投影を行うことができる。換言するに、投影撮像システム４００は、複数の投影装置を用いることにより、投影画像の解像度が、投影装置が投影することができる解像度よりも高解像度となるように、画像投影を行うことができる。つまり、より低性能の投影装置を用いることができるので、コストの増大を抑制することができる（より安価かつ消費電力の増大を抑制することができる）。
　このような投影撮像システム４００にも、本技術を適用することができる。つまり、投影撮像システム４００も、第１の実施の形態において説明した場合と同様に、オーバーラップ領域において、個別ボケや重畳ボケをより正確に抑制することができる。つまり、投影画像の主観画質の低減を抑制することができる。また、以上のようにボケ量を算出することにより、より高速にボケ量を算出することができる。
　＜５．第４の実施の形態＞
　　＜その他の構成＞
　なお、本技術を適用した投影撮像システム１００の構成は、上述した図１、図９、図１０の例に限定されない。例えば、画像処理装置１１１、投影装置１１２、および撮像装置１１３の数は、それぞれ任意であり、それぞれ複数であってもよい。また、各投影装置１１２の仕様（例えば、解像度、明るさ、フレームレート等）がすべて同一であってもよいし、同一でなくてもよい。
　また、例えば図１１に示されるように、投影撮像システム１００の各装置が、ネットワーク５０１を介して互いに接続されるようにしてもよい。
　このネットワーク５０１は、任意の通信網である。ネットワーク５０１において採用される通信方法は任意である。例えば、有線通信であってもよいし、無線通信であってもよいし、それらの両方であってもよい。また、ネットワーク５０１は、単数の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（登録商標）（High-Definition Multimedia Interface）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク５０１に含まれるようにしてもよい。
　各装置は、このネットワーク５０１に通信可能に接続されている。なお、この接続は有線（すなわち、有線通信を介した接続）であってもよいし、無線（すなわち、無線通信を介した接続）であってもよいし、その両方であってもよい。各装置は、ネットワーク５０１を介して互いに通信を行う（情報の授受等を行う）ことができる。換言するに、各装置は、他の設備（装置や伝送路等）を介して互いに通信可能に接続されるようにしてもよい。このような構成の場合も、投影撮像システム１００は、上述した他の実施の形態の場合と同様に本技術を適用することができ、上述した作用効果を奏することができる。
　また、例えば図１２に示されるように、投影装置１１２と撮像装置１１３とが一体化されて１つの装置として構成されるようにしてもよい。図１２の例の場合、投影撮像システム１００は、投影装置１１２および撮像装置１１３の代わりに、投影撮像装置５１０を有する。投影撮像装置５１０は、画像の投影や撮像に関する処理を行う装置であり、投影部５１２－１、投影部５１２－２、および撮像部５１３を有する。投影部５１２－１および投影部５１２－２は、画像投影に関する処理を行う処理部であり、それぞれ、投影装置１１２と同様の構成を有し、同様の処理を行う。なお、投影部５１２－１および投影部５１２－２を互いに区別して説明する必要がない場合、投影部５１２と称する。撮像部５１３は、撮像に関する処理を行う処理部であり、撮像装置１１３と同様の構成を有し、同様の処理を行う。図１２に示されるように、この投影撮像装置５１０も画像処理装置１１１に接続される。画像処理装置１１１は、撮像部５１３において撮像された撮像画像に基づいて、入力画像を変換して、投影画像における個別ボケおよび重畳ボケを低減させるように位相画像を生成する。投影部５１２は、その位相画像を投影する。したがって、このような構成の場合も、投影撮像システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。
　なお、投影装置１１２のみを一体化して1つの装置とし、撮像装置１１３はそれとは別の装置としてもよい。また、一部の投影装置１１２のみを一体化して、その他の投影装置１１２や撮像装置１１３はそれとは別の装置としてもよい。
　また、画像処理装置も一体化するようにしてもよい。例えば図１３に示されるように、画像処理装置１１１と投影装置１１２とが一体化されて１つの装置として構成されるようにしてもよい。図１３の例の場合、投影撮像システム１００は、画像処理装置１１１および投影装置１１２－１の代わりに、投影装置５３０を有する。投影装置５３０は、画像処理部５３１および投影部５１２を有する。画像処理部５３１は、入力画像に対する画像処理に関する処理を行う処理部であり、画像処理装置１１１と同様の構成を有し、同様の処理を行う。図１３に示されるように、投影装置１１２および撮像装置１１３は、画像処理装置１１１に接続されていたのと同様に、画像処理部５３１に接続される。画像処理部５３１は、撮像装置１１３において撮像された撮像画像に基づいて、入力画像を変換して、投影画像における個別ボケおよび重畳ボケを低減させるように位相画像を生成する。投影部５１２および投影装置１１２は、その位相画像を投影する。したがって、このような構成の場合も、投影撮像システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。
　なお、画像処理装置１１１と複数の投影装置１１２とを一体化して１つの装置としてもよい。また、画像処理装置１１１とすべての投影装置１１２とを一体化して１つの装置としてもよい。また、画像処理装置１１１と撮像装置１１３とを一体化して１つの装置としてもよい。
　さらに、例えば図１４に示されるように、投影撮像システム１００の全ての装置を一体化するようにしてもよい。図１４の例の場合、投影撮像システム１００は、画像処理装置１１１、投影装置１１２、および撮像装置１１３の代わりに、投影撮像装置５４０を有する。投影撮像装置５４０は、画像処理部５３１、投影部５１２－１、投影部５１２－２、および撮像部５１３を有する。画像処理部５３１は、撮像部５１３において撮像された撮像画像に基づいて、入力画像を変換して、投影画像における個別ボケおよび重畳ボケを低減させるように位相画像を生成する。投影部５１２は、その位相画像を投影する。したがって、このような構成の場合も、投影撮像システム１００は、本技術を適用することができ、上述した作用効果を奏することができる。
　勿論、投影撮像システム１００の各装置は、上述した例に限定されず、任意の組み合わせで一体化して１つの装置とすることができる。なお、投影撮像システム３００や投影撮像システム４００の場合も、上述した投影撮像システム１００の場合と同様に任意の構成とすることができる。
　また以上においては投影撮像システムを用いて本技術を説明したが、本技術は画像表示装置や画像表示システム等、画像表示機能を備える任意の構成、または画像表示のための処理を行う任意の構成に適用することができる。
　＜６．その他＞
　　＜本技術の適用分野＞
　本技術は、画像を処理するものであれば、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用されるシステム、装置、処理部等に適用することができる。
　例えば、本技術は、鑑賞の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、交通管理の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、農業の用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、畜産業の用に供されるシステムやデバイスにも適用することができる。さらに、本技術は、例えば火山、森林、海洋等の自然の状態を監視するシステムやデバイスにも適用することができる。また、本技術は、例えば天気、気温、湿度、風速、日照時間等を観測する気象観測システムや気象観測装置に適用することができる。さらに、本技術は、例えば鳥類、魚類、ハ虫類、両生類、哺乳類、昆虫、植物等の野生生物の生態を観測するシステムやデバイス等にも適用することができる。
　　＜ソフトウエア＞
　上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
　図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
　図１５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
　バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
　入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
　以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
　コンピュータ（CPU９０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
　　＜補足＞
　本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
　なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　また、上述した処理部は、その処理部について説明した機能を有するようにすれば、どのような構成により実現するようにしてもよい。例えば、処理部が、任意の回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
　また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
　また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
　また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
　コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
　本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
　なお、本技術は以下のような構成も取ることができる。
　（１）　複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成する逆フィルタ生成部と、
　前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する位相画像生成部と
　を備える画像処理装置。
　（２）　前記逆フィルタ生成部は、前記入力画像にフィルタをかけた値と、前記入力画像の投影画像との誤差が最小となるように前記フィルタを生成し、生成された前記フィルタを用いて前記逆フィルタを生成する
　（１）に記載の画像処理装置。
　（３）　前記逆フィルタ生成部は、ウィナーフィルタを前記逆フィルタとして生成する
　（２）に記載の画像処理装置。
　（４）　前記逆フィルタ生成部は、前記投影部毎に前記逆フィルタを生成する
　（１）乃至（３）のいずれかに記載の画像処理装置。
　（５）　前記逆フィルタ生成部は、前記入力画像の代表画素について、前記逆フィルタを生成する
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（６）　前記逆フィルタ生成部は、前記入力画像の全画素について、前記逆フィルタを生成する
　（１）乃至（４）のいずれかに記載の画像処理装置。
　（７）　前記位相画像生成部は、前記投影部毎に前記位相画像を生成する
　（１）乃至（６）のいずれかに記載の画像処理装置。
　（８）　前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像全体を変換し、前記入力画像全体についての前記位相画像を生成する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（９）　前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の一部分を変換し、前記入力画像の一部分についての前記位相画像を生成する
　（１）乃至（７）のいずれかに記載の画像処理装置。
　（１０）　前記位相画像生成部は、前記入力画像のその他の部分の変換を省略する
　（９）に記載の画像処理装置。
　（１１）　前記位相画像生成部は、前記入力画像のその他の部分に対して、前記個別ボケ量を低減させるように変換を行う
　（９）に記載の画像処理装置。
　（１２）　前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記個別ボケ量を算出する個別ボケ量算出部をさらに備える
　（１）乃至（１１）のいずれかに記載の画像処理装置。
　（１３）　前記個別ボケ量算出部は、前記複数の投影部のそれぞれからテスト画像を投影し、その投影画像を撮像した撮像画像における前記テスト画像についてPSF（Point Spread Function）を前記個別ボケ量として算出する
　（１２）に記載の画像処理装置。
　（１４）　前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記重畳ボケ量を算出する重畳ボケ量算出部をさらに備える
　（１）乃至（１３）のいずれかに記載の画像処理装置。
　（１５）　前記重畳ボケ量算出部は、前記撮像画像より投影画像の各画素の投影座標を求め、複数の投影画像が重畳する部分について、前記投影座標から重畳ボケ量を算出する
　（１４）に記載の画像処理装置。
　（１６）　前記複数の投影部のそれぞれから投影された各投影画像を撮像する撮像部をさらに備える
　（１）乃至（１５）のいずれかに記載の画像処理装置。
　（１７）　画像を投影する前記複数の投影部をさらに備える
　（１）乃至（１６）のいずれかに記載の画像処理装置。
　（１８）　前記複数の投影部は、前記位相画像生成部により生成された前記位相画像を投影する
　（１７）に記載の画像処理装置。
　（１９）　前記複数の投影部は、前記投影画像が各投影部が投影する画像よりも高解像度の画像となるように、画像を互いにずれた位置に投影する
　（１７）または（１８）に記載の画像処理装置。
　（２０）　複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成し、
　生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する
　画像処理方法。
　１００　投影撮像システム，　１１１　画像処理装置，　１１２　投影装置，　１１３　撮像装置，　１２０　スクリーン，　１３１　テスト画像記憶部，　１３２　投影制御部，　１３３　撮像制御部，　１３４　個別ボケ量算出部，　１３５　個別ボケ量記憶部，　１３６　投影座標特定部，　１３７　投影座標記憶部，　１３８　重畳ボケ量算出部，　１３９　逆フィルタ設計部，　１４０　位相画像生成部，　３００　投影撮像システム，　４００　投影撮像システム，　４１２　投影装置，　５０１　ネットワーク，　５１０　投影撮像装置，　５１２　投影部，　５１３　撮像部，　５３０　投影装置，　５３１　画像処理部，　５４０　投影撮像装置，　９００　コンピュータ

Claims (20)

  1. 　複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成する逆フィルタ生成部と、
    　前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する位相画像生成部と
    　を備える画像処理装置。
  2. 　前記逆フィルタ生成部は、前記入力画像にフィルタをかけた値と、前記入力画像の投影画像との誤差が最小となるように前記フィルタを生成し、生成された前記フィルタを用いて前記逆フィルタを生成する
    　請求項１に記載の画像処理装置。
  3. 　前記逆フィルタ生成部は、ウィナーフィルタを前記逆フィルタとして生成する
    　請求項２に記載の画像処理装置。
  4. 　前記逆フィルタ生成部は、前記投影部毎に前記逆フィルタを生成する
    　請求項１に記載の画像処理装置。
  5. 　前記逆フィルタ生成部は、前記入力画像の代表画素について、前記逆フィルタを生成する
    　請求項１に記載の画像処理装置。
  6. 　前記逆フィルタ生成部は、前記入力画像の全画素について、前記逆フィルタを生成する
    　請求項１に記載の画像処理装置。
  7. 　前記位相画像生成部は、前記投影部毎に前記位相画像を生成する
    　請求項１に記載の画像処理装置。
  8. 　前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像全体を変換し、前記入力画像全体についての前記位相画像を生成する
    　請求項１に記載の画像処理装置。
  9. 　前記位相画像生成部は、前記逆フィルタ生成部により生成された前記逆フィルタを用いて前記入力画像の一部分を変換し、前記入力画像の一部分についての前記位相画像を生成する
    　請求項１に記載の画像処理装置。
  10. 　前記位相画像生成部は、前記入力画像のその他の部分の変換を省略する
    　請求項９に記載の画像処理装置。
  11. 　前記位相画像生成部は、前記入力画像のその他の部分に対して、前記個別ボケ量を低減させるように変換を行う
    　請求項９に記載の画像処理装置。
  12. 　前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記個別ボケ量を算出する個別ボケ量算出部をさらに備える
    　請求項１に記載の画像処理装置。
  13. 　前記個別ボケ量算出部は、前記複数の投影部のそれぞれからテスト画像を投影し、その投影画像を撮像した撮像画像における前記テスト画像についてPSF（Point Spread Function）を前記個別ボケ量として算出する
    　請求項１２に記載の画像処理装置。
  14. 　前記複数の投影部のそれぞれから投影された各投影画像を撮像した撮像画像に基づいて前記重畳ボケ量を算出する重畳ボケ量算出部をさらに備える
    　請求項１に記載の画像処理装置。
  15. 　前記重畳ボケ量算出部は、前記撮像画像より投影画像の各画素の投影座標を求め、複数の投影画像が重畳する部分について、前記投影座標から重畳ボケ量を算出する
    　請求項１４に記載の画像処理装置。
  16. 　前記複数の投影部のそれぞれから投影された各投影画像を撮像する撮像部をさらに備える
    　請求項１に記載の画像処理装置。
  17. 　画像を投影する前記複数の投影部をさらに備える
    　請求項１に記載の画像処理装置。
  18. 　前記複数の投影部は、前記位相画像生成部により生成された前記位相画像を投影する
    　請求項１７に記載の画像処理装置。
  19. 　前記複数の投影部は、前記投影画像が各投影部が投影する画像よりも高解像度の画像となるように、画像を互いにずれた位置に投影する
    　請求項１７に記載の画像処理装置。
  20. 　複数の投影部のそれぞれから投影された各投影画像において発生する光学ボケの大きさを示す個別ボケ量と、複数の前記投影画像が重畳することにより発生する光学ボケの大きさを示す重畳ボケ量とに基づいて、前記複数の投影部が投影する入力画像を前記複数の投影部により投影された投影画像に変換するフィルタの逆フィルタを生成し、
    　生成された前記逆フィルタを用いて前記入力画像を変換して位相画像を生成する
    　画像処理方法。
PCT/JP2018/010164 2017-03-28 2018-03-15 画像処理装置および方法 WO2018180530A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880019642.2A CN110431840B (zh) 2017-03-28 2018-03-15 图像处理装置、方法以及存储介质
JP2019509242A JP7218721B2 (ja) 2017-03-28 2018-03-15 画像処理装置および方法
US16/488,110 US11151698B2 (en) 2017-03-28 2018-03-15 Image processing apparatus and method for suppressing overlap blur and individual blur from projection images using an inverted filter

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-062304 2017-03-28
JP2017062304 2017-03-28

Publications (1)

Publication Number Publication Date
WO2018180530A1 true WO2018180530A1 (ja) 2018-10-04

Family

ID=63675466

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010164 WO2018180530A1 (ja) 2017-03-28 2018-03-15 画像処理装置および方法

Country Status (4)

Country Link
US (1) US11151698B2 (ja)
JP (1) JP7218721B2 (ja)
CN (1) CN110431840B (ja)
WO (1) WO2018180530A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019230108A1 (ja) * 2018-05-28 2019-12-05 ソニー株式会社 画像処理装置、画像処理方法
CN109698948B (zh) * 2019-01-31 2021-04-23 广景视睿科技（深圳）有限公司 投影方法及投影设备
CN113497923B (zh) * 2020-03-18 2023-10-31 中强光电股份有限公司 投影系统以及用于投影系统的定位方法
CN119805729B (zh) * 2025-03-06 2025-06-03 深圳市华汉伟业科技有限公司 一种具有深度重建效果的显微成像装置及方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269528A (ja) * 2004-03-22 2005-09-29 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
JP2008268557A (ja) * 2007-04-20 2008-11-06 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US20160037147A1 (en) * 2014-07-29 2016-02-04 Texas Instruments Incorporated Methods and Apparatus for Optical Display Using Multiple Spatial Light Modulators for Increased Resolution
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3497805B2 (ja) * 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
WO2006014598A2 (en) 2004-07-08 2006-02-09 Imax Corporation Equipment and methods for the display of high resolution images using multiple projection displays
JP4961662B2 (ja) 2004-09-21 2012-06-27 株式会社ニコン プロジェクタ装置、携帯電話、カメラ
JP4082414B2 (ja) 2005-02-23 2008-04-30 セイコーエプソン株式会社 プロジェクションシステム、プロジェクタ、プロジェクタの制御方法、およびプログラム
US20070286514A1 (en) * 2006-06-08 2007-12-13 Michael Scott Brown Minimizing image blur in an image projected onto a display surface by a projector
JP2009008974A (ja) 2007-06-29 2009-01-15 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
EP2564374B1 (en) 2010-04-18 2014-11-19 Imax Corporation Double stacked projection
JP5183715B2 (ja) 2010-11-04 2013-04-17 キヤノン株式会社 画像処理装置及び画像処理方法
JP6089424B2 (ja) 2012-03-21 2017-03-08 セイコーエプソン株式会社 画像処理装置、プロジェクター、およびプロジェクターの制御方法
CN103376551B (zh) 2012-04-23 2017-04-19 北京蚁视昂维科技有限公司 小孔投射式近眼显示器
US9438872B2 (en) * 2014-09-18 2016-09-06 Coretronic Corporation Projection display system and method for correcting projection region
US9983468B2 (en) 2015-08-26 2018-05-29 Casio Computer Co., Ltd. Light source unit and projector

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005269528A (ja) * 2004-03-22 2005-09-29 Seiko Epson Corp マルチプロジェクションシステムのための画像補正方法
JP2008268557A (ja) * 2007-04-20 2008-11-06 Sony Corp 画像生成装置及び方法、プログラム、並びに記録媒体
US20160037147A1 (en) * 2014-07-29 2016-02-04 Texas Instruments Incorporated Methods and Apparatus for Optical Display Using Multiple Spatial Light Modulators for Increased Resolution
WO2016157670A1 (ja) * 2015-03-27 2016-10-06 ソニー株式会社 画像表示装置、画像表示方法、情報処理装置、情報処理方法、及びプログラム
JP2016197145A (ja) * 2015-04-02 2016-11-24 株式会社東芝 画像処理装置および画像表示装置

Also Published As

Publication number Publication date
US20200065943A1 (en) 2020-02-27
US11151698B2 (en) 2021-10-19
CN110431840B (zh) 2021-12-21
JPWO2018180530A1 (ja) 2020-02-06
JP7218721B2 (ja) 2023-02-07
CN110431840A (zh) 2019-11-08

Similar Documents

Publication Publication Date Title
WO2018180530A1 (ja) 画像処理装置および方法
JP5319415B2 (ja) 画像処理装置、画像処理方法
JP7074052B2 (ja) 画像処理装置および方法
US10999500B2 (en) Imaging apparatus and imaging method, and image processing apparatus and image processing method
CN109643528B (zh) 信息处理装置、信息处理方法和程序
JP6711396B2 (ja) 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
US11379954B2 (en) Signal to noise ratio adjustment circuit, signal to noise ratio adjustment method and signal to noise ratio adjustment program
CN108702494B (zh) 图像处理装置、成像装置、图像处理方法和存储介质
US12217388B2 (en) Image processing method and device, electronic equipment, and storage medium
CN110958363B (zh) 图像处理方法及装置、计算机可读介质和电子设备
US20190050968A1 (en) Image processing device, image processing method, and non-transitory computer readable medium storing image processing program
US20200021736A1 (en) Signal processing circuit and imaging apparatus
JP2022002376A (ja) 画像処理装置、画像処理方法およびプログラム
JP2025510585A (ja) 露光撮像方法、装置、機器、記憶媒体及びプログラム製品
US10791305B2 (en) Image processing apparatus and image processing method
EP4348569A1 (en) Glare removal using dual cameras
TW202207693A (zh) 資料產生方法、學習方法、推定方法、資料產生裝置及程式
JPWO2018155198A1 (ja) 情報処理装置および方法
KR102207940B1 (ko) 영상 노이즈 제거 방법 및 시스템
US9659222B2 (en) Vehicle event data recorder and operation method thereof
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN113132562A (zh) 镜头阴影校正方法、装置及电子设备
WO2022044807A1 (ja) 情報処理装置および方法
CN113676674A (zh) 图像处理方法、装置、电子设备及可读存储介质
WO2024174711A1 (zh) 图像处理方法和终端设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18777942

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509242

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18777942

Country of ref document: EP

Kind code of ref document: A1