[go: up one dir, main page]

WO2018101093A1 - 撮像装置、撮像方法、及び表示装置 - Google Patents

撮像装置、撮像方法、及び表示装置 Download PDF

Info

Publication number
WO2018101093A1
WO2018101093A1 PCT/JP2017/041564 JP2017041564W WO2018101093A1 WO 2018101093 A1 WO2018101093 A1 WO 2018101093A1 JP 2017041564 W JP2017041564 W JP 2017041564W WO 2018101093 A1 WO2018101093 A1 WO 2018101093A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
light source
unit
display device
imaging
Prior art date
Application number
PCT/JP2017/041564
Other languages
English (en)
French (fr)
Inventor
善光 村橋
崇志 峰
高橋　真毅
伊藤　典男
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Publication of WO2018101093A1 publication Critical patent/WO2018101093A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00—Special procedures for taking photographs; Apparatus therefor
    • G03B15/02—Illuminating scene
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects

Definitions

  • the present invention relates to an imaging device, an imaging method, and a display device.
  • Patent Document 1 discloses an image processing apparatus for obtaining a bidirectional reflectance distribution function representing reflectance characteristics for each pixel of an object.
  • Patent Document 1 discloses image processing for calculating a bidirectional reflectance distribution function for each pixel from image data obtained by imaging an object while changing the angle between the object and an imaging device. An apparatus is disclosed.
  • the bidirectional reflectance distribution function described above is a function of six variables including the position of the object (x, y), the direction of incident light ( ⁇ in , ⁇ in ), and the direction of reflected light ( ⁇ out , ⁇ out ). Therefore, the amount of calculation required for image processing is large.
  • a method for directly measuring the reflectance characteristics of an object has been proposed. Specifically, a plurality of light sources are sequentially illuminated one by one, and the intensity of light reflected on the imaging device when the light from the light source is reflected at a specific point is observed. This is a method for obtaining the reflection characteristics of the film.
  • the present invention has been made in view of the above problems, and a first object thereof is to provide an imaging apparatus and an imaging method capable of measuring a more accurate reflection characteristic of an object. is there.
  • Patent Document 1 the technique disclosed in Patent Document 1 described above is to calculate a bidirectional reflectance distribution function based on pre-input image data and generate an image with a texture on an object. There is a problem that the observer cannot perceive the texture of the object live.
  • the present invention has been made in view of the above problems, and a second object thereof is to provide a display device and a display method that enable an observer to sense the texture of an object live. There is.
  • an imaging device includes an imaging unit that captures an object irradiated with light from an irradiation pattern obtained by combining a plurality of light sources, and the imaging unit captures an image. And a specifying unit that specifies the reflectance of the light from each light source to the imaging unit.
  • an imaging method includes an imaging step of imaging a target irradiated with light from an irradiation pattern obtained by combining a plurality of light sources, and the imaging step. And a specifying step of specifying a reflectance in the imaging direction of the light of each light source from the image captured in.
  • a display device is a display device that displays an object, and a virtual light source for the display device according to the position or orientation of the display device And a display processing unit for displaying the object irradiated with light from the virtual light source located at the position determined by the determining unit.
  • a display device is a display device that displays an object, and the input receiving unit that receives an input from a user and the input receiving unit that receives the input Referring to the input from the user, a determination unit that determines the position of the virtual light source with respect to the display device, and the display device is irradiated with light from the virtual light source at the position determined by the determination unit A display processing unit for displaying the object.
  • a display method is a display method in which a display device displays an object, and the display device is in accordance with the position or orientation of the display device.
  • a display method is a display method in which a display device displays an object, an input receiving step for receiving an input from a user, and the input receiving step.
  • a display processing step for displaying the irradiated object is a display method in which a display device displays an object, an input receiving step for receiving an input from a user, and the input receiving step.
  • the observer can perceive the texture of the object live.
  • (A) in a figure shows the state which irradiated the some illumination to the target object
  • (b) is a figure which shows the bidirectional
  • (A) in a figure shows the state which irradiated the some illumination to the target object
  • (b) is a figure which shows the bidirectional
  • FIG. 1 It is a figure showing the important section composition of the imaging device concerning one embodiment of the present invention. It is a figure which shows the outline of the imaging method by the imaging device which concerns on one Embodiment of this invention. It is a figure which shows the outline of the imaging method which concerns on one Embodiment of this invention. It is a figure which shows an example of the concrete irradiation method from the several light source in the imaging device which concerns on one Embodiment of this invention. It is a figure which shows the specific example of the irradiation pattern by the light source part which concerns on one Embodiment of this invention.
  • Embodiment 1 Hereinafter, embodiments of the present invention will be described in detail.
  • the present embodiment relates to a reflection characteristic description model for obtaining the reflection characteristic of an object.
  • An outline of the reflection characteristic description model according to the present embodiment is shown in FIGS.
  • the reflection characteristic description model includes a position (x, y) of an object K, which is six variables of a bidirectional reflectance distribution function BRDF, and a direction of incident light ( ⁇ in , phi in), the direction of the reflected light ( ⁇ out, ⁇ out) among the direction of the reflected light ( ⁇ out, ⁇ out) to fix the position of the object K (x, y), the direction of the incident light (theta in , ⁇ in ), which is a reflection characteristic description model having four variables.
  • BRDF bidirectional reflectance distribution function
  • FIG. 2A when light is incident on the object K from various directions ( ⁇ in , ⁇ in ), a specific direction ( ⁇ out , ⁇ the reflection characteristics described model when capturing the light reflected in the out).
  • a specific direction ( ⁇ out , ⁇ the reflection characteristics described model when capturing the light reflected in the out) Specifically, as shown in FIG. 2B, reflection when light reflected in a specific direction ( ⁇ out , ⁇ out ) is captured at various positions (x, y) in the object K. It becomes a characteristic description model.
  • FIG. 2C when the resolutions of the incident light directions ( ⁇ in , ⁇ in ) are N ⁇ and N ⁇ , respectively, the bidirectional direction at the position (x, y) of the object K is obtained.
  • the reflectance distribution function BRDF can be modeled with a smaller number of parameters M than N ⁇ ⁇ N ⁇ .
  • the direction in the three-dimensional space is indicated by using two angles ⁇ and ⁇ , but here, in order to simplify the explanation, it will be explained on a two-dimensional plane, and the variable indicating the direction is mainly ⁇ . It shall be expressed using
  • FIG. 3 shows a state in which the object K is illuminated.
  • Object K is illuminated
  • L k is illuminated by the point on the object K to the coordinates x i on the captured image when taken by the image pickup device, the coordinates of the light in the x i intensity I (x i ) Is expressed as follows using the reflectivity r ik .
  • I (x i ) ⁇ L k r ik
  • the reflection characteristic captures two dependency relationships, i.e., an item i that depends on the coordinate position on the captured image and an item k that depends on the direction of illumination, so that the object K has an arbitrary intensity from an arbitrary direction. The appearance when receiving light is determined.
  • FIG. 4 is a diagram illustrating a state in which the object K is illuminated.
  • the coordinates on the captured image when the point P 1 is captured by the image sensor are represented by x 1
  • the normal direction at the point P 1 is n (x 1 )
  • An angle formed by the direction of light incident on the point P 1 and the normal direction n (x 1 ) is ⁇ in
  • An angle formed by the direction of light reflected from the point P 1 and the normal direction n (x 1 ) is ⁇ out (x 1 )
  • the light incident from the ⁇ in direction when ⁇ out (x 1 ) is used as a reference is represented by L ( ⁇ in ⁇ out (x 1 ))
  • I (x 1 ) represents the intensity of light reflected from the point P 1 in the ⁇ out (x 1 ) direction and imaged.
  • the display device By displaying the light intensity I (x 1 ) on the display device while observing, it is possible to reproduce the texture such as the glossiness of the object and the roughness of the material.
  • the bidirectional reflectance distribution function BRDF is recorded with three-dimensional information on the two-dimensional space (that is, six-dimensional information on the three-dimensional space). Need a huge amount of information.
  • FIG. 5 shows the difference between the reflected light and the incident light when the object K is illuminated.
  • ⁇ d when the angle of the difference between the reflected light and the incident light is ⁇ d , it is expressed as follows.
  • ⁇ out (x 1) -n (x 1) when note that depending on the theta d, in the case of this calculation, a bidirectional reflectance distribution function BRDF, only component that varies theta d Therefore, the third argument of the bidirectional reflectance distribution function BRDF is unnecessary. That is, ⁇ out (x 1 ) ⁇ n (x 1 ) can be described as follows when rewritten on the assumption that it does not change with respect to ⁇ d .
  • ⁇ out (x 1 ) is fixed (that is, the imaging (observation) direction is constant) and n (x 1 ) is fixed (that is, the position and orientation of the object is constant).
  • BRDF which required 3 arguments, can drop the dimension to 2 arguments (that is, in the case of 3 dimensions, 6 arguments can drop the dimension to 3 arguments) Can be expressed).
  • the present embodiment records the reflection characteristics of the object, and the illumination changes according to the reproduction environment. Can have an effect.
  • this recording method does not require grasping the 3D shape of the subject, it is possible to easily record the reflection characteristics of the actual image.
  • FIG. 6A shows a state in which the object K is irradiated with a plurality of illuminations
  • FIG. 6B shows a bidirectional reflectance distribution function BRDF ′ in that case.
  • Bidirectional reflectance distribution function BRDF ' is to measure the reflection characteristic when changing the theta d, theta d is recorded discretely (for example, the resolution of the N [theta] d). Therefore, the intensity I (x 1 ) of the light reflected and imaged on the object is expressed as follows.
  • N ⁇ d 8.
  • the incident light is totally incident on the normal vector n of the normal T at the point P 1 because the incident angle is equal to the reflection angle. reflect. Accordingly, in the case of FIG. 6A, the light having the incident angle that is equal to the angle formed by the direction in which I (x 1 ) is observed and the normal vector of the point P 1 is reflected most strongly. As shown in FIG. 6B, the reflectivity of ⁇ d3 is the largest, and light at other angles hardly reflects.
  • FIG. 7A shows a state in which the object K is irradiated with a plurality of illuminations
  • FIG. 7B shows a bidirectional reflectance distribution function BRDF ′ in that case.
  • the bidirectional reflectance distribution function BRDF ′ is a function.
  • the shape of is similar, but the point where the reflectance is the largest is shifted. Therefore, it is considered appropriate to parameterize the deviation of this function in the reflection characteristics.
  • FIG. 8A shows a state in which the object K is irradiated with a plurality of illuminations
  • FIG. 8B shows a bidirectional reflectance distribution function BRDF ′ in that case.
  • the object was a material, such as matte
  • the incident light relative to the normal vector n of the normal T of the point P 3
  • most high reflectance in component of the incident angle reflection angle
  • the reflectance gradually decreases.
  • the reflection characteristics are unimodal such that the reflectance increases at a certain point when ⁇ d is changed.
  • the sharpness of the function varies depending on the material of the object, and the point at which the reflectance is maximized varies depending on the shape of the object.
  • the bidirectional reflectance distribution function BRDF ′ is reduced with a smaller number of parameters by using the parameter indicating the height and the parameter indicating the deviation of the reference function. Can be represented.
  • reflection characteristics of more materials can be expressed with fewer parameters by introducing parameters whose function sharpness (spreading) varies depending on the material of the object.
  • the unimodal function there are eight parameters for one coordinate x 1 , but if expressed based on a unimodal function, it can be expressed by three parameters of height, shift, and spread.
  • the following Gaussian function may be used as the unimodal function.
  • g (s, ⁇ ) exp ( ⁇ 2 / s)
  • s is a parameter indicating the spread, and the larger the s is, the wider the base of the function is.
  • FIG. 9 shows a bidirectional reflectance distribution function BRDF ′ when a component that is always affected by light in all directions is included.
  • a component B that is always influenced by light in all directions may be included without depending on ⁇ d .
  • the bidirectional reflectance distribution function BRDF ′ is expressed as follows.
  • FIG. 10 shows a bidirectional reflectance distribution function BRDF ′ in which a plurality of peaks appear.
  • the bidirectional reflectance distribution function BRDF ′ may be expressed by a superposition of a plurality of (N i ) unimodal functions as follows.
  • the bidirectional reflectance distribution function BRDF ′ is formed by superimposing two unimodal functions X and Y.
  • the unimodal function that is the basis of the reflection characteristic description model may be such that a different function is selected for each coordinate x.
  • the bidirectional reflectance distribution function BRDF ′ is expressed as follows.
  • N i unimodal functions it is represented by 1 + 6 ⁇ N i parameters.
  • c i (x, y) becomes unnecessary, and is expressed by 1 + 5 ⁇ N i parameters.
  • the unimodal function g ci (s ⁇ , ⁇ d ⁇ u ⁇ , s ⁇ , ⁇ d ⁇ u ⁇ ) shown may be, for example, a Gaussian function of the following equation.
  • the parameters may be increased and expressed using a cross correlation coefficient s ⁇ . In this way, the anisotropy with respect to the direction of the texture can be reproduced more faithfully.
  • one unimodal function is limited to a Gaussian distribution only, B (x, y), A i (x, y), u ⁇ i (x, y), u ⁇ i (x, y), s ⁇ i (x, y), s ⁇ i (x, y), and s ⁇ i (x, y).
  • N i unimodal functions it is represented by 1 + 6 ⁇ N i parameters.
  • N x ⁇ 1920, N y 1080
  • 8 bits per pixel about 13.4 Tbits are required.
  • each bit needs further consideration, but at least if the reflection characteristics can be approximated by a superposition of multiple unimodal functions, the amount of information is much larger than the resolution for the direction of the incident light acquired. Can be compressed.
  • the present embodiment relates to an imaging apparatus and an imaging method for measuring reflection characteristics of an object.
  • FIG. 12 shows a main configuration of the imaging apparatus according to the present embodiment.
  • the imaging device 30 includes an imaging unit 2, a control unit 6, and a light source unit 8.
  • the control unit 6 further includes a specifying unit 4 and a light source control unit 10.
  • the imaging unit 2 images an object irradiated with light from an irradiation pattern obtained by combining a plurality of light sources.
  • the light source unit 8 includes a plurality of light sources that irradiate light on the object.
  • the “light source” in the present specification may be a lighting device or an object that emits light by itself, or may be an object that reflects light from the lighting device or the like and indirectly irradiates the object with light. .
  • the specifying unit 4 of the control unit 6 specifies the reflectance of the light of each light source to the imaging unit 2 (imaging direction) from the captured image captured by the imaging unit 2. Further, the light source control unit 10 of the control unit 6 controls light irradiation by a plurality of light sources of the light source unit 8.
  • FIG. 13 shows a schematic diagram of an imaging method by the imaging device 30 according to the present embodiment.
  • the light source unit 8 has a plurality of light sources L 1 to L 8 .
  • the light source control unit 10 causes the light sources L 1 to L 8 of the light source unit 8 to irradiate the object with light with different irradiation patterns.
  • the specifying unit 4 specifies the reflectance for each light source at the point X of the target object by calculating the intensity of light reflected at the point X on the target object and reflected in the captured image of the imaging unit 2 at that time. .
  • the light source control unit 10 causes the plurality of light sources L 1 to L 8 of the light source unit 8 to irradiate the object with light according to the irradiation patterns of (1), (2),.
  • the imaging unit 2 captures an object irradiated with light.
  • the specifying unit 4 reflects the light intensity I X (1) , I X (2) ,..., I X (8) in the captured image of the imaging unit 2 by being reflected at the point X on the object. Based on the above, the specifying unit 4 specifies the reflectance for each light source.
  • the light intensities I X (1) , I X (2) ,..., I X (8) in the captured image are the reflectances of the respective light sources at the point X of the object, R X1 , R X2,. , R X8, the intensity of incident light of each light source of each illumination pattern ⁇ L 1 (1), L 2 (1), ..., L 8 (1) ⁇ , ⁇ L 1 (2), L 2 (2 ), ..., L 8 (2 ) ⁇ , ..., ⁇ L 1 (8), L 2 (8), ...,
  • the specifying unit 4 can specify the reflectivity R X1 , R X2 ,..., R X8 of each light source at the point X of the object. Note that the solving method of the simultaneous equations by the specifying unit 4 can be reduced to a matrix calculation using the coefficients of the simultaneous equations as components, but the specific processing is not limited to this embodiment.
  • the reflectances R X1 , R X2 ,..., R X8 of the light sources to be specified are eight, light is used as an object with at least eight types of irradiation patterns using a plurality of light sources L 1 to L 8.
  • An irradiated captured image is required. That is, a captured image in which light is irradiated on an object with an irradiation pattern equal to the number of light sources is necessary.
  • a captured image by the imaging unit 2 is captured brightly, and noise can be reduced. Thereby, a more accurate reflection characteristic of the object can be measured.
  • the irradiation pattern by the plurality of light sources is preferably obtained by causing more than half of the plurality of light sources L 1 to L 8 to emit light.
  • more than half of the light sources emit light in each irradiation pattern, so that a captured image by the imaging unit 2 is captured brighter, and a plurality of captured images from the same light source are obtained. Data can be obtained and noise can be reduced.
  • the irradiation pattern includes an irradiation pattern obtained by inverting another irradiation pattern.
  • FIG. 14 shows a schematic diagram of the imaging method in this case.
  • the light source unit 8 has a plurality of light sources L 1 to L 8 .
  • imaging is performed by irradiating light with a certain irradiation pattern (1+) and an irradiation pattern (1-) obtained by inverting the irradiation pattern (1+). Get an image.
  • the intensity of leakage light and B X the light intensity I X (1), I X (2), ..., I X (8) is expressed as follows.
  • FIG. 15 shows an example of a specific irradiation method from a plurality of light sources in the imaging apparatus 30.
  • a liquid crystal display is used as the light source unit 8
  • each block obtained by dividing the liquid crystal display into a plurality of light sources can be used as one light source L. That is, the light source control unit 10 can irradiate the object K with a plurality of irradiation patterns by controlling lighting of each block of the liquid crystal display.
  • the irradiation pattern is preferably an irradiation pattern corresponding to the Hadamard base.
  • the irradiation pattern corresponding to the Hadamard base is an irradiation pattern obtained by the following steps.
  • Each component of the Hadamard basis expressed in a matrix is made to correspond to a position on the irradiation pattern corresponding to a position on the matrix of the component.
  • the position on the irradiation pattern corresponding to the component is set to the light emission state (for example, the highest gradation).
  • the position on the irradiation pattern corresponding to the component is set to a non-light emitting state (for example, the lowest gradation).
  • the irradiation pattern corresponding to the Hadamard base is a matrix-represented Hadamard base, and for the component “+1”, the position on the irradiation pattern corresponding to the position on the matrix of the component is set to the light emission state.
  • Component “ ⁇ 1” is an irradiation pattern obtained by setting the position on the irradiation pattern corresponding to the position on the matrix of the component to the non-light emitting state.
  • the light source in the irradiation pattern corresponding to the Hadamard base, the light source is in a light emitting state or a non-light emitting state.
  • the reflectance of each light source can be specified.
  • FIG. 17 shows an actual captured image obtained by irradiating the object with light with a plurality of irradiation patterns corresponding to the Hadamard base. In the figure, captured images using 77 irradiation patterns are shown.
  • the configuration for specifying the reflection characteristic of the object using the captured image that is, the still image has been described.
  • the reflection characteristic of the object may be specified using the captured image, that is, the moving image, instead of the captured image. .
  • the image pickup unit 2 picks up an object by periodically repeating N irradiation patterns, and the specifying unit 4 performs motion compensation prediction for determining the reflection characteristics of each frame. More specifically, the specifying unit 4 specifies the reflection characteristics by the following procedure.
  • the bill recess 2 starts shooting with the object stationary, and the specifying unit 4 specifies the reflection characteristics.
  • the light source control unit 10 causes the light sources L 1 to L 8 of the light source unit 8 to irradiate the object with eight irradiation patterns as described above, and the imaging unit 2 The object irradiated with is imaged.
  • the specifying unit 4 reflects at the point (x, y) on the object at time t and reflects the light intensity I (t, x, y) in the captured image of the imaging unit 2 for each light source. Is identified.
  • the light intensity I (t, x, y) is the reflectance of each light source at the point (x, y) of the object, R 1 (t, x, y), R 2 (t, x, y). y), ..., R 8 ( t, x, y), the intensity of the ⁇ L 1 (t), L 2 (t), ..., L 8 (t) ⁇ of the incident light of each light source of each illumination pattern Then, it is expressed as follows.
  • R 2 (0, x, y) R 2 (1, x, y)
  • ... R 2 (7, x, y)
  • the reflectances R 1 (t, x, y), R 2 (t, x, y),..., R 8 (t, x, y) of each of the light sources ⁇ 7 can be specified.
  • the specifying unit 4 obtains the light intensity I ′ (t, x, y) in the predicted image at the time t using the reflectance at the time t ⁇ 1 as follows.
  • the specifying unit 4 performs motion compensation prediction based on the light intensity I (t, x, y) in the captured image and the light intensity I ′ (t, x, y) in the predicted image. Specifically, the specifying unit 4 divides the light intensity I (t, x, y) in the captured image into predetermined rectangular areas, and obtains ⁇ x, ⁇ y that minimizes the following expression for each rectangular area.
  • the specifying unit 4 has initial values R ′ 1 (t, x, y), R ′ 2 (t, x, y),..., R ′ 8 (t, x, y), the intensity of light I ′ 0 (x, y), I ′ 1 (x, y),..., I ′ 6 ( x, y) is obtained as follows.
  • I ′ 0 (x, y) R ′ 1 (t, x, y) L 1 (t ⁇ 8) + R ′ 2 (t, x, y) L 2 (t ⁇ 8)... + R ′ 8 (t, x, y) L 8 (t-8)
  • I ′ 1 (x, y) R ′ 1 (t, x, y) L 1 (t ⁇ 7) + R ′ 2 (t, x, y) L 2 (t ⁇ 7)...
  • the values of the light intensities I ′ 0 (x, y), I ′ 1 (x, y),..., I ′ 6 (x, y) in the predicted image obtained by the above formula are less than the minimum value. Is corrected to 0, and when it exceeds the maximum value, it is corrected to 1.
  • the specifying unit 4 determines the light intensity I ′ 0 (x, y), I ′ 1 (x, y),..., I ′ 6 (x, y) in the predicted image. , And the light intensity I (t, x, y) in the captured image, the reflectances R 1 (t, x, y), R 2 (t, x, y),... , R 8 (t, x, y) is obtained.
  • I ′ 0 (x, y) R 1 (t, x, y) L 1 (t ⁇ 8) + R 2 (t, x, y) L 2 (t ⁇ 8)... + R 8 (t, x, y ) L 8 (t-8)
  • the present embodiment relates to a display device and a display method for expressing the texture of an object live.
  • FIG. 18 shows a main configuration of the display device according to the present embodiment.
  • the display device 40 includes an inclination detection unit 12, a virtual light source data acquisition unit 14, an object image data acquisition unit 16, a control unit 18, and a display unit 20.
  • the control unit 18 further includes a virtual light source position determination unit 181 (determination unit) and a display processing unit 182 (derivation unit).
  • the tilt detection unit 12 detects the tilt of the display device 40.
  • the inclination detection unit 12 for example, an acceleration sensor can be used.
  • the virtual light source data acquisition unit 14 acquires virtual light source data (light environment image) indicating the light environment in which the texture of the object is to be expressed.
  • the virtual light source data may be data indicating the light environment during actual observation, or may be image data or video data indicating an arbitrary light environment such as a landscape image or a landscape video.
  • the object image data acquisition unit 16 acquires image data of an object for which a texture is to be expressed and reflection characteristic data of the object.
  • the reflection characteristic data may be, for example, reflection characteristic data obtained by the method shown in the first embodiment or the second embodiment.
  • the virtual light source position determination unit 181 of the control unit 18 determines the position of the virtual light source with respect to the display device 40 based on the tilt of the display device 40 detected by the tilt detection unit 12. Specifically, the virtual light source position determination unit 181 refers to the virtual light source data acquired by the virtual light source data acquisition unit 14 and expresses the position of the light source in the light environment indicated by the virtual light source data as the texture of the object. The position of the virtual light source in the light environment is fixed. Further, the virtual light source position determination unit 181 determines the position of the virtual light source with respect to the display device 40 based on the tilt of the display device 40 detected by the tilt detection unit 12. The technical meaning of “the position of the virtual light source with respect to the display device 40” will be described later.
  • the display processing unit 182 of the control unit 18 uses the virtual light source data acquired by the virtual light source data acquisition unit 14 and the object image data and reflection characteristic data acquired by the object image data acquisition unit 16 to display the display device. 40, an image showing the object irradiated with light from the virtual light source at the position determined by the virtual light source position determining unit 181 is generated.
  • the display unit 20 displays the image generated by the display processing unit 182.
  • FIG. 19 shows a schematic diagram of a display method by the display device 40 according to the present embodiment.
  • the virtual light source position determination unit 181 refers to the virtual light source data acquired by the virtual light source data acquisition unit 14, and the light source in the light environment indicated by the virtual light source data Is fixed as the position of the virtual light source L ′ in the light environment in which the texture of the object is to be expressed. Further, the virtual light source position determination unit 181 determines the position of the virtual light source L ′ with respect to the display device 40 based on the tilt of the display device 40 detected by the tilt detection unit 12.
  • the display processing unit 182 uses the virtual light source data acquired by the virtual light source data acquisition unit 14 and the image data and reflection characteristic data of the object acquired by the object image data acquisition unit 16 for the display device 40. Then, an image indicating the object irradiated with light from the virtual light source L ′ at the position determined by the virtual light source position determining unit 181 is generated and displayed on the display unit 20.
  • the tilt detector 12 redetects the tilt of the display device 40, and the virtual light source position determiner 181 Based on the inclination redetected by the detection unit 12, the position of the virtual light source L ′ with respect to the display device 40 is determined again.
  • the display processing unit 182 regenerates an image indicating the object irradiated with light from the virtual light source L ′ at the position re-determined by the virtual light source position determining unit 181 with respect to the display device 40. Display.
  • the position of the virtual light source L ′ with respect to the display device 40 is changed by tilting the display device 40 in a state where the position of the virtual light source L ′ is fixed.
  • the texture of the object is expressed live. can do.
  • FIG. 20 is a diagram illustrating a coordinate system including the display device 40 and the virtual light source L ′.
  • the xyz coordinates are taken with the vertical direction (downward direction in the drawing) taken as the negative direction of the z-axis.
  • the center coordinate of the display device 40 is M, its zenith angle is ⁇ o, and its azimuth angle is ⁇ o .
  • the virtual light source position determination unit 181 can obtain the zenith angle ⁇ o and the azimuth angle ⁇ o of the central coordinate M from the tilt detection of the display device 40 by the tilt detection unit 12. Further, it is assumed that the display device 40 is on a plane perpendicular to a straight line from the origin O of the coordinate system to the center coordinate M.
  • the virtual light source position determination unit 181 refers to the virtual light source data acquired by the virtual light source data acquisition unit 14, and indicates the position of the light source in the light environment indicated by the virtual light source data to express the texture of the object. Fixed as the position of the virtual light source in the environment.
  • the zenith angle of the virtual light source is ⁇ i and the azimuth angle is ⁇ i .
  • the virtual light source position determination unit 181 can obtain the zenith angle ⁇ i and the azimuth angle ⁇ i of the virtual light source from the virtual light source data.
  • the virtual light source position determination unit 181 determines the position of the virtual light source L ′ with respect to the display device 40 when the zenith angle ⁇ o and the azimuth angle ⁇ o of the center coordinate M of the display device 40 and the zenith angle ⁇ i of the virtual light source. And azimuth angle ⁇ i are determined.
  • the image generated by the display processing unit 182 is such that light from the virtual light source L ′ is applied to the object and the light reflected by the object is displayed at the position of the display device 40. It is a captured image. Therefore, the radiance incident on the object from the virtual light source L ′ is L ( ⁇ i , ⁇ i ), the radiance reflected from the object to the display device 40 is V ⁇ o, ⁇ o, and the display device 40 from the object is displayed.
  • BRDF ⁇ o, ⁇ o be the reflection characteristic of the light reflected to
  • the display processing unit 182 derives the changed radiance V ⁇ o, ⁇ o by obtaining the changed reflection characteristic BRDF ⁇ o, ⁇ o using the reflection characteristic data acquired by the object image data acquisition unit 16. Can do. In this way, the display device 40 can express the texture of the object live.
  • the virtual light source data may be image data or video data indicating an arbitrary light environment such as a landscape image or a landscape video.
  • the display processing unit 182 derives reproduction light that reproduces the light environment indicated by the virtual light source data, and the display device 40 is irradiated with the reproduction light from the virtual light source at the position determined by the virtual light source position determination unit 181. An image showing the target object is generated.
  • the light environment of the travel destination can be reproduced.
  • a plurality of virtual light source data it is possible to reproduce the light environment in various places. For example, when performing online shopping or the like, if this embodiment is used for a desire to confirm the appearance and texture of an object in various places, the user can stay in various places and stay in various places. The light environment can be reproduced and the texture of the object can be expressed live. Thus, according to the present embodiment, it is possible to eliminate temporal and spatial restrictions when expressing the texture of an object.
  • FIG. 21 is a diagram illustrating a main configuration of the display device 50 according to the present modification.
  • the display device 50 is different in that it includes a position detection unit 22 instead of the inclination detection unit 12.
  • the position detection unit 22 detects the position of the display device 50.
  • a position information sensor can be used as the position detection unit 22 for example.
  • the virtual light source position determination unit 181 of the control unit 18 determines the position of the virtual light source with respect to the display device 50 based on the position of the display device 50 detected by the position detection unit 22. Specifically, the virtual light source position determination unit 181 refers to the virtual light source data acquired by the virtual light source data acquisition unit 14 and expresses the position of the light source in the light environment indicated by the virtual light source data as the texture of the object. The position of the virtual light source in the light environment is fixed. Further, the virtual light source position determination unit 181 determines the position of the virtual light source with respect to the display device 50 based on the position of the display device 50 detected by the position detection unit 22.
  • the virtual light source position determination unit 181 determines the position from the distance and angle of the virtual light source with respect to the display device 50, and the virtual light source at the determined position.
  • the display processing unit 182 can generate an image showing the object irradiated with light and display it on the display unit 20.
  • FIG. 22 is a diagram illustrating a main configuration of the display device 60 according to the present modification.
  • the display device 60 is different in that it includes an angle detection unit 24 instead of the inclination detection unit 12.
  • the angle detection unit 24 detects the direction (direction) of the display device 50.
  • a geomagnetic sensor can be used as the angle detector 24 for example.
  • the virtual light source position determination unit 181 of the control unit 18 determines the position of the virtual light source with respect to the display device 60 based on the orientation of the display device 60 detected by the angle detection unit 24. Specifically, the virtual light source position determination unit 181 refers to the virtual light source data acquired by the virtual light source data acquisition unit 14 and expresses the position of the light source in the light environment indicated by the virtual light source data as the texture of the object. The position of the virtual light source in the light environment is fixed. Further, the virtual light source position determination unit 181 determines the position of the virtual light source with respect to the display device 60 based on the orientation of the display device 60 detected by the angle detection unit 24.
  • the virtual light source position determination unit 181 determines the position from the angle of the virtual light source with respect to the display device 60, and light is emitted from the virtual light source at the determined position.
  • An image showing the irradiated object can be generated by the display processing unit 182 and displayed on the display unit 20.
  • FIG. 23 is a diagram showing a main configuration of a display device 70 according to this modification.
  • the display device 70 is different in that it includes an input receiving unit 26 instead of the inclination detecting unit 12.
  • the input receiving unit 26 receives an input from the observer, and receives an input of the position of the virtual light source set by the observer.
  • a touch sensor provided in the display unit 20 can be used.
  • an image or the like indicating the positional relationship between the display device 70 and the virtual light source is displayed on the display unit 20, and the position of the virtual light source displayed in the image is changed by tracing on the touch sensor of the display unit 20. By doing so, the position of the virtual light source can be input.
  • the virtual light source position determination unit 181 of the control unit 18 determines the position of the virtual light source with respect to the display device 70 based on the position of the virtual light source received by the input reception unit 26. Specifically, the virtual light source position determination unit 181 refers to the virtual light source data acquired by the virtual light source data acquisition unit 14 and expresses the position of the light source in the light environment indicated by the virtual light source data as the texture of the object. The position of the virtual light source in the light environment is fixed. Further, the virtual light source position determining unit 181 determines the position of the virtual light source with respect to the display device 70 based on the position of the virtual light source received by the input receiving unit 26.
  • the display processing unit 182 generates an image showing the object irradiated with light from the virtual light source at the position determined by the observer by determining the position of the virtual light source at the desired position by the observer, It can be displayed on the display unit 20.
  • control blocks of the imaging device 30 and the display devices 40 to 70 may be realized by a logic circuit (hardware) formed in an integrated circuit (IC chip) or the like, or by software using a CPU (Central Processing Unit). It may be realized.
  • a logic circuit hardware
  • IC chip integrated circuit
  • CPU Central Processing Unit
  • the imaging device 30 and the display devices 40 to 70 include a CPU that executes instructions of a program that is software for realizing each function, and a ROM in which the program and various data are recorded so as to be readable by the computer (or CPU).
  • a CPU Read Only Memory
  • a storage device these are referred to as “recording media”
  • RAM Random Access Memory
  • the objective of this invention is achieved when a computer (or CPU) reads the said program from the said recording medium and runs it.
  • a “non-temporary tangible medium” such as a tape, a disk, a card, a semiconductor memory, a programmable logic circuit, or the like can be used.
  • the program may be supplied to the computer via an arbitrary transmission medium (such as a communication network or a broadcast wave) that can transmit the program.
  • an arbitrary transmission medium such as a communication network or a broadcast wave
  • one embodiment of the present invention can also be realized in the form of a data signal embedded in a carrier wave, in which the program is embodied by electronic transmission.
  • the imaging device 30 includes an imaging unit 2 that captures an object irradiated with light from an irradiation pattern obtained by combining a plurality of light sources, and an image captured by the imaging unit 2. And a specifying unit 4 that specifies the reflectance of the light from the light source to the imaging unit 2.
  • a captured image by the imaging unit 2 is captured brightly and noise can be reduced. Thereby, a more accurate reflection characteristic of the object can be measured.
  • the irradiation pattern may include an irradiation pattern corresponding to a Hadamard base.
  • the light source in the irradiation pattern corresponding to the Hadamard base, the light source is in a light emitting state or a non-light emitting state. Therefore, by adding or subtracting the intensity of light obtained from the captured image, it is easy to The reflectance of each light source at a specific point can be specified.
  • the irradiation pattern may include an irradiation pattern obtained by inverting another irradiation pattern.
  • the light component from the plurality of light sources and the leaked light component can be separated by including an irradiation pattern obtained by inverting another irradiation pattern in the irradiation pattern.
  • the irradiation pattern is obtained by causing more than half of the plurality of light sources to emit light. May be.
  • the picked-up image by the image pick-up part 2 is image
  • the imaging method includes an imaging step of imaging an object irradiated with light from an irradiation pattern obtained by combining a plurality of light sources, and light of each of the light sources from an image captured in the imaging step. Specifying the reflectance in the imaging direction.
  • the display devices 40 to 60 are display devices 40 to 60 that display an object, and are virtual to the display devices 40 to 60 according to the position or orientation of the display devices 40 to 60.
  • a determination unit virtual light source position determination unit 181 that determines the position of the light source, and the display device 40 to 60, the object irradiated with light from the virtual light source at the position determined by the determination unit
  • a display processing unit 182 for displaying
  • the texture of the object can be reduced by displaying the image in which the reflection characteristic of the object with respect to the light from the virtual light source is changed according to the change in the position of the virtual light source with respect to the display devices 40 to 60. It can be expressed live.
  • a display device 70 is a display device 70 that displays an object, and refers to an input receiving unit 26 that receives an input from a user and the input from the user that is received by the input receiving unit 26. Then, a determination unit (virtual light source position determination unit 181) that determines the position of the virtual light source with respect to the display device 70 and light from the virtual light source at the position determined by the determination unit with respect to the display device 70 A display processing unit 182 for displaying the irradiated object.
  • a determination unit virtual light source position determination unit 181 that determines the position of the virtual light source with respect to the display device 70 and light from the virtual light source at the position determined by the determination unit with respect to the display device 70
  • a display processing unit 182 for displaying the irradiated object.
  • the texture of the object can be expressed live.
  • the display devices 40 to 70 according to aspect 8 of the present invention refer to the light environment image showing an arbitrary light environment in the above-described aspect 6 or 7, and a derivation unit (display) that derives reproduction light that reproduces the light environment.
  • the display processing unit 182 may further display the target object irradiated with the reproduction light as light from the virtual light source.
  • the light environment of the travel destination can be reproduced by using the image data of the landscape image of the travel destination as the virtual light source data. Further, by using a plurality of virtual light source data, it is possible to reproduce the light environment in various places.
  • the time and space restrictions at the time of expressing the texture of a target object can be eliminated.
  • the display method according to the ninth aspect of the present invention is a display method in which the display devices 40 to 60 display an object, and the virtual devices for the display devices 40 to 60 are displayed according to the position or orientation of the display devices 40 to 60.
  • the display method according to the tenth aspect of the present invention is a display method in which the display device 70 displays an object, and refers to an input receiving step for receiving an input from a user and the input from the user received in the input receiving step. Then, a determination step for determining the position of the virtual light source with respect to the display device 70, and the object irradiated with light from the virtual light source at the position determined in the determination step is displayed on the display device 70. And a display processing step.
  • the imaging device 30 and the display devices 40 to 70 according to each aspect of the present invention may be realized by a computer.
  • each unit (software element) included in the imaging device 30 and the display devices 40 to 70 is provided with the computer.
  • the programs of the imaging device 30 and the display devices 40 to 70 that cause the imaging device 30 and the display devices 40 to 70 to be realized by a computer by operating them as well as the computer-readable recording medium on which the programs are recorded are also included in the scope of the present invention. to go into.
  • Imaging unit 4 Identification unit 6, 18 Control unit 8
  • Light source unit 10 Light source control unit 12
  • Detection unit 14 Virtual light source data acquisition unit 16
  • Object image data acquisition unit 181 Virtual light source position determination unit 182
  • Display processing unit 20 Display unit 22
  • Position detection Unit 24 angle detection unit 26 input reception unit 30 imaging device 40 to 70 display device

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Pathology (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)

Abstract

対象物のより正確な反射特性を測定する。撮像装置（３０）は、複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する撮像部（２）と、上記撮像部（２）が撮像した画像から、各上記光源の光の上記撮像部（２）への反射率を特定する特定部（４）と、を備えている。

Description

撮像装置、撮像方法、及び表示装置
　本発明は、撮像装置、撮像方法、及び表示装置に関する。
　画像処理により、物体に質感を持たせた画像を生成するためには、当該物体に対する照射光の影響も再現する必要がある。例えば、特許文献１には、対象物の画素ごとの反射率特性を表す双方向反射率分布関数を得るための画像処理装置が開示されている。
　具体的には、特許文献１には、対象物と撮像装置との角度を変化させながら対象物を撮像することによって得られる画像データから、画素ごとの双方向反射率分布関数を算出する画像処理装置が開示されている。
特開２０１２－１５５６２４号公報（２０１２年８月１６日公開）
　上述の双方向反射率分布関数は、対象物の位置（x,y）、入射光の方向（θin,φin）、反射光の方向（θout,φout）の６つの変数の関数となっており次元量が多いため、画像処理に要する計算量が多い。
　そこで、対象物の反射率特性を直接測定する方法が提案されている。具体的には、複数の光源を１つずつ順番に光らせ、特定の点で当該光源の光を受けて反射したときに撮像装置に映る光の強さを観測し、当該特定の点における光源ごとの反射特性を求める方法である。
　しかしながら、複数の光源を１つずつ光らせた場合に撮像装置に映る光の強さは弱く、ノイズが大きいため、対象物の正確な反射特性を測定しにくい。
　そこで、本発明は、上記の問題点に鑑みてなされたものであり、その第１の目的は、対象物のより正確な反射特性を測定することができる撮像装置及び撮像方法を提供することにある。
　また、上述の特許文献１に開示されている技術は、予め入力された画像データに基づいて双方向反射率分布関数を算出し、物体に質感を持たせた画像を生成するものであるため、観察者が対象物の質感をライブ的に感得することができないという問題がある。
　そこで、本発明は、上記の問題点に鑑みてなされたものであり、その第２の目的は、観察者が対象物の質感をライブ的に感得することができる表示装置及び表示方法を提供することにある。
　上記の課題を解決するために、本発明の一態様に係る撮像装置は、複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する撮像部と、上記撮像部が撮像した画像から、各上記光源の光の上記撮像部への反射率を特定する特定部と、を備えている。
　また、上記の課題を解決するために、本発明の一態様に係る撮像方法は、複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する撮像ステップと、上記撮像ステップにおいて撮像した画像から、各上記光源の光の撮像方向への反射率を特定する特定ステップと、を含む。
　また、上記の課題を解決するために、本発明の一態様に係る表示装置は、対象物を表示する表示装置であって、上記表示装置の位置または向きに応じて、上記表示装置に対する仮想光源の位置を決定する決定部と、上記表示装置に対して、上記決定部が決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理部と、を備えている。
　また、上記の課題を解決するために、本発明の一態様に係る表示装置は、対象物を表示する表示装置であって、ユーザから入力を受け付ける入力受付部と、上記入力受付部が受け付けた上記ユーザからの入力を参照して、上記表示装置に対する仮想光源の位置を決定する決定部と、上記表示装置に対して、上記決定部が決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理部と、を備えている。
　また、上記の課題を解決するために、本発明の一態様に係る表示方法は、表示装置が対象物を表示する表示方法であって、上記表示装置の位置または向きに応じて、上記表示装置に対する仮想光源の位置を決定する決定ステップと、上記表示装置に対して、上記決定ステップにおいて決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理ステップと、を含む。
　また、上記の課題を解決するために、本発明の一態様に係る表示方法は、表示装置が対象物を表示する表示方法であって、ユーザから入力を受け付ける入力受付ステップと、上記入力受付ステップにおいて受け付けた上記ユーザからの入力を参照して、上記表示装置に対する仮想光源の位置を決定する決定ステップと、上記表示装置に対して、上記決定ステップにおいて決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理ステップと、を含む。
　本発明の一態様によれば、対象物のより正確な反射特性を測定することができる。
　また、本発明の一態様によれば、観察者が対象物の質感をライブ的に感得することができる。
本発明の一実施形態に係る反射特性記述モデルの概要を示す図である。 本発明の一実施形態に係る反射特性記述モデルの概要を示す図である。 対象物に照明を照射した状態を示す図である。 対象物に照明を照射した状態を示す図である。 対象物に照明を照射したときの反射光と入射光との差分を示す図である。 図中の（ａ）は、対象物に複数の照明を照射した状態を示し、（ｂ）は、その場合の双方向反射率分布関数を示す図である。 図中の（ａ）は、対象物に複数の照明を照射した状態を示し、（ｂ）は、その場合の双方向反射率分布関数を示す図である。 図中の（ａ）は、対象物に複数の照明を照射した状態を示し、（ｂ）は、その場合の双方向反射率分布関数を示す図である。 常に全方向の光の影響を受ける成分が含まれている場合の双方向反射率分布関数を示す図である。 複数の峰が現れる双方向反射率分布関数を示す図である。 座標ｘごとに選択される関数の例を示す図である。 本発明の一実施形態に係る撮像装置の要部構成を示す図である。 本発明の一実施形態に係る撮像装置による撮像方法の概略を示す図である。 本発明の一実施形態に係る撮像方法の概略を示す図である。 本発明の一実施形態に係る撮像装置における複数の光源からの具体的な照射方法の一例を示す図である。 本発明の一実施形態に係る光源部による照射パターンの具体例を示す図である。 アダマール基底に対応する複数の照射パターンで光を対象物に照射して撮像した実際の撮像画像を示す図である。 本発明の一実施形態に係る表示装置の要部構成を示す図である。 本発明の一実施形態に係る表示装置による表示方法の概略を示す図である。 本発明の一実施形態に係る表示装置及び仮想光源を含む座標系を示す図である。 本発明の一変形例に係る表示装置の要部構成を示す図である。 本発明の一変形例に係る表示装置の要部構成を示す図である。 本発明の一変形例に係る表示装置の要部構成を示す図である。
　〔実施形態１〕
　以下、本発明の実施の形態について、詳細に説明する。
　（反射特性記述特性モデル）
　本実施形態は、対象物の反射特性を求めるための反射特性記述モデルに関するものである。本実施形態に係る反射特性記述モデルの概要を図１及び図２に示す。
　図１に示すように、本実施形態に係る反射特性記述モデルは、双方向反射率分布関数ＢＲＤＦの６つの変数である対象物Ｋの位置（x,y）、入射光の方向（θin,φin）、反射光の方向（θout,φout）のうち、反射光の方向（θout,φout）を固定し、対象物Ｋの位置（x,y）、入射光の方向（θin,φin）の４つの変数を持つ反射特性記述モデルとなっている。
　つまり、本実施形態では、図２の（ａ）に示すように、種々の方向（θin,φin）から光が対象物Ｋに対して入射した場合に、特定の方向（θout,φout）に反射する光を捉えたときの反射特性記述モデルとなる。具体的には、図２の（ｂ）に示すように、対象物Ｋにおける種々の位置（x,y）において、特定の方向（θout,φout）に反射する光を捉えたときの反射特性記述モデルとなる。この際、図２の（ｃ）に示すように、入射光の方向（θin,φin）の分解能をそれぞれＮθ,Ｎφとすると、対象物Ｋの位置（x,y）における双方向反射率分布関数ＢＲＤＦは、Ｎθ×Ｎφよりも少ない数のパラメータ数Ｍでモデル化することができる。
　（導出方法）
　本実施形態に係る反射特性記述モデルの導出方法について、より詳細に説明する。
　まず、３次元空間上にある方向は、２つの角度θ,φを使って示されるが、ここでは説明を簡略化するため、２次元平面上で説明し、方向を示す変数については主にθを使って表現するものとする。
　図３に、対象物Ｋに照明を照射した状態を示す。対象物Ｋが、照明Ｌｋによって照射され、対象物Ｋ上の点が撮像器で撮像されたときの撮像画像上の座標をｘｉとすると、座標ｘｉにおける光の強さＩ（ｘｉ）は、反射率ｒｉｋを使って以下のように表される。
　　Ｉ（ｘｉ）＝ΣＬｋｒｉｋ
　例えば、図３に示すように、照明が２つ（Ｌ１,Ｌ２）であり、対象物Ｋ上の３点（ｘ１～ｘ３）が撮像器で撮像された場合、各点における光の強さＩ（ｘ１）～Ｉ（ｘ３）は、以下のように表される。
　　Ｉ（ｘ１）＝Ｌ１ｒ１１＋Ｌ２ｒ１２
　　Ｉ（ｘ２）＝Ｌ１ｒ２１＋Ｌ２ｒ２２
　　Ｉ（ｘ３）＝Ｌ１ｒ３１＋Ｌ２ｒ３２
　すなわち、反射特性は、撮像画像上の座標の位置に依存する項目ｉと、照明の方向に依存する項目ｋという２つの依存関係を捉えることにより、対象物Ｋが任意の方向から任意の強度の光を受けたときの見え方が決定される。
　続いて、上述の内容を、双方向反射率分布関数ＢＲＤＦを用いて一般的に記述する場合について、図４を参照して説明する。図４は、対象物Ｋに照明を照射した状態を示す図である。
　図４に示すように、Ｐ１の点が撮像器で撮像されたときの撮像画像上の座標をｘ１、
　点Ｐ１における法線方向をｎ（ｘ１）、
　点Ｐ１に入射する光の方向と法線方向ｎ（ｘ１）とがなす角をθｉｎ、
　点Ｐ１から反射する光の方向と法線方向ｎ（ｘ１）とがなす角をθｏｕｔ（ｘ１）、
　点Ｐ１に対して、θｏｕｔ（ｘ１）を基準としたときにθｉｎ方向から入射する光をＬ（θｉｎ－θｏｕｔ（ｘ１））、
　点Ｐ１からθｏｕｔ（ｘ１）方向に反射して撮像される光の強さをＩ（ｘ１）、
　点Ｐ１における双方向反射率分布関数ＢＲＤＦの特性がＢＲＤＦ（ｘ１,θｉｎ,θｏｕｔ）と表せる場合、以下の関係が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　一般に、照明はあらゆる方向から照射されるため、θｉｎについて積分して求める必要があるため、上記の関係は以下の通りになる。
Figure JPOXMLDOC01-appb-M000002
　例えば、この性質を利用し、対象物の面の法線方向ｎ（ｘ１）と、その法線方向に対する反射角θｏｕｔ（ｘ１）と、入射角及び反射角に基づいて求められる特性ＢＲＤＦ（ｘ１,θｉｎ,θｏｕｔ）が座標ｘ１ごとに記録されているとすれば、上記の式に基づき、表示装置に照射される光Ｌ（θｉｎ－θｏｕｔ（ｘ１））を観測しながら光の強さＩ（ｘ１）を表示装置に表示することにより、対象物の光沢感及び素材の粗さ等の質感を再現することができる。
　しかし、この性質を利用し、情報を記録する場合には、双方向反射率分布関数ＢＲＤＦの記録に２次元空間上では３次元の情報（つまり、３次元空間上では６次元の情報）を記録する必要があり、膨大な情報量を必要とする。
　ここで、図５に、対象物Ｋに照明を照射したときの反射光と入射光との差分を示す。図５に示すように、反射光と入射光との差分の角度をθｄとすると、以下の通りに表される。
　　θｄ＝θｉｎ－θｏｕｔ（ｘ１）
　つまり、入射角θｉｎは、以下の通りに表される。
　　θｉｎ＝θｄ＋θｏｕｔ（ｘ１）
　光の強さＩ（ｘ１）は、θｉｎを上記の式によって置き換えると、以下の通りに表される。
Figure JPOXMLDOC01-appb-M000003
　ここで、θｏｕｔ（ｘ１）－ｎ（ｘ１）は、θｄに依存しないことに注意すると、この計算の場合においては、双方向反射率分布関数ＢＲＤＦは、θｄに変化する成分のみを必要とするので、双方向反射率分布関数ＢＲＤＦの第３引数は不必要となる。つまり、θｏｕｔ（ｘ１）－ｎ（ｘ１）は、θｄに対して変化しないことを前提に書き直すと、下記のように記述できる。
Figure JPOXMLDOC01-appb-M000004
　このように、θｏｕｔ（ｘ１）が固定（つまり、撮影（観測）方向が一定）であり、さらに、ｎ（ｘ１）が固定（つまり、対象物の位置姿勢が一定）の場合に限定させることで、双方向反射率分布関数ＢＲＤＦは３引数必要だったものが、２引数までに次元を落とすことができる（つまり、３次元の場合には、６引数が３引数までに次元を落として表現できる）。
　従来の撮像画像は、対象物にスタジオ等の照明が当てられた結果を記録するのに対して、本実施形態では、対象物の反射特性を記録し、照明は再生環境に合わせて変化するという効果を有することができる。また、この記録方式は、被写体の３Ｄ形状を把握する必要がないので、容易に実写の反射特性を記録することができる。
　図６の（ａ）に、対象物Ｋに複数の照明を照射した状態を示し、（ｂ）に、その場合の双方向反射率分布関数ＢＲＤＦ’を示す。
　双方向反射率分布関数ＢＲＤＦ’は、θｄを変化させたときの反射特性を計測するが、θｄは離散的（例えば、Ｎθｄの分解能）に収録される。したがって、対象物に反射して撮像される光の強さＩ（ｘ１）は、下記のように表される。
Figure JPOXMLDOC01-appb-M000005
　図６の（ａ）には、Ｎθｄ＝８の場合を示している。質感を再現する場合、Ｎθｄが多い方が望ましいが、同時に情報量も増加してしまう。
　ここで、双方向反射率分布関数ＢＲＤＦ’において、ｘ１を固定した場合における、θｄがどのように変化するのかについて説明する。
　もし、対象物が磨かれた金属球のような物質だった場合、入射した光は、点Ｐ１の法線Ｔの法線ベクトルｎに対して、入射角＝反射角という関係で光を全反射する。したがって、図６の（ａ）の場合、Ｉ（ｘ１）が観測される方向と、点Ｐ１の法線ベクトルとがなす角に等しくなるような入射角の光を一番強く反射するので、図６の（ｂ）に示すように、θｄ３の反射率が最も大きくなり、それ以外の角度の光はほとんど反射しないという特性を示す。
　図７の（ａ）に、対象物Ｋに複数の照明を照射した状態を示し、（ｂ）に、その場合の双方向反射率分布関数ＢＲＤＦ’を示す。
　入射した光は、点Ｐ２の法線Ｔの法線ベクトルｎに対して、入射角＝反射角という関係で光を全反射する。したがって、図７の（ａ）の場合、Ｉ（ｘ２）が観測される方向と、点Ｐ２の法線ベクトルとがなす角に等しくなるような入射角の光を一番強く反射するので、図７の（ｂ）に示すように、θｄ２の反射率が最も大きくなり、それ以外の角度の光はほとんど反射しないという特性を示す。
　図６と図７との違いは、対象物が撮像器を通じて撮像されたときに、同じ対象物でも、ｘ１からｘ２に座標を変化させたとき、双方向反射率分布関数ＢＲＤＦ’の関数の形状はよく似ているが、反射率が最も大きくなっている点がずれているという点にある。したがって、反射特性には、この関数のずれをパラメータ化することが妥当であると考えられる。
　図８の（ａ）に、対象物Ｋに複数の照明を照射した状態を示し、（ｂ）に、その場合の双方向反射率分布関数ＢＲＤＦ’を示す。
　もし、対象物が艶消しのような物質だった場合、入射した光は、点Ｐ３の法線Ｔの法線ベクトルｎに対して、入射角＝反射角の成分で一番反射率が高くなり、角度がそこからずれるに従って、徐々に反射率が弱くなる性質を示す。
　これをグラフに示すと、Ｉ（ｘ３）が観測される方向と、点Ｐ３の法線ベクトルとがなす角に等しくなるような入射角の光を一番強く反射するので、図８の（ａ）の場合、θｄ３の反射率が最も大きくなり、それを中心に徐々に反射率が低くなるような特性を示す。
　図６～図８の例が示すように、反射特性は、θｄを変化させると、ある一点で反射率が大きくなるような単峰性の特性を示す。そして、対象物の材質によって、その関数の鋭さが異なったり、また、対象物の形状によって、最も反射率が大きくなる点が異なったりするという性質を示す。
　したがって、ある基準となる単峰性関数ｇがあった場合、その高さを表すパラメータと基準となる関数のずれを示すパラメータとを使って、双方向反射率分布関数ＢＲＤＦ’をより少ないパラメータで表すことが可能となる。
　さらには、対象物の材質によって、関数の鋭さ（広がり）も変化するパラメータを導入することでより多くの材質の反射特性を少ないパラメータで表現することができるものと考えられる。
　この例の場合、１つの座標ｘ１について、８つのパラメータがあるが、単峰性関数に基づいて表現すれば、高さ、ずれ、広がりの３つのパラメータで表現可能となる。例えば、単峰性関数として、下記のガウス関数を用いてもよい。
　　g（ｓ,θ）＝ｅｘｐ（－θ２／ｓ）
　ここで、ｓは広がりを示すパラメータであり、ｓが大きいほど、関数の裾のひろがりが広くなる。
　ｘごとに異なる、高さＡ（ｘ）、ずれｕ（ｘ）、広がりｓ（ｘ）を使って、反射特性を記述すると下記のようになる。
Figure JPOXMLDOC01-appb-M000006
　ここで、常に全方向の光の影響を受ける成分が含まれている場合の双方向反射率分布関数ＢＲＤＦ’を図９に示す。
　反射特性記述モデルの自由度を高めるために、θｄに依存せずに、常に全方向の光の影響を受ける成分Ｂが含まれていてもよい。この場合、双方向反射率分布関数ＢＲＤＦ’は、以下の通りに表される。
Figure JPOXMLDOC01-appb-M000007
　これにより、より自然な反射特性を表現することが可能となる。
　さらに、複数の峰が現れる双方向反射率分布関数ＢＲＤＦ’を図１０に示す。
　撮像される１点に、細かな構造の複雑な特性（例えば、パールホワイトのように粒子状の反射特性を持つ対象物）の場合、複数の峰が現れることが考えられる。それぞれの峰に対して、インデックスｉを付与し、双方向反射率分布関数ＢＲＤＦ’は、以下の通り、複数（Ｎｉ個）の単峰性関数の重ね合わせで表されてもよい。本図では、２つの単峰性関数Ｘ，Ｙが重ね合わせられた双方向反射率分布関数ＢＲＤＦ’となっている。
Figure JPOXMLDOC01-appb-M000008
　また、反射特性記述モデルの元となる単峰性関数は、それぞれの座標ｘごとに異なる関数が選択される形でもよい。
　座標ｘごとに選択される関数の例を図１１に示す。この場合、双方向反射率分布関数ＢＲＤＦ’は、以下の通りに表される。
Figure JPOXMLDOC01-appb-M000009
　これにより、より多様な反射特性を少ないパラメータで表現可能となる。
　これまでは、説明の簡単化のため、２次元平面上でのモデル化について議論したが、座標ｘは（ｘ,ｙ）、方向θｄは、（θｄ,φｄ）という形で示すと、下記のようになる。
Figure JPOXMLDOC01-appb-M000010
　このモデルについては、１つの単峰性関数について、Ｂ（ｘ,ｙ）、Ａｉ（ｘ,ｙ）、ｕθi（ｘ,ｙ）、ｕφi（ｘ,ｙ）、ｓθｉ（ｘ,ｙ）、ｓφｉ（ｘ,ｙ）、ｃｉ（ｘ,ｙ）の７つパラメータで表現される。Ｎｉ個の単峰性関数の合成であらわされる場合には、１＋６×Ｎｉ個のパラメータで表される。
　単峰性関数のバリエーションを１つに絞ることで、ｃｉ（ｘ,ｙ）は不要となり、１＋５×Ｎｉ個のパラメータで表される。
　ここで、示される単峰性関数ｇｃｉ（ｓθ,θｄ－ｕθ,ｓφ,φｄ－ｕφ）は、例えば、次式のガウス関数でもよい。
Figure JPOXMLDOC01-appb-M000011
　さらに、パラメータを増やし、相互相関の係数ｓθφを使って表現されていてもよい。このように表現すると、質感の方向に対する異方性をより忠実に再現できる。
Figure JPOXMLDOC01-appb-M000012
　このモデルについては、１つの単峰性関数がガウス分布のみに限定されている場合、Ｂ（ｘ,ｙ）、Ａｉ（ｘ,ｙ）、ｕθｉ（ｘ,ｙ）、ｕφｉ（ｘ,ｙ）、ｓθｉ（ｘ,ｙ）、ｓφｉ（ｘ,ｙ）、ｓθφｉ（ｘ,ｙ）の７つパラメータで表現される。Ｎｉ個の単峰性関数の合成で表される場合には、１＋６×Ｎｉ個のパラメータで表される。
　また、これらのパラメータは、直接サンプリングして観測された反射データＢＲＤＦ’（ｘ,ｙ,θｄｋ,φｄｌ）（ｋ＝１～Ｎθｄ、ｌ＝１～Ｎφｄ）に対して、下記の式を最小にすることにより、Ａｉ、Ｂ、ｓθｉ、ｕθｉ、ｓφｉ、ｕφｉを求めることができる。
Figure JPOXMLDOC01-appb-M000013
　直接観測されたＢＲＤＦ’ （ｘ,ｙ,θｄｋ,φｄｌ）（ｋ＝１～Ｎθｄ,、ｌ＝１～Ｎφｄ）を用いると、Nｘ×Ｎｙ×Ｎθｄ×Ｎφｄ次元のデータが必要となる。
　例えば、表示したい解像度がフルハイビジョン（Ｎｘ×１９２０、Ｎｙ＝１０８０）であり、入射光の角度に対するサンプリング数を１度につき１０点取得するとなると、Ｎθｄ＝３６００、Ｎφｄ＝１８００となる。このときの、１画素１色あたり８ｂｉｔで表現されたとすると、約１３．４Ｔｂｉｔ必要となる。
　一方、本手法で、反射特性を表現した場合、Ｂ,Ａｉ,ｓθｉ,ｓφｉを１６ｂｉｔ、ｕθｉを１２ｂｉｔ、ｕφｉを１３ｂｉｔ、ｃｉを１ｂｉｔ、単峰性関数の数Ｎｉを２とすると、１９２０×１０８０×（１６×４＋１２＋１３＋１）＊２＝３７３Ｍｂｉｔとなる。
　それぞれのビットの妥当性については、さらなる検討が必要であるが、少なくとも反射特性を複数の単峰性関数の重ね合わせで近似できる場合、取得された入射光の方向に対する解像度よりも大幅に情報量を圧縮することが可能となる。
　〔実施形態２〕
　本発明の他の実施形態について、詳細に説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　（撮像装置及び撮像方法）
　本実施形態は、対象物の反射特性を測定する撮像装置及び撮像方法に関するものである。本実施形態に係る撮像装置の要部構成を図１２に示す。
　図１２に示すように、本実施形態に係る撮像装置３０は、撮像部２、制御部６及び光源部８を有している。制御部６は、さらに特定部４及び光源制御部１０を有している。
　撮像部２は、複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する。また、光源部８は、対象物に光を照射する複数の光源を備えるものである。なお、本明細書における「光源」とは、自発光する照明装置及び物体等であり得るし、照明装置等からの光を反射し、対象物に光を間接的に照射する物体等でもあり得る。
　制御部６の特定部４は、撮像部２が撮像した撮像画像から、各光源の光の撮像部２（撮像方向）への反射率を特定する。また、制御部６の光源制御部１０は、光源部８の複数の光源による光の照射を制御する。
　図１３に、本実施形態に係る撮像装置３０による撮像方法の概略図を示す。本図では、光源部８は、複数の光源Ｌ１～Ｌ８を有している。撮像装置３０では、本図の（ａ）～（ｃ）に示すように、光源制御部１０は光源部８の複数の光源Ｌ１～Ｌ８を互いに異なる照射パターンで光を対象物に照射させ、そのときに対象物上の点Ｘで反射して撮像部２の撮像画像に映る光の強さを算出することにより、対象物の点Ｘにおける光源ごとの反射率を特定部４が特定する。
　より具体的には、光源制御部１０は、光源部８の複数の光源Ｌ１～Ｌ８を（１），（２），…，（８）の照射パターンで光を対象物に照射させ、撮像部２は光が照射された対象物を撮像する。特定部４は、照射パターンごとに、対象物上の点Ｘで反射して撮像部２の撮像画像における光の強さＩＸ （１），ＩＸ （２），…，ＩＸ （８）を基に光源ごとの反射率を特定部４が特定する。
　ここで、撮像画像における光の強さＩＸ （１），ＩＸ （２），…，ＩＸ （８）は、対象物の点Ｘにおける各光源の反射率をＲＸ１，ＲＸ２，…，ＲＸ８、照射パターンごとの各光源の入射光の強さを｛Ｌ１ （１），Ｌ２ （１），…，Ｌ８ （１）｝，｛Ｌ１ （２），Ｌ２ （２），…，Ｌ８ （２）｝，…，｛Ｌ１ （８），Ｌ２ （８），…，Ｌ８ （８）｝とすると、以下の通り表されるので、
　ＩＸ （１）＝ＲＸ１Ｌ１ （１）＋ＲＸ２Ｌ２ （１）＋…＋ＲＸ８Ｌ８ （１）
　ＩＸ （２）＝ＲＸ１Ｌ１ （２）＋ＲＸ２Ｌ２ （２）＋…＋ＲＸ８Ｌ８ （２）
　　・
　　・
　　・
　ＩＸ （８）＝ＲＸ１Ｌ１ （８）＋ＲＸ２Ｌ２ （８）＋…＋ＲＸ８Ｌ８ （８）
　これらの連立方程式を解くことにより、特定部４は、対象物の点Ｘにおける各光源の反射率ＲＸ１，ＲＸ２，…，ＲＸ８を特定することができる。なお、特定部４による上記連立方程式の解法は、上記連立方程式が有する係数を成分とする行列の演算に帰着させることができるが、その具体的な処理は本実施形態を限定するものではない。
　なお、特定すべき光源の反射率ＲＸ１，ＲＸ２，…，ＲＸ８は８つであるため、複数の光源Ｌ１～Ｌ８を用いて、少なくとも８種類の照射パターンで光を対象物に照射した撮像画像が必要である。つまり、光源の数の照射パターンで光を対象物に照射した撮像画像が必要である。
　このように、複数の光源を組み合わせて得られる照射パターンで対象物を照射することにより、撮像部２による撮像画像は明るく撮影され、ノイズを低減できる。これにより、対象物のより正確な反射特性を測定することができる。
　ここで、複数の光源による照射パターンは、すべての複数の光源Ｌ１～Ｌ８のうちの半数以上の光源を発光させて得られたものであることが好ましい。これにより、各照射パターンで半数以上の光源が発光することにより、撮像部２による撮像画像はより明るく撮影され、また、同じ光源が発光している撮像画像が複数得られため反射率に関して平均的なデータが得られ、ノイズを低減できる。
　（漏れ光の排除）
　実際には、環境光等の漏れ光によって、常に反射している成分が存在する。そこで、光源部８の複数の光源からの光の成分と漏れ光の成分とを分離するために、照射パターンには他の照射パターンを反転した照射パターンを含めることが好ましい。
　図１４に、この場合の撮像方法の概略図を示す。本図では、光源部８は、複数の光源Ｌ１～Ｌ８を有している。撮像装置３０では、本図の（ａ）及び（ｂ）に示すように、ある照射パターン（１＋）と、当該照射パターン（１＋）を反転した照射パターン（１－）とで光を照射した撮像画像を取得する。この場合、漏れ光の強さをＢＸとすると、光の強さＩＸ （１），ＩＸ （２），…，ＩＸ （８）は、以下の通り表される。
　ＩＸ （１＋）＝ＲＸ１Ｌ１ （１＋）＋ＲＸ２Ｌ２ （１＋）＋…＋ＲＸ８Ｌ８ （１＋）＋ＢＸ
　ＩＸ （１－）＝ＲＸ１Ｌ１ （１－）＋ＲＸ２Ｌ２ （１－）＋…＋ＲＸ８Ｌ８ （１－）＋ＢＸ
　特定部４は、これらの式の差分を取ることにより、漏れ光の成分ＢＸは取り除かれ、対象物の点Ｘにおける各光源の反射率ＲＸ１，ＲＸ２，…，ＲＸ８をより正確に特定することができる。
　（照射パターン）
　図１５に、撮像装置３０における複数の光源からの具体的な照射方法の一例を示す。本図に示すように、光源部８として液晶ディスプレイを用い、液晶ディスプレイを複数に分割して得られる各ブロックを１つの光源Ｌとすることができる。つまり、光源制御部１０は、液晶ディスプレイの各ブロックの点灯を制御することにより、複数の照射パターンで光を対象物Ｋに照射させることができる。
　ここで、光源部８による照射パターンの具体例を図１６に示す。図１６の（ａ）～（ｈ）に示すように、照射パターンは、アダマール基底に対応する照射パターンであることが好ましい。
　ここで、アダマール基底に対応する照射パターンとは、以下のステップによって得られる照射パターンである。
・行列表現されたアダマール基底の各成分を当該成分の行列上の位置に対応する照射パターン上の位置に対応させる。
・成分が＋１である場合、当該成分に対応する照射パターン上の位置を発光状態（例えば最高階調）に設定する。
・成分が－１である場合、当該成分に対応する照射パターン上の位置を非発光状態（例えば最低階調）に設定する。
　換言すれば、アダマール基底に対応する照射パターンとは、行列表現されたアダマール基底において、成分「＋１」については、当該成分の行列上の位置に対応する照射パターン上の位置を発光状態に設定し、成分「－１」については、当該成分の行列上の位置に対応する照射パターン上の位置を非発光状態に設定することによって得られる照射パターンである。
　このように、アダマール基底に対応する照射パターンでは、光源は発光状態または非発光状態になるため、撮像画像から得られる光の強さを加算または減算することにより、容易に対象物の特定の点における各光源の反射率を特定することができる。
　アダマール基底に対応する複数の照射パターンで光を対象物に照射して撮像した実際の撮像画像を図１７に示す。本図では、７７通りの照射パターンを用いた撮像画像を示している。
　（動画への応用）
　以上では、撮像画像、つまり静止画を用いて対象物の反射特性を特定する構成を説明したが、撮像画像の代わりに撮像映像、つまり動画を用いて対象物の反射特性を特定してもよい。
　この場合は、撮像部２は、Ｎ通りの照射パターンを周期的に繰り返して対象物を撮像し、特定部４は、各１フレームの反射特性を決定する動き補償予測を行う。より具体的には、特定部４は、以下の手順にて反射特性を特定する。
　<ステップ１>
　前述の静止画の場合と同様、札凹部２は、対象物を静止させた状態で撮影を開始し、特定部４は、反射特性を特定する。具体的には、光源制御部１０が、光源部８の複数の光源Ｌ１～Ｌ８を前述の場合と同様、８通りの照射パターンで光を対象物に照射させ、撮像部２は、光が照射された対象物を撮像する。特定部４は、時間ｔにおける対象物上の点(x,y)で反射して撮像部２の撮像画像における光の強さＩ(t,x,y)を基に、光源ごとの反射率を特定する。
　ここで、光の強さＩ(t,x,y)は、対象物の点(x,y)における各光源の反射率をＲ１(t,x,y)，Ｒ２(t,x,y)，…，Ｒ８(t,x,y)、照射パターンごとの各光源の入射光の強さを｛Ｌ１(t)，Ｌ２(t)，…，Ｌ８(t)｝とすると、以下の通り表される。
　Ｉ(0,x,y)＝Ｒ１(0,x,y)Ｌ１(0)＋Ｒ２(0,x,y)Ｌ２(0)＋…＋Ｒ８(0,x,y)Ｌ８(0)
　Ｉ(1,x,y)＝Ｒ１(1,x,y)Ｌ１(1)＋Ｒ２(1,x,y)Ｌ２(1)＋…＋Ｒ８(1,x,y)Ｌ８(1)
　　・
　　・
　　・
　Ｉ(t,x,y)＝Ｒ１(t,x,y)Ｌ１(t)＋Ｒ２(t,x,y)Ｌ２(t)＋…＋Ｒ８(t,x,y)Ｌ８(t)
　ここで、時間t=0～7の間、対象物が静止状態であれば、Ｒ１(0,x,y)= Ｒ１(1,x,y)…= Ｒ１(7,x,y), Ｒ2(0,x,y)= Ｒ2(1,x,y)…= Ｒ2(7,x,y),…, Ｒ8(0,x,y)= Ｒ8(1,x,y)…= Ｒ8(7,x,y)となり、前述の静止画の場合と同様、これらの連立方程式を解くことにより、特定部４は、対象物の点Ｘにおける時間t=0～7の各光源の反射率Ｒ１(t,x,y)，Ｒ２(t,x,y)，…，Ｒ８(t,x,y)を特定することができる。
　時間t=8以降については、特定部４は、以下の手順にて各光源の反射率Ｒ１(t,x,y)，Ｒ２(t,x,y)，…，Ｒ８(t,x,y)を特定することができる。
　<ステップ２>
　特定部４は、時間t-1の反射率を用いて、時間tの予測画像における光の強さＩ’(t,x,y)を次式の通り求める。
　Ｉ’(t,x,y)＝Ｒ１(t-1,x,y)Ｌ１(t)＋Ｒ２(t-1,x,y)Ｌ２(t)＋…＋ＲＸ８(t-1)Ｌ８(t)
　<ステップ３>
　特定部４は、撮像画像における光の強さＩ(t,x,y)と予測画像における光の強さＩ’(t,x,y)にて動き補償予測を行う。具体的には、特定部４は、撮像画像における光の強さＩ(t,x,y)を所定の矩形領域に分割し、矩形領域毎に次式を最小化するΔx,Δyを求める。
SSD=ΣΣ(I(t,x,y) - I’(t,x+Δx,y+Δy))2
　特定部４は、得られたΔx,Δyを基に、当該矩形領域の反射率の初期値Ｒ’１(t,x,y)，Ｒ’２(t,x,y)，…，Ｒ’８(t,x,y)をそぞれぞれ、Ｒ’１(t,x,y)= Ｒ１(t-1,x+Δx,y+Δy)，Ｒ２(t,x,y) = Ｒ２(t-1,x+Δx,y+Δy)，…，Ｒ８(t,x,y)=Ｒ８(t-1,x+Δx,y+Δｙ)と定める。
　<ステップ4>
　特定部４は、ステップ３の動き補償で求めた反射率の初期値Ｒ’１(t,x,y)，Ｒ’２(t,x,y)，…，Ｒ’８(t,x,y)を用いて、他の照射パターンを用いた場合の当該矩形領域の予測画像における光の強さＩ’0(x,y), Ｉ’1(x,y),…, Ｉ’6(x,y)を以下の通り求める。
　Ｉ’0(x,y)=Ｒ’１(t,x,y)Ｌ１(t-8)＋Ｒ’２(t,x,y)Ｌ２(t-8)…＋Ｒ’８(t,x,y)Ｌ８(t-8)
　Ｉ’1(x,y)=Ｒ’１(t,x,y)Ｌ１(t-7)＋Ｒ’２(t,x,y)Ｌ２(t-7)…＋Ｒ’８(t,x,y)Ｌ８(t-7)
　　・
　　・
　　・
　Ｉ’6(x,y)=Ｒ’１(t,x,y)Ｌ１(t-1)＋Ｒ’２(t,x,y)Ｌ２(t-1)…＋Ｒ’８(t,x,y)Ｌ８(t-1)
　なお、撮像画像における光の強さの最小値、最大値をそれぞれ、0,1とするとき、Ｉ’0(x,y), Ｉ’1(x,y),…, Ｉ’6(x,y)の最小値、最大値も、0,1でなければならない。したがって、上記の式で求めた、予測画像における光の強さＩ’0(x,y),Ｉ’1(x,y),…, Ｉ’6(x,y)が最小値を下回る値となる場合は０に補正し、最大値を上回る値となる場合は１に補正する。
　<ステップ5>
　特定部４は、動き補償で用いた矩形領域毎に、予測画像における光の強さＩ’0(x,y),Ｉ’1(x,y),…, Ｉ’6(x,y)、及び、撮像画像における光の強さI(t,x,y)を用いて、以下の連立方程式から反射率Ｒ１(t,x,y)，Ｒ２(t,x,y)，…，Ｒ８(t,x,y)を求める。
　Ｉ’0(x,y)= Ｒ１(t,x,y)Ｌ１(t-8)＋Ｒ２(t,x,y)Ｌ２(t-8)…＋Ｒ８(t,x,y)Ｌ８(t-8)
　Ｉ’1(x,y)= Ｒ１(t,x,y)Ｌ１(t-7)＋Ｒ２(t,x,y)Ｌ２(t-7)…＋Ｒ８(t,x,y)Ｌ８(t-7)
　　・
　　・
　　・
　Ｉ’6(x,y)= Ｒ１(t,x,y)Ｌ１(t-1)＋Ｒ２(t,x,y)Ｌ２(t-1)…＋Ｒ８(t,x,y)Ｌ８(t-1)
　Ｉ(t,x,y)= Ｒ１(t,x,y)Ｌ１(t)＋Ｒ２(t,x,y)Ｌ２(t)＋…＋Ｒ８(t,x,y)Ｌ８(t)
　以上で説明したように、対象物に動きのある動画像の場合にも、特定部４は、反射特性を特定できる。
　〔実施形態３〕
　本発明のさらに他の実施形態について、詳細に説明する。なお、説明の便宜上、前記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を省略する。
　（表示装置及び表示方法）
　本実施形態は、対象物の質感をライブ的に表現する表示装置及び表示方法に関するものである。本実施形態に係る表示装置の要部構成を図１８に示す。
　図１８に示すように、本実施形態に係る表示装置４０は、傾き検出部１２、仮想光源データ取得部１４、対象物画像データ取得部１６、制御部１８及び表示部２０を有している。制御部１８は、さらに仮想光源位置決定部１８１（決定部）及び表示処理部１８２（導出部）を有している。
　傾き検出部１２は、表示装置４０の傾きを検出する。傾き検出部１２として、例えば、加速度センサを用いることができる。
　仮想光源データ取得部１４は、対象物の質感を表現しようとする光環境を示す仮想光源データ（光環境画像）を取得する。仮想光源データは、実観測時の光環境を示すデータであってもよいし、風景画像または風景映像等、任意の光環境を示す画像データまたは映像データであってもよい。
　対象物画像データ取得部１６は、質感を表現したい対象物の画像データと、対象物の反射特性データとを取得する。反射特性データとしては、例えば、第１の実施形態または第２の実施形態に示した方法で得られた反射特性データであってもよい。
　制御部１８の仮想光源位置決定部１８１は、傾き検出部１２が検出した表示装置４０の傾きに基づき、表示装置４０に対する仮想光源の位置を決定する。具体的には、仮想光源位置決定部１８１は、仮想光源データ取得部１４が取得した仮想光源データを参照して、仮想光源データが示す光環境における光源の位置を、対象物の質感を表現しようとする光環境における仮想光源の位置として固定する。さらに、仮想光源位置決定部１８１は、傾き検出部１２が検出した表示装置４０の傾きに基づき、表示装置４０に対する仮想光源の位置を決定する。なお、「表示装置４０に対する仮想光源の位置」の技術的に意味する内容については後述する。
　制御部１８の表示処理部１８２は、仮想光源データ取得部１４が取得した仮想光源データと、対象物画像データ取得部１６が取得した対象物の画像データ及び反射特性データとを用いて、表示装置４０に対して、仮想光源位置決定部１８１が決定した位置にある仮想光源から光が照射された対象物を示す画像を生成する。
　表示部２０は、表示処理部１８２が生成した画像を表示する。
　図１９に、本実施形態に係る表示装置４０による表示方法の概略図を示す。表示装置４０では、本図の（ａ）に示すように、仮想光源位置決定部１８１は、仮想光源データ取得部１４が取得した仮想光源データを参照して、仮想光源データが示す光環境における光源の位置を、対象物の質感を表現しようとする光環境における仮想光源Ｌ’の位置として固定する。さらに、仮想光源位置決定部１８１は、傾き検出部１２が検出した表示装置４０の傾きに基づき、表示装置４０に対する仮想光源Ｌ’の位置を決定する。表示処理部１８２は、仮想光源データ取得部１４が取得した仮想光源データと、対象物画像データ取得部１６が取得した対象物の画像データ及び反射特性データとを用いて、表示装置４０に対して、仮想光源位置決定部１８１が決定した位置にある仮想光源Ｌ’から光が照射された対象物を示す画像を生成し、表示部２０に表示させる。
　ここで、本図の（ｂ）に示すように、観測者が表示装置４０の傾きを変更すると、傾き検出部１２は表示装置４０の傾きを再検出し、仮想光源位置決定部１８１は、傾き検出部１２が再検出した傾きに基づき、表示装置４０に対する仮想光源Ｌ’の位置を再決定する。表示処理部１８２は、表示装置４０に対して、仮想光源位置決定部１８１が再決定した位置にある仮想光源Ｌ’から光が照射された対象物を示す画像を再生成し、表示部２０に表示させる。
　このように、表示装置４０では、仮想光源Ｌ’の位置を固定した状態で表示装置４０を傾けることにより、仮想光源Ｌ’の表示装置４０に対する位置が変化する。この表示装置４０に対する仮想光源Ｌ’の位置の変化に応じて、仮想光源Ｌ’からの光に対する対象物の反射特性を変化させた画像を表示することにより、対象物の質感をライブ的に表現することができる。
　（表示処理）
　図２０を参照して、仮想光源位置決定部１８１及び表示処理部１８２による処理について、より詳細に説明する。図２０は、表示装置４０及び仮想光源Ｌ’を含む座標系を示す図である。
　図２０に示すように、鉛直方向（紙面下方向）をｚ軸の負の方向にとったｘｙｚ座標を取る。表示装置４０の中心座標をＭとし、その天頂角をθｏとし、方位角をφｏとする。仮想光源位置決定部１８１は、この中心座標Ｍの天頂角θｏ及び方位角φｏを、傾き検出部１２による表示装置４０の傾き検出から求めることができる。また、座標系の原点Ｏから中心座標Ｍへの直線に対して垂直な平面上に表示装置４０があるとする。
　また、仮想光源位置決定部１８１は、仮想光源データ取得部１４が取得した仮想光源データを参照して、仮想光源データが示す光環境における光源の位置を、対象物の質感を表現しようとする光環境における仮想光源の位置として固定する。仮想光源の天頂角をθｉとし、方位角をφｉとする。仮想光源位置決定部１８１は、この仮想光源の天頂角θｉ及び方位角φｉを、仮想光源データから求めることができる。
　したがって、仮想光源位置決定部１８１が表示装置４０に対する仮想光源Ｌ’の位置を決定するとは、表示装置４０の中心座標Ｍの天頂角θｏ及び方位角φｏと、仮想光源の天頂角θｉ及び方位角φｉとを決定することに相当する。
　ここで、原点Ｏに対象物があるとすると、表示処理部１８２が生成する画像は、仮想光源Ｌ’から光が対象物に照射され、対象物で反射された光を表示装置４０の位置で捉えた画像である。そこで、仮想光源Ｌ’から対象物へ入射する放射輝度をＬ（θｉ,φｉ）とし、対象物から表示装置４０へと反射する放射輝度をＶθｏ,φｏとし、対象物から表示装置４０へと反射する光の反射特性をＢＲＤＦθｏ,φｏとすると、
Figure JPOXMLDOC01-appb-M000014
と表せる。
　表示装置４０を動かすことにより、表示装置４０の中心座標Ｍの天頂角θｏ及び方位角φｏが変化し、それにより反射特性ＢＲＤＦθｏ,φｏならびに放射輝度Ｖθｏ,φｏが変化する。表示処理部１８２は、対象物画像データ取得部１６が取得した反射特性データを用いて、変化後の反射特性ＢＲＤＦθｏ,φｏを求めることにより、変化後の放射輝度Ｖθｏ,φｏを導出することができる。このようにして、表示装置４０では、対象物の質感をライブ的に表現することができる。
　（仮想光源データ）
　上述したように、仮想光源データとしては、風景画像または風景映像等、任意の光環境を示す画像データまたは映像データであってもよい。表示処理部１８２は、仮想光源データが示す光環境を再現する再現光を導出し、表示装置４０に対して、仮想光源位置決定部１８１が決定した位置にある仮想光源から当該再現光が照射された対象物を示す画像を生成する。
　例えば、旅行先の風景画像の画像データを仮想光源データとして用いることにより、旅行先の光環境を再現することができる。また、複数の仮想光源データを用いることにより、様々な場所の光環境を再現することができる。例えば、ネットショッピング等を行う際に、様々な場所における対象物の見え方及び質感等を確認したいという欲求に対して、本実施形態を用いれば、その場に居ながらにして、様々な場所の光環境を再現して対象物の質感をライブ的に表現することができる。このように、本実施形態によれば、対象物の質感を表現する際の時間的及び空間的な制約をなくすことができる。
　（変形例－１）
　表示装置４０の変形例を図２１に示す。図２１は、本変形例に係る表示装置５０の要部構成を示す図である。
　図２１に示すように、表示装置５０は、傾き検出部１２の代わりに位置検出部２２を有している点が異なる。位置検出部２２は、表示装置５０の位置を検出する。位置検出部２２として、例えば、位置情報センサを用いることができる。
　制御部１８の仮想光源位置決定部１８１は、位置検出部２２が検出した表示装置５０の位置に基づき、表示装置５０に対する仮想光源の位置を決定する。具体的には、仮想光源位置決定部１８１は、仮想光源データ取得部１４が取得した仮想光源データを参照して、仮想光源データが示す光環境における光源の位置を、対象物の質感を表現しようとする光環境における仮想光源の位置として固定する。さらに、仮想光源位置決定部１８１は、位置検出部２２が検出した表示装置５０の位置に基づき、表示装置５０に対する仮想光源の位置を決定する。
　これにより、観測者が表示装置５０を持ったまま移動することによって、仮想光源位置決定部１８１が表示装置５０に対する仮想光源の距離及び角度等から位置を決定し、決定した位置にある仮想光源から光が照射された対象物を示す画像を表示処理部１８２が生成し、表示部２０に表示させることができる。
　（変形例－２）
　表示装置４０の変形例を図２２に示す。図２２は、本変形例に係る表示装置６０の要部構成を示す図である。
　図２２に示すように、表示装置６０は、傾き検出部１２の代わりに角度検出部２４を有している点が異なる。角度検出部２４は、表示装置５０の向き（方角）を検出する。角度検出部２４として、例えば、地磁気センサを用いることができる。
　制御部１８の仮想光源位置決定部１８１は、角度検出部２４が検出した表示装置６０の向きに基づき、表示装置６０に対する仮想光源の位置を決定する。具体的には、仮想光源位置決定部１８１は、仮想光源データ取得部１４が取得した仮想光源データを参照して、仮想光源データが示す光環境における光源の位置を、対象物の質感を表現しようとする光環境における仮想光源の位置として固定する。さらに、仮想光源位置決定部１８１は、角度検出部２４が検出した表示装置６０の向きに基づき、表示装置６０に対する仮想光源の位置を決定する。
　これにより、観測者が表示装置６０を持ったまま移動することによって、仮想光源位置決定部１８１が表示装置６０に対する仮想光源の角度等から位置を決定し、決定した位置にある仮想光源から光が照射された対象物を示す画像を表示処理部１８２が生成し、表示部２０に表示させることができる。
　（変形例－３）
　表示装置４０の変形例を図２３に示す。図２３は、本変形例に係る表示装置７０の要部構成を示す図である。
　図２３に示すように、表示装置７０は、傾き検出部１２の代わりに入力受付部２６を有している点が異なる。入力受付部２６は、観測者からの入力を受け付けるものであり、観測者が設定した仮想光源の位置の入力を受け付ける。入力受付部２６として、例えば、表示部２０に設けたタッチセンサを用いることができる。例えば、表示部２０に、表示装置７０と仮想光源との位置関係を示す画像等を表示し、表示部２０のタッチセンサ上をなぞる等して、当該画像に表示された仮想光源の位置を変化させることにより、仮想光源の位置を入力することができる。
　制御部１８の仮想光源位置決定部１８１は、入力受付部２６が受け付けた仮想光源の位置に基づき、表示装置７０に対する仮想光源の位置を決定する。具体的には、仮想光源位置決定部１８１は、仮想光源データ取得部１４が取得した仮想光源データを参照して、仮想光源データが示す光環境における光源の位置を、対象物の質感を表現しようとする光環境における仮想光源の位置として固定する。さらに、仮想光源位置決定部１８１は、入力受付部２６が受け付けた仮想光源の位置に基づき、表示装置７０に対する仮想光源の位置を決定する。
　これにより、観測者が所望の位置に仮想光源の位置を決定することによって、観測者が決定した位置にある仮想光源から光が照射された対象物を示す画像を表示処理部１８２が生成し、表示部２０に表示させることができる。
　〔ソフトウェアによる実現例〕
　撮像装置３０及び表示装置４０～７０の制御ブロックは、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェアによって実現してもよい。
　後者の場合、撮像装置３０及び表示装置４０～７０は、各機能を実現するソフトウェアであるプログラムの命令を実行するＣＰＵ、上記プログラムおよび各種データがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭ（Read Only Memory）または記憶装置（これらを「記録媒体」と称する）、上記プログラムを展開するＲＡＭ（Random Access Memory）などを備えている。そして、コンピュータ（またはＣＰＵ）が上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
　〔まとめ〕
　本発明の態様１に係る撮像装置３０は、複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する撮像部２と、上記撮像部２が撮像した画像から、各上記光源の光の上記撮像部２への反射率を特定する特定部４と、を備えている。
　上記の構成によれば、複数の光源を組み合わせて得られる照射パターンで対象物を照射することにより、撮像部２による撮像画像は明るく撮影され、ノイズを低減できる。これにより、対象物のより正確な反射特性を測定することができる。
　本発明の態様２に係る撮像装置３０は、上記態様１において、上記照射パターンには、アダマール基底に対応する照射パターンが含まれていてもよい。
　上記の構成によれば、アダマール基底に対応する照射パターンでは、光源は発光状態または非発光状態になるため、撮像画像から得られる光の強さを加算または減算することにより、容易に対象物の特定の点における各光源の反射率を特定することができる。
　本発明の態様３に係る撮像装置３０は、上記態様１または２において、上記照射パターンには、他の照射パターンを反転した照射パターンが含まれていてもよい。
　実際には、環境光等の漏れ光によって、常に反射している成分が存在する。そこで、上記の構成によれば、照射パターンには他の照射パターンを反転した照射パターンを含めることにより、複数の光源からの光の成分と漏れ光の成分とを分離することができる。
　本発明の態様４に係る撮像装置３０は、上記態様１～３のいずれかにおいて、上記照射パターンは、すべての上記複数の光源のうちの半数以上の光源を発光させて得られたものであってもよい。
　上記の構成によれば、撮像部２による撮像画像はより明るく撮影され、また、同じ光源が発光している撮像画像が複数得られため反射率に関して平均的なデータが得られ、ノイズを低減できる。
　本発明の態様５に係る撮像方法は、複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する撮像ステップと、上記撮像ステップにおいて撮像した画像から、各上記光源の光の撮像方向への反射率を特定する特定ステップと、を含む。
　上記の方法によれば、上記態様１に係る撮像装置と同様の効果を奏する。
　本発明の態様６に係る表示装置４０～６０は、対象物を表示する表示装置４０～６０であって、上記表示装置４０～６０の位置または向きに応じて、上記表示装置４０～６０に対する仮想光源の位置を決定する決定部（仮想光源位置決定部１８１）と、上記表示装置４０～６０に対して、上記決定部が決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理部１８２と、を備えている。
　上記の構成によれば、表示装置４０～６０に対する仮想光源の位置の変化に応じて、仮想光源からの光に対する対象物の反射特性を変化させた画像を表示することにより、対象物の質感をライブ的に表現することができる。
　本発明の態様７に係る表示装置７０は、対象物を表示する表示装置７０であって、ユーザから入力を受け付ける入力受付部２６と、上記入力受付部２６が受け付けた上記ユーザからの入力を参照して、上記表示装置７０に対する仮想光源の位置を決定する決定部（仮想光源位置決定部１８１）と、上記表示装置７０に対して、上記決定部が決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理部１８２と、を備えている。
　上記の構成によれば、観測者が所望の位置に仮想光源の位置を決定することによって、観測者が決定した位置に応じて、仮想光源からの光に対する対象物の反射特性を変化させた画像を表示することにより、対象物の質感をライブ的に表現することができる。
　本発明の態様８に係る表示装置４０～７０は、上記態様６または７において、任意の光環境を示す光環境画像を参照して、当該光環境を再現する再現光を導出する導出部（表示処理部１８２）をさらに備え、上記表示処理部１８２は、上記仮想光源からの光として上記再現光を照射した上記対象物を表示してもよい。
　上記の構成によれば、例えば、旅行先の風景画像の画像データを仮想光源データとして用いることにより、旅行先の光環境を再現することができる。また、複数の仮想光源データを用いることにより、様々な場所の光環境を再現することができる。このように、上記の構成によれば、対象物の質感を表現する際の時間的及び空間的な制約をなくすことができる。
　本発明の態様９に係る表示方法は、表示装置４０～６０が対象物を表示する表示方法であって、上記表示装置４０～６０の位置または向きに応じて、上記表示装置４０～６０に対する仮想光源の位置を決定する決定ステップと、上記表示装置４０～６０に対して、上記決定ステップにおいて決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理ステップと、を含む。
　上記の方法によれば、上記態様６に係る表示装置４０～６０と同様の効果を奏する。
　本発明の態様１０に係る表示方法は、表示装置７０が対象物を表示する表示方法であって、ユーザから入力を受け付ける入力受付ステップと、上記入力受付ステップにおいて受け付けた上記ユーザからの入力を参照して、上記表示装置７０に対する仮想光源の位置を決定する決定ステップと、上記表示装置７０に対して、上記決定ステップにおいて決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理ステップと、を含む。
　上記の方法によれば、上記態様７に係る表示装置７０と同様の効果を奏する。
　本発明の各態様に係る撮像装置３０及び表示装置４０～７０は、コンピュータによって実現してもよく、この場合には、コンピュータを上記撮像装置３０及び表示装置４０～７０が備える各部（ソフトウェア要素）として動作させることにより上記撮像装置３０及び表示装置４０～７０をコンピュータにて実現させる撮像装置３０及び表示装置４０～７０のプログラム、及びそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。
　（関連出願の相互参照）
　本出願は、2016年12月1日に出願された日本国特許出願：特願2016-234514に対して優先権の利益を主張するものであり、それを参照することにより、その内容の全てが本書に含まれる。
２　撮像部
４　特定部
６，１８　制御部
８　光源部
１０　光源制御部
１２　検出部
１４　仮想光源データ取得部
１６　対象物画像データ取得部
１８１　仮想光源位置決定部
１８２　表示処理部
２０　表示部
２２　位置検出部
２４　角度検出部
２６　入力受付部
３０　撮像装置
４０～７０　表示装置

Claims (8)

  1. 　複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する撮像部と、
    　上記撮像部が撮像した画像から、各上記光源の光の上記撮像部への反射率を特定する特定部と、を備えていることを特徴とする撮像装置。
  2. 　上記照射パターンには、他の照射パターンを反転した照射パターンが含まれることを特徴とする請求項１に記載の撮像装置。
  3. 　上記照射パターンは、すべての上記複数の光源のうちの半数以上の光源を発光させて得られたものであることを特徴とする請求項１または２に記載の撮像装置。
  4. 　上記照射パターンには、アダマール基底に対応する照射パターンが含まれることを特徴とする請求項１～３のいずれか１項に記載の撮像装置。
  5. 　複数の光源を組み合わせて得られる照射パターンから光が照射された対象物を撮像する撮像ステップと、
    　上記撮像ステップにおいて撮像した画像から、各上記光源の光の撮像方向への反射率を特定する特定ステップと、を含むことを特徴とする撮像方法。
  6. 　対象物を表示する表示装置であって、
    　上記表示装置の位置または向きに応じて、上記表示装置に対する仮想光源の位置を決定する決定部と、
    　上記表示装置に対して、上記決定部が決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理部と、を備えていることを特徴とする表示装置。
  7. 　対象物を表示する表示装置であって、
    　ユーザから入力を受け付ける入力受付部と、
    　上記入力受付部が受け付けた上記ユーザからの入力を参照して、上記表示装置に対する仮想光源の位置を決定する決定部と、
    　上記表示装置に対して、上記決定部が決定した位置にある上記仮想光源から光が照射された上記対象物を表示する表示処理部と、を備えていることを特徴とする表示装置。
  8. 　任意の光環境を示す光環境画像を参照して、当該光環境を再現する再現光を導出する導出部をさらに備え、
    　上記表示処理部は、上記仮想光源からの光として上記再現光を照射した上記対象物を表示することを特徴とする請求項６または７に記載の表示装置。
PCT/JP2017/041564 2016-12-01 2017-11-17 撮像装置、撮像方法、及び表示装置 WO2018101093A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016234514 2016-12-01
JP2016-234514 2016-12-01

Publications (1)

Publication Number Publication Date
WO2018101093A1 true WO2018101093A1 (ja) 2018-06-07

Family

ID=62242428

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041564 WO2018101093A1 (ja) 2016-12-01 2017-11-17 撮像装置、撮像方法、及び表示装置

Country Status (1)

Country Link
WO (1) WO2018101093A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018173A (ja) * 2005-07-06 2007-01-25 Canon Inc 画像処理方法、画像処理装置
JP2007033099A (ja) * 2005-07-25 2007-02-08 Fuji Xerox Co Ltd 光沢特性評価方法および光沢特性評価装置並びにプログラム
JP2013008324A (ja) * 2011-06-27 2013-01-10 Toshiba Corp 画像処理システム、端末装置及び方法
JP2014240830A (ja) * 2013-05-15 2014-12-25 キヤノン株式会社 測定装置およびその制御方法
JP2016038222A (ja) * 2014-08-05 2016-03-22 株式会社リコー 試料測定装置および試料測定プログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007018173A (ja) * 2005-07-06 2007-01-25 Canon Inc 画像処理方法、画像処理装置
JP2007033099A (ja) * 2005-07-25 2007-02-08 Fuji Xerox Co Ltd 光沢特性評価方法および光沢特性評価装置並びにプログラム
JP2013008324A (ja) * 2011-06-27 2013-01-10 Toshiba Corp 画像処理システム、端末装置及び方法
JP2014240830A (ja) * 2013-05-15 2014-12-25 キヤノン株式会社 測定装置およびその制御方法
JP2016038222A (ja) * 2014-08-05 2016-03-22 株式会社リコー 試料測定装置および試料測定プログラム

Similar Documents

Publication Publication Date Title
JP3962588B2 (ja) 三次元画像処理方法、三次元画像処理装置、三次元画像処理システムおよび三次元画像処理プログラム
JP5795384B2 (ja) 映像処理装置、照明処理装置及びその方法
WO2015166684A1 (ja) 画像処理装置と画像処理方法
US20180014003A1 (en) Measuring Accuracy of Image Based Depth Sensing Systems
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
JP2013127774A (ja) 画像処理装置、画像処理方法及びプログラム
KR101713875B1 (ko) 프로젝터 투사 환경하에서의 사용자 시점을 고려한 가상공간 구현 방법 및 시스템
US9756313B2 (en) High throughput and low cost height triangulation system and method
TW201518694A (zh) 光源亮度檢測方法及系統
US11727658B2 (en) Using camera feed to improve quality of reconstructed images
JP2020008502A (ja) 偏光ステレオカメラによる深度取得装置及びその方法
JP6869652B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
Lin et al. Automatic optimal projected light intensity control for digital fringe projection technique
JP7633790B2 (ja) 質感取得システム、質感取得装置および質感取得プログラム
JP5926626B2 (ja) 画像処理装置及びその制御方法、プログラム
WO2018101093A1 (ja) 撮像装置、撮像方法、及び表示装置
JP4764963B2 (ja) 画像処理装置
JP2009236696A (ja) 被写体の３次元画像計測方法、計測システム、並びに計測プログラム
US11657586B1 (en) Systems and methods for augmented reality viewing based on directly mapped point cloud overlays
Ekstrand et al. High-resolution, high-speed, three-dimensional video imaging with digital fringe projection techniques
JP5506371B2 (ja) 画像処理装置、画像処理方法およびプログラム
US12026823B2 (en) Volumetric imaging
JP2019066424A (ja) ３次元形状を導出する装置、方法、及びプログラム
KR20130028370A (ko) 영상 모델링 시스템에서 형상 정보, 재질 정보 및 조명 정보를 획득하는 장치 및 방법
JP7565762B2 (ja) 情報処理装置、撮像装置、制御方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17876408

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17876408

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP