[go: up one dir, main page]

WO2018179254A1 - 画像生成装置、画像生成方法及びプログラム - Google Patents

画像生成装置、画像生成方法及びプログラム Download PDF

Info

Publication number
WO2018179254A1
WO2018179254A1 PCT/JP2017/013327 JP2017013327W WO2018179254A1 WO 2018179254 A1 WO2018179254 A1 WO 2018179254A1 JP 2017013327 W JP2017013327 W JP 2017013327W WO 2018179254 A1 WO2018179254 A1 WO 2018179254A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
virtual space
camera
virtual
influence
Prior art date
Application number
PCT/JP2017/013327
Other languages
English (en)
French (fr)
Inventor
済 川又
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to PCT/JP2017/013327 priority Critical patent/WO2018179254A1/ja
Priority to US16/494,076 priority patent/US11107267B2/en
Priority to JP2019508037A priority patent/JP6726358B2/ja
Publication of WO2018179254A1 publication Critical patent/WO2018179254A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation

Definitions

  • the present invention relates to an image generation device, an image generation method, and a program.
  • the influence of the light environment in the real space on the subject is affected.
  • the device which suppresses is done. Specifically, for example, when photographing a photographed image, white light is illuminated on a subject or a diffusion plate is disposed.
  • the representation of the light environment in the virtual space image representing the appearance of the polygon model generated in this way has been performed by computer graphics techniques such as light from a light source arranged in the virtual space. Therefore, in the prior art, the natural light environment in the real space when the captured image is actually captured cannot be reflected in the virtual space image.
  • the present invention has been made in view of the above problems, and one of its purposes is image generation capable of reflecting a natural light environment in real space when a captured image is actually captured in a virtual space image.
  • An apparatus, an image generation method, and a program are provided.
  • the image generation apparatus looks at the virtual space from a virtual camera in the virtual space in which a polygon model based on a captured image of a subject arranged in the real space is arranged.
  • An image generation device that generates a virtual space image that represents a position of a corresponding camera that is a position in the virtual space that corresponds to a shooting position that is a position in the real space of the real camera that has shot the shot image
  • the captured image captured by the real camera at the imaging position corresponding to the corresponding camera position based on the corresponding camera position specifying unit, the position of the virtual camera, and the corresponding camera position.
  • the virtual sky Including a virtual space image generation unit that generates an image.
  • the influence determination unit is configured to move from a drawing point that is a vertex or a point on a polygon included in the polygon model to the corresponding camera position, and from the drawing point to the position of the virtual camera. And determining the degree of influence at the drawing point based on the heading direction, and based on the pixel value of the pixel associated with the drawing point in the captured image and the degree of influence at the drawing point.
  • a pixel value determination unit that determines a pixel value of a pixel in the virtual space image associated with the drawing point, and the virtual space generation unit is determined for a plurality of pixels in the virtual space image. The virtual space image is generated based on the pixel value.
  • the corresponding camera position specifying unit specifies the corresponding camera position of the photographed image for each of the plurality of photographed images
  • the influence determining unit is configured to determine the corresponding camera position for each of the plurality of photographed images. Based on the direction from the drawing point toward the corresponding camera position of the photographed image and the direction from the drawing point toward the virtual camera position, the degree of influence at the drawing point associated with the photographed image is determined.
  • the pixel value determining unit calculates a weighted average of pixel values of pixels associated with the drawing point in the captured image based on the degree of influence associated with the captured image. The value may be determined as a pixel value of a pixel in the virtual space image associated with the drawing point.
  • the influence determination unit is based on a direction from the drawing point toward the corresponding camera position, a direction from the drawing point toward the virtual camera position, and a normal direction associated with the drawing point.
  • the influence degree at the drawing point may be determined.
  • the image generation method provides a virtual space image representing a state in which the virtual space is viewed from a virtual camera in a virtual space in which a polygon model based on a captured image of a subject placed in the real space is placed.
  • a corresponding camera position specifying step for specifying a corresponding camera position that is a position in the virtual space corresponding to a shooting position that is a position in the real space of the real camera that has shot the shot image.
  • the degree of influence of the captured image captured by the real camera at the imaging position corresponding to the corresponding camera position on the virtual space image based on the position of the virtual camera and the corresponding camera position.
  • the virtual space image is determined based on an influence level determining step, and the captured image and the degree of influence of the captured image on the virtual space image. Including a virtual space image generating step of forming.
  • the program according to the present invention generates a virtual space image representing a state in which the virtual space is viewed from a virtual camera in a virtual space in which a polygon model based on a photographed image of a subject placed in the real space is placed.
  • a corresponding camera position specifying procedure for specifying a corresponding camera position that is a position in the virtual space corresponding to a shooting position that is a position in the real space of the real camera that has shot the captured image;
  • An influence degree determination procedure for determining an influence degree of the photographed image photographed by the real camera at the photographing position corresponding to the corresponding camera position on the virtual space image based on the position of the corresponding camera position and the corresponding camera position;
  • FIG. 1 is a configuration diagram of an image generation apparatus 10 according to an embodiment of the present invention.
  • the image generation apparatus 10 according to the present embodiment is a computer such as a game console or a personal computer, for example.
  • the image generation apparatus 10 according to the present embodiment includes, for example, a processor 12, a storage unit 14, an operation unit 16, a display unit 18, and a communication unit 20.
  • the processor 12 is a program control device such as a CPU that operates in accordance with a program installed in the image generation apparatus 10, for example.
  • the processor 12 according to the present embodiment also includes a GPU (Graphics Processing Unit) that draws an image in a frame buffer based on graphics commands and data supplied from the CPU.
  • GPU Graphics Processing Unit
  • the storage unit 14 is a storage element such as a ROM or a RAM, a hard disk drive, or the like.
  • the storage unit 14 stores a program executed by the processor 12 and the like.
  • a frame buffer area in which an image is rendered by the GPU is secured.
  • the operation unit 16 is a user interface such as a keyboard, a mouse, and a game console controller, and receives a user operation input and outputs a signal indicating the content to the processor 12.
  • the display unit 18 is a display device such as a liquid crystal display, and displays various images in accordance with instructions from the processor 12.
  • the communication unit 20 is a communication interface such as a network board.
  • the image generation apparatus 10 may include an optical disk drive that reads an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disk, a USB (Universal Serial Bus) port, and the like.
  • an optical disk drive that reads an optical disk such as a DVD-ROM or a Blu-ray (registered trademark) disk, a USB (Universal Serial Bus) port, and the like.
  • FIG. 2 is a diagram schematically illustrating an example of a state in which the subject 30 according to the present embodiment is arranged in the real space 32.
  • a real object having a shape like a Stanford bunny is shown as an example of the subject 30.
  • the real camera 34 arranged in the real space 32 generates a photographed image 36 obtained by photographing the subject 30 illustrated in FIG.
  • each of a plurality of real cameras 34 including four real cameras 34 a, 34 b, 34 c, and 34 d generates a captured image 36.
  • the number of actual cameras 34 that generate the captured images 36 is not limited to four, and the captured images 36 may be generated by each of a larger or smaller number of actual cameras 34.
  • one real camera 34 may generate a captured image 36 in which the subject 30 is captured at each of a plurality of different positions.
  • FIG. 3A to 3D are diagrams each showing an example of the photographed image 36.
  • FIG. 3A is a diagram illustrating an example of a captured image 36a generated by the real camera 34a.
  • FIG. 3B is a diagram illustrating an example of a captured image 36b generated by the real camera 34b.
  • FIG. 3C is a diagram illustrating an example of a captured image 36c generated by the real camera 34c.
  • FIG. 3D is a diagram illustrating an example of a captured image 36d generated by the real camera 34d.
  • an image obtained by projecting the subject 30 arranged in the three-dimensional space expressed in the X1Y1Z1 coordinate system onto the two-dimensional plane expressed in the X2Y2 coordinate system is arranged in the captured image 36.
  • some of the photographed images 36 are arranged with an image of a point P on the surface of the subject 30.
  • the image of the point P is arranged as a pixel Qa in the captured image 36a, a pixel Qb in the captured image 36b, and a pixel Qc in the captured image 36c.
  • the polygon model 40 illustrated in FIG. 4 is generated based on the captured image 36 and the position of the actual camera 34 when the captured image 36 is captured, the capturing direction, the angle of view, and the like. .
  • FIG. 4 is a diagram schematically showing an example of a state in which a polygon model 40 simulating the subject 30 is arranged in the virtual space 42.
  • the virtual space 42 according to the present embodiment is a space that models the real space 32.
  • the position and orientation of the subject 30 in the real space 32 are reflected in the position and orientation of the polygon model 40 in the virtual space 42.
  • the position in the real space 32 is expressed in the X1Y1Z1 coordinate system
  • the position in the virtual space 42 is expressed in the X3Y3Z3 coordinate system.
  • the polygon model 40 illustrated in FIG. 4 includes a plurality of polygons 46 each having a plurality of vertices 44.
  • the polygon model 40 illustrated in FIG. Some of the positions of the points on the vertex 44 and the polygon 46 are associated with the positions of the points on the surface of the subject 30.
  • coordinate values (x, y, z) in the X1Y1Z1 coordinate system of the real space 32 are coordinate values (t ⁇ x, t ⁇ y, t ⁇ z) in the X3Y3Z3 coordinate system in the virtual space 42.
  • T is a constant). Therefore, in this embodiment, the shape of the solid represented by the polygon model 40 shown in FIG. 4 is substantially the same as the shape of the subject 30 shown in FIG.
  • the value of t is 1. That is, the coordinate value (x, y, z) in the X1Y1Z1 coordinate system of the real space 32 is mapped to the coordinate value (x, y, z) in the X3Y3Z3 coordinate system in the virtual space 42.
  • a point P on the surface of the subject 30 is mapped to a point R that is a point on the vertex 44 or the polygon 46.
  • the position of the vertex 44 may be specified by a known method based on the captured image 36.
  • a polygon model 40 including a plurality of polygons 46 may be generated based on the plurality of specified vertices 44.
  • a virtual space image 50 illustrated in FIG. 5 is generated, which shows a state in which the direction of the polygon model 40 is viewed from the virtual camera 48 arranged in the virtual space 42. Then, the virtual space image 50 is displayed on the display unit 18.
  • the image of the point R in the polygon model 40 is arranged as the pixel S in the virtual space image 50.
  • the pixel value of the pixel S in the virtual space image 50 is set based on the pixel value of the pixel Qa, the pixel Qb, and the pixel Qc in the captured image 36.
  • the pixel value is, for example, a value representing the color or brightness of the pixel, and its expression is not particularly limited.
  • the pixel value of each pixel in the virtual space image 50 is set as follows, thereby reflecting the natural light environment of the real space 32 when the photographed image 36 is actually photographed. A spatial image 50 is generated.
  • FIG. 6 is a functional block diagram illustrating an example of functions implemented by the image generation apparatus 10 according to the present embodiment.
  • the image generation device 10 functionally includes, for example, a captured image reception unit 60, an actual camera data reception unit 62, a polygon model generation unit 64, a polygon model data storage unit 66, and a corresponding camera arrangement specifying unit.
  • virtual camera placement unit 70 weight data storage unit 72, real camera selection unit 74, depth image generation unit 76, drawing point specification unit 78, influence degree determination unit 80, depth scaling unit 82, pixel value determination unit 84, virtual A spatial image generation unit 86 and a display control unit 88 are included.
  • the photographed image receiving unit 60 and the actual camera data receiving unit 62 are mainly implemented by the communication unit 20.
  • the polygon model generating unit 64, the corresponding camera arrangement specifying unit 68, the real camera selecting unit 74, the depth image generating unit 76, the drawing point specifying unit 78, the influence degree determining unit 80, the depth squaring unit 82, and the pixel value determining unit 84 are a processor. 12 is mainly implemented.
  • the polygon model data storage unit 66 and the weight data storage unit 72 are mainly implemented by the storage unit 14.
  • the virtual camera arrangement unit 70 mainly includes the processor 12 and the operation unit 16.
  • the virtual space image generation unit 86 is mainly implemented by the processor 12 and the storage unit 14.
  • the display control unit 88 mainly includes the processor 12, the storage unit 14, and the display unit 18.
  • the above functions may be implemented by causing the processor 12 to execute a program that is installed in the image generation apparatus 10 that is a computer and that includes instructions corresponding to the above functions.
  • This program may be supplied to the image generation apparatus 10 via a computer-readable information storage medium such as an optical disk, a magnetic disk, a magnetic tape, a magneto-optical disk, or a flash memory, or via the Internet, for example. .
  • the photographed image receiving unit 60 receives the photographed image 36 from the real camera 34, for example.
  • the real camera data receiving unit 62 is, for example, the real camera 34 in the real space 32 such as the position, orientation, angle of view, etc. in the real space 32 of the real camera 34 that captured the captured image 36 from the real camera 34.
  • the real camera data indicating the arrangement of is received.
  • the polygon model generation unit 64 generates, for example, the polygon model 40 illustrated in FIG.
  • the polygon model generation unit 64 may generate polygon model data indicating the polygon model 40 based on the captured image 36 received by the captured image receiving unit 60.
  • the polygon model generation unit 64 may generate polygon model data based on the captured image 36 received by the captured image receiving unit 60 and the actual camera data received by the actual camera data receiving unit 62.
  • the polygon model generation unit 64 stores the generated polygon model data in the polygon model data storage unit 66.
  • the generation method of the polygon model 40 is not particularly limited.
  • the polygon model data storage unit 66 stores polygon model data generated by the polygon model generation unit 64.
  • the polygon model data includes point data shown in FIG. 7A, polygon data shown in FIG. 7B, and the like.
  • FIG. 7A is a diagram illustrating an example of point data associated with a point that is one vertex 44.
  • the point data shown in FIG. 7A includes a point ID that is identification information of a point that is the vertex 44 associated with the point data, and coordinate data that indicates a three-dimensional coordinate value of the position expressed in the X3Y3Z3 coordinate system.
  • a combination with normal direction data indicating the normal direction associated with the point is included.
  • the normal direction data indicates, for example, a three-dimensional coordinate value of a unit vector representing the normal direction expressed in the X3Y3Z3 coordinate system.
  • the value indicating the normal direction at the point on the polygon 46 is interpolated with the value of the normal direction data included in the point data associated with the point that is the vertex 44 constituting the polygon 46. Is determined. Further, the value of the normal direction data included in the point data associated with the point that is the vertex 44 is determined as a value indicating the normal direction at the vertex 44.
  • FIG. 7B is a diagram showing an example of polygon data associated with one polygon 46.
  • the polygon data includes, for example, a polygon ID that is identification information of the polygon 46 associated with the polygon data, and vertex data that is an ordered list of point IDs of the vertices 44 constituting the polygon 46.
  • the normal direction (front and back) of the polygon 46 associated with the polygon data may be defined by the polygon data.
  • the polygon data may include an ordered list of points associated with the vertices 44 in the order of the vertices 44 that are counterclockwise when the polygon 46 is viewed from the front side. .
  • the direction from the back side to the front side of the polygon 46 may be defined as the normal direction.
  • the corresponding camera arrangement specifying unit 68 corresponds to the arrangement of the real camera 34 in the real space 32 indicated by the real camera data based on the real camera data received by the real camera data receiving unit 62.
  • the arrangement in the space 42 is specified.
  • FIG. 4 shows a corresponding camera position 52a of the photographed image 36a, a corresponding camera position 52b of the photographed image 36b, a corresponding camera position 52c of the photographed image 36c, and a corresponding camera position 52d of the photographed image 36d.
  • the corresponding camera position 52 of the captured image 36 may be specified.
  • the position in the real space 32 of the real camera 34 that has photographed the photographed image 36 will be referred to as a photographing position.
  • the virtual camera placement unit 70 determines the placement of the virtual camera 48 such as the position, orientation, and angle of view of the virtual camera 48 in the virtual space 42, for example.
  • the virtual camera placement unit 70 may change the placement of the virtual camera 48 according to the operation of the operation unit 16 by the user. Then, the virtual camera placement unit 70 may determine the placement of the virtual camera 48 according to the user's determination operation.
  • the angle of view of the virtual camera 48 may be determined in advance, and the virtual camera placement unit 70 may determine the position and shooting direction of the virtual camera 48.
  • the angle of view of the virtual camera 48 may be variable, and the virtual camera placement unit 70 may determine the position, shooting direction, and angle of view of the virtual camera 48.
  • the weight data storage unit 72 stores weight data indicating the weight of the real camera 34 or the captured image 36, for example.
  • the weight value indicated by the weight data may be a value representing a relative weight that can be set by the user and is associated with each of the plurality of real cameras 34, for example.
  • the weight value may be set so that the weight value of the real camera 34 becomes larger as the distance to the subject 30 is shorter.
  • the weight value may be set so that the weight value of the actual camera 34 increases as the resolution of the captured image 36 captured by the actual camera 34 increases.
  • a value corresponding to the measured value may be set as the weight value instead of the set value by the user.
  • the real camera 34 when the real camera 34 is a depth camera, the real camera 34 may generate data indicating the distance to the subject 30. This data may be included in the actual camera data. Based on this distance, the weight value of the actual camera may be determined.
  • the real camera selection unit 74 selects the real camera 34 that is the basis for determining the pixel value of each pixel included in the virtual space image 50.
  • the real camera 34 may be selected.
  • the actual camera 34 may be selected based on the weight data.
  • the evaluation value may be determined based on the proximity between the corresponding camera arrangement associated with the real camera 34 and the arrangement of the virtual camera 48 and the weight value of the real camera 34.
  • the evaluation value may be increased as the corresponding camera position 52 and the virtual camera 48 are closer to each other.
  • the evaluation value may be increased as the orientation in the virtual space 42 indicated by the corresponding camera arrangement is closer to the orientation of the virtual camera 48.
  • the evaluation value may be increased as the weight value is increased.
  • a predetermined number of real cameras 34 may be selected in descending order of evaluation value.
  • the real camera 34 selected by the real camera selection unit 74 is referred to as a selected real camera.
  • the depth image generation unit 76 generates a depth image associated with the captured image 36 captured by the actual camera 34 based on the polygon model 40 and the corresponding camera arrangement associated with the actual camera 34. To do.
  • the depth image generation unit 76 may generate a depth image associated with the captured image 36 captured by the selected real camera in accordance with the selection of the selected real camera by the real camera selection unit 74.
  • the depth image is, for example, an image indicating a distribution of distances from the real camera 34 to the subject 30 that are associated with each of the pixels included in the captured image 36. Based on the depth image, the distance between the point on the surface of the subject 30 associated with the pixel included in the captured image 36 and the actual camera 34 that captured the captured image 36 can be specified.
  • the drawing point specifying unit 78 specifies a drawing point that is a point on the vertex 44 or the polygon 46 in the polygon model 40 that is associated with a pixel in the virtual space image 50.
  • a drawing point based on the arrangement of the virtual camera 48 in the virtual space 42 and the polygon model 40.
  • the influence degree determination unit 80 is configured to capture a captured image 36 captured by the real camera 34 at a capturing position corresponding to the corresponding camera position 52 based on the position of the virtual camera 48 and the corresponding camera position 52.
  • the degree of influence on the virtual space image 50 is determined.
  • the degree of influence at the drawing point may be determined based on the direction from the drawing point toward the corresponding camera position 52 and the direction from the drawing point toward the position of the virtual camera 48.
  • the influence on the drawing point based on the direction from the drawing point toward the corresponding camera position 52, the direction from the drawing point toward the virtual camera 48, and the normal direction associated with the drawing point.
  • the degree may be determined. For example, based on the direction from the drawing point toward the corresponding camera position 52 and the direction from the drawing point toward the virtual camera 48, the value of the virtual camera direction influence parameter indicating the first influence degree at the drawing point. May be calculated. For example, based on the direction from the drawing point toward the corresponding camera position 52 and the normal direction associated with the drawing point, the value of the normal direction influence parameter indicating the second degree of influence at the drawing point. May be calculated.
  • the value of the virtual camera direction influence parameter associated with the captured image 36a may be increased.
  • the value of the virtual camera direction influence parameter is increased. May be.
  • a value obtained by multiplying the inner product value of the vector V and the vector W to the n1th power (for example, the 32nd power) may be used as the value of the virtual camera direction influence parameter associated with the captured image 36a. In this case, when the value of the inner product of the vector V and the vector W is 0 or less, the value of the virtual camera direction influence parameter associated with the captured image 36a may be 0.
  • the value of the normal direction influence degree parameter may be increased as the angle formed between the vector N and the vector V in the normal direction associated with the point R is smaller.
  • a value obtained by multiplying the value of the inner product of the vector V and the vector N by n square (for example, fourth power) may be used as the value of the normal direction influence parameter associated with the captured image 36a.
  • the value of the normal direction influence degree parameter associated with the captured image 36a may be 0.
  • the value n1 may be larger than the value n2.
  • the depth squaring unit 82 sets the value of the influence parameter associated with the captured image 36 that is determined not to affect the pixel value of the pixel in the virtual space image 50 associated with the drawing point. Change to 0.
  • the captured image 36 determined not to affect the pixel value of the pixel in the virtual space image 50 associated with the drawing point is referred to as an unaffected captured image.
  • the depth squaring unit 82 multiplies the three-dimensional coordinate value of the drawing point expressed in the X3Y3Z3 coordinate system by a projection matrix corresponding to the corresponding camera arrangement, thereby matching the corresponding camera arrangement.
  • the three-dimensional coordinate value at is calculated.
  • the X coordinate value in the projection coordinate system associated with the corresponding camera arrangement of the photographed image 36a corresponds to the X2 coordinate value in the photographed image 36a.
  • the X coordinate value of the point R shown in FIG. 8 in the projection coordinate system associated with the corresponding camera arrangement of the captured image 36a is the same as the X coordinate value of the pixel Qa.
  • the Y coordinate value in the projection coordinate system associated with the corresponding camera arrangement of the photographed image 36a corresponds to the Y2 coordinate value in the photographed image 36a.
  • the Y coordinate value of the point R shown in FIG. 8 in the projection coordinate system associated with the corresponding camera arrangement of the captured image 36a is the same as the Y coordinate value of the pixel Qa. Therefore, based on the X coordinate value and the X coordinate value in the projection coordinate system, the position of the pixel in the captured image 36a corresponding to the combination of these coordinate values and the position of the pixel in the depth image can be specified.
  • the Z coordinate value of the point R shown in FIG. 8 in the projection coordinate system associated with the corresponding camera arrangement of the captured image 36a corresponds to the length L1 between the point R and the position A shown in FIG.
  • the depth sculpting unit 82 selects the captured image 36a. It is determined as an unaffected photographic image at the drawing point. Then, the depth squaring unit 82 changes the value of the influence parameter associated with the captured image 36a determined as the non-influenced captured image to 0.
  • the pixel Qa is specified as the pixel in the captured image 36a associated with the point R.
  • the X2Y2 coordinate value of the pixel Qa is (x1, y1).
  • the length L2 associated with the pixel value of the depth image associated with the captured image 36a having the X2Y2 coordinate value (x1, y1) is specified.
  • the pixel Qa cannot be said to be a pixel associated with the point R.
  • the pixel Qa there is a high possibility that an image of the surface of the subject 30 or other object existing at a position closer to the actual camera 34a than the point P is arranged as the pixel Qa in the captured image 36a. Therefore, in this case, the pixel value of the pixel Qa should not be reflected in the pixel value of the pixel S in the virtual space image 50.
  • the captured image 36a is determined as an unaffected captured image at the drawing point. Is done. Then, the value of the virtual camera direction influence parameter and the value of the normal direction influence parameter associated with the captured image 36a are changed to zero.
  • a depth image generated by the real camera 34 is used for specifying the length L2 described above instead of the depth image generated by the depth image generation unit 76. Also good.
  • the pixel value determination unit 84 is a virtual that is associated with the drawing point based on the pixel value of the pixel associated with the drawing point in the captured image 36 and the degree of influence at the drawing point. The pixel value of the pixel in the aerial image 50 is determined.
  • the value of the virtual camera direction influence parameter and the value of the normal direction influence parameter at the point R associated with the photographed image 36a are a1 and a2, respectively.
  • the value of the virtual camera direction influence parameter and the value of the normal direction influence parameter at the point R associated with the photographed image 36b are b1 and b2, respectively.
  • the value of the virtual camera direction influence parameter and the value of the normal direction influence parameter at the point R associated with the captured image 36c are set to c1 and c2, respectively.
  • the weight values of the real camera 34a, the real camera 34b, and the real camera 34c are set to wa, wb, and wc, respectively.
  • the pixel value determining unit 84 first calculates a value t obtained by subtracting the value of a1 + b1 + c1 from 1.
  • the value t is 0.
  • the pixel value determination unit 84 multiplies the sum of the value of the virtual camera direction influence parameter and the value of the normal camera direction influence parameter by the value t, and the value obtained by multiplying the value of the weight by the weight value. Calculated as the final impact value.
  • the value of (a1 + t ⁇ a2) ⁇ wa is calculated as the final influence value ax at the point R associated with the captured image 36a.
  • the value of (b1 + t ⁇ b2) ⁇ wb is calculated as the final influence value bx at the point R associated with the captured image 36b.
  • the value of (c1 + t ⁇ c2) ⁇ wc is calculated as the final influence value cx at the point R associated with the captured image 36c.
  • the pixel value of the pixel Qa in the captured image 36a associated with the point R is pqa
  • the pixel value of the pixel Qb in the captured image 36b is pqb
  • the pixel value of the pixel Qc in the captured image 36c is pqc.
  • the sum of the product of the value pqa and the value ax, the product of the value pqb and the value bx, and the product of the value pqc and the value cx is divided by the sum of the value ax, the value bx, and the value cx.
  • the value is determined as the pixel value ps of the pixel S.
  • the value calculated by the equation ((pqa ⁇ ax + pqb ⁇ bx + pqc ⁇ cx) / (ax + bx + cx)) is determined as the pixel value ps of the pixel S.
  • the calculated weighted average value may be determined as the pixel value of the pixel in the virtual space image 50 associated with the drawing point.
  • the virtual space image generation unit 86 generates the virtual space image 50 based on, for example, the captured image 36 and the degree of influence of the captured image 36 on the virtual space image 50.
  • the virtual space image 50 may be generated based on the pixel values determined by the pixel value determination unit 84 for a plurality of pixels in the virtual space image 50.
  • the display control unit 88 causes the display unit 18 to display the virtual space image 50 generated by the virtual space image generation unit 86, for example.
  • the photographed image 36 photographed from the front with respect to the surface of the subject 30 corresponding to the drawing point expresses the color and brightness of the surface more accurately than the photographed image 36 photographed obliquely. Conceivable. For this reason, in the present embodiment, the pixel value of the captured image 36 photographed in the photographing direction along the normal direction of the drawing point is matched with the drawing point in the virtual space image 50 by the normal direction influence degree parameter. It has a strong influence on the pixel value of the pixel.
  • the shot image 36 is virtual. This is not reflected in the degree of influence on the spatial image 50. Therefore, for example, even if there is a captured image 36 in which the natural light environment of the real space 32 is accurately expressed, the natural light environment is not reflected in the virtual space image 50. Therefore, in the present embodiment, the pixel value of the captured image 36 captured by the real camera 34 at the capturing position corresponding to the corresponding camera position 52 close to the position of the virtual camera 48 is determined in the virtual space image 50 by the virtual camera direction influence parameter. The pixel value of this pixel is strongly affected.
  • the natural light environment of the real space 32 when the captured image 36 is actually captured can be reflected in the virtual space image 50.
  • the captured image receiving unit 60 receives the captured image 36 from each of the plurality of actual cameras 34, and the actual camera data receiving unit 62 determines the arrangement of the actual camera 34 when the captured image 36 is captured.
  • the actual camera data shown is received (S101).
  • the polygon model generation unit 64 generates polygon model data based on the captured image 36 and camera data received in the process shown in S101, and stores the generated polygon model data in the polygon model data storage unit 66 ( S102).
  • positioning specification part 68 specifies the corresponding camera arrangement
  • the corresponding camera arrangement identified by the process shown in S103 includes the corresponding camera position 52.
  • the virtual camera placement unit 70 identifies the placement of the virtual camera 48 in the loop (S104).
  • the actual camera selection unit 74 calculates an evaluation value for each actual camera 34 and selects a part of the plurality of actual cameras 34 that have captured the captured image 36 based on the calculated evaluation value. It selects as a real camera (S105).
  • the depth image generation unit 76 generates a depth image associated with the captured image 36 captured by the selected real camera selected in the process shown in S105 (S106).
  • the drawing point specifying unit 78 checks whether or not there is a drawing point that is a point on the vertex 44 or the polygon 46 associated with the pixel selected in the process shown in S107 (S108).
  • the pixel value determining unit 84 determines the predetermined pixel value as the pixel value of the pixel selected in the process shown in S107 ( S109).
  • a predetermined pixel value may be determined as the background pixel value.
  • the influence degree determination unit 80 calculates the value of the influence degree parameter associated with the captured image 36 photographed by the selected real camera for each selected real camera selected in the process shown in S105 (S110). ).
  • the value of the virtual camera direction influence parameter and the value of the normal direction influence degree parameter are calculated.
  • the depth culling unit 82 identifies an unaffected photographed image that does not affect the pixel value of the pixel selected in the process shown in S107, and the degree of influence associated with the unaffected photographed image.
  • the parameter value is updated to 0 (S111).
  • an unaffected photographic image that does not affect the pixel value of the pixel selected in the process shown in S107 may be specified based on the depth image generated in the process shown in S106.
  • the pixel value determining unit 84 determines the pixel value of the pixel selected in the process shown in S107 (S112).
  • the combination of the value of the virtual camera direction influence parameter and the value of the normal direction influence parameter associated with the captured image 36, and the weight value of the selected real camera associated with the captured image 36 are used. Based on this, the pixel value is determined.
  • the drawing point specifying unit 78 checks whether or not the process shown in S108 to S112 has been executed for all the pixels included in the virtual space image 50 (S113). . If it is confirmed that the processing shown in S108 to S112 is not executed for all pixels (S113: N), the processing returns to S107.
  • the virtual space image generating unit 86 determines that the pixel value determined in the processing shown in S112 is the virtual space image 50.
  • a virtual space image 50 set for all the pixels is generated (S114).
  • the display control part 88 displays the virtual space image 50 produced
  • a plurality of real cameras 34 may repeatedly capture the captured image 36 at a predetermined sampling rate.
  • the processes shown in S101 to S115 may be performed in parallel by shifting the execution timings by a plurality of processes or threads.
  • the process shown in S101 may be executed by any process or thread at the sampling rate described above. For example, in this way, if a delay of about the execution time of the processes shown in S101 to S115 is allowed, rendering of the virtual space image 50 representing the appearance of the virtual space 42 viewed from the position of an arbitrary virtual camera 48 in real time. Is possible.
  • the arrangement of the real camera 34 and the arrangement of the subject 30 may be fixed, and the generation of the depth image associated with the captured image 36 photographed by the real camera 34 may have already been completed in the previous loop. .
  • the process shown in S106 may not be executed.
  • the captured image reception unit 60 may receive the depth image together in the process shown in S101.
  • a selected real camera that does not affect the pixel value of the pixel selected in the process shown in S107 may be specified based on the depth image received in the process shown in S101.
  • the processing shown in S111 may not be executed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Image Generation (AREA)

Abstract

撮影画像を実際に撮影した際における実空間の自然な光環境を仮想空間画像に反映させることができる画像生成装置、画像生成方法及びプログラムを提供する。対応カメラ位置特定部（６８）は、撮影画像を撮影した実カメラの実空間内における位置である撮影位置に相当する仮想空間内における位置である対応カメラ位置を特定する。影響度決定部（８０）は、仮想空間内における仮想カメラの位置と対応カメラ位置とに基づいて、当該対応カメラ位置に相当する撮影位置の実カメラにより撮影された撮影画像が仮想空間画像に与える影響度を決定する。仮想空間画像生成部（８６）は、撮影位置の実カメラにより撮影された撮影画像と当該撮影画像が仮想空間画像に与える影響度とに基づいて、仮想空間画像を生成する。

Description

画像生成装置、画像生成方法及びプログラム
　本発明は、画像生成装置、画像生成方法及びプログラムに関する。
　実空間に配置された被写体を撮影した撮影画像に基づいてポリゴンモデルを生成する技術が存在する。
　またこのようにして生成されるポリゴンモデルが配置されている仮想空間において仮想カメラから当該ポリゴンモデルを見た様子を表す仮想空間画像を生成して表示させる技術も存在する。
　上述のようにして撮影画像に基づくポリゴンモデルを生成する際には、一般的には、実空間の光環境に依存しないポリゴンモデルを生成するために、実空間の光環境が被写体に与える影響を抑制する工夫がされている。具体的には例えば、撮影画像を撮影する際に白色光を被写体に照らしたり拡散板を配置したりすることが行われている。
　そしてこのようにして生成されるポリゴンモデルを見た様子を表す仮想空間画像における光環境の表現は、例えば仮想空間内に配置される光源による光などといったコンピュータグラフィックスの技術によって行われていた。そのため従来技術では、撮影画像を実際に撮影した際における実空間の自然な光環境を仮想空間画像に反映させることができなかった。
　本発明は上記課題に鑑みてなされたものであって、その目的の１つは、撮影画像を実際に撮影した際における実空間の自然な光環境を仮想空間画像に反映させることができる画像生成装置、画像生成方法及びプログラムを提供することにある。
　上記課題を解決するために、本発明に係る画像生成装置は、実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成装置であって、前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定部と、前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定部と、前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成部と、を含む。
　本発明の一態様では、前記影響度決定部は、前記ポリゴンモデルに含まれる頂点又はポリゴン上の点である描画点から前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、に基づいて、当該描画点における前記影響度を決定し、前記撮影画像内における前記描画点に対応付けられる画素の画素値と、当該描画点における前記影響度と、に基づいて、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値を決定する画素値決定部、をさらに含み、前記仮想空間生成部は、前記仮想空間画像内の複数の画素について決定される前記画素値に基づいて、前記仮想空間画像を生成する。
　この態様では、前記対応カメラ位置特定部は、複数の前記撮影画像のそれぞれについて、当該撮影画像の前記対応カメラ位置を特定し、前記影響度決定部は、複数の前記撮影画像のそれぞれについて、前記描画点から当該撮影画像の前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、に基づいて、当該撮影画像に対応付けられる当該描画点における前記影響度を決定し、前記画素値決定部は、複数の前記撮影画像についての、当該撮影画像内における前記描画点に対応付けられる画素の画素値の、当該撮影画像に対応付けられる前記影響度に基づく重み付き平均値を、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値として決定してもよい。
　あるいは、前記影響度決定部は、前記描画点から前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、当該描画点に対応付けられる法線方向と、に基づいて、当該描画点における前記影響度を決定してもよい。
　また、本発明に係る画像生成方法は、実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成方法であって、前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定ステップと、前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定ステップと、前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成ステップと、を含む。
　また、本発明に係るプログラムは、実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成するプログラムであって、前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定手順、前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定手順、前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成手順、をコンピュータに実行させる。
本発明の一実施形態に係る画像生成装置の構成図である。 被写体が実空間内に配置されている様子の一例を模式的に示す図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 撮影画像の一例を示す図である。 被写体を模したポリゴンモデルが仮想空間内に配置されている様子の一例を模式的に示す図である。 仮想空間画像の一例を示す図である。 本発明の一実施形態に係る画像生成装置で実装される機能の一例を示す機能ブロック図である。 点データの一例を示す図である。 ポリゴンデータの一例を示す図である。 ポリゴン、対応カメラ位置、及び、仮想カメラの位置の関係の一例を示す図である。 本発明の一実施形態に係る画像生成装置で行われる処理の流れの一例を示すフロー図である。
　以下、本発明の一実施形態について図面に基づき詳細に説明する。
　図１は、本発明の一実施形態に係る画像生成装置１０の構成図である。本実施形態に係る画像生成装置１０は、例えば、ゲームコンソールやパーソナルコンピュータなどのコンピュータである。図１に示すように、本実施形態に係る画像生成装置１０は、例えば、プロセッサ１２、記憶部１４、操作部１６、表示部１８、通信部２０を含んでいる。
　プロセッサ１２は、例えば画像生成装置１０にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ１２には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
　記憶部１４は、ＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部１４には、プロセッサ１２によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部１４には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
　操作部１６は、キーボード、マウス、ゲームコンソールのコントローラ等のユーザインタフェースであって、ユーザの操作入力を受け付けて、その内容を示す信号をプロセッサ１２に出力する。
　表示部１８は、液晶ディスプレイ等の表示デバイスであって、プロセッサ１２の指示に従って各種の画像を表示する。
　通信部２０は、ネットワークボードなどの通信インタフェースである。
　なお、画像生成装置１０は、ＤＶＤ－ＲＯＭやＢｌｕ－ｒａｙ（登録商標）ディスクなどの光ディスクを読み取る光ディスクドライブ、ＵＳＢ（Universal Serial Bus）ポートなどを含んでいてもよい。
　図２は、本実施形態に係る被写体３０が実空間３２内に配置されている様子の一例を模式的に示す図である。図２には、スタンフォードバニーのような形状の実オブジェクトが被写体３０の一例として示されている。
　そして本実施形態では、例えば、実空間３２に配置された実カメラ３４が図２に例示する被写体３０を撮影した撮影画像３６を生成する。図２に示すように、本実施形態では、例えば、実カメラ３４ａ，３４ｂ，３４ｃ，３４ｄの４つを含む複数の実カメラ３４のそれぞれが撮影画像３６を生成する。なお、撮影画像３６を生成する実カメラ３４の数は４つに限定されず、より多い数あるいはより少ない数の実カメラ３４のそれぞれによって撮影画像３６が生成されてもよい。また１の実カメラ３４が、互いに異なる複数の位置のそれぞれにおいて被写体３０を撮影した撮影画像３６を生成してもよい。
　図３Ａ～図３Ｄはそれぞれ、撮影画像３６の一例を示す図である。図３Ａは、実カメラ３４ａによって生成される撮影画像３６ａの一例を示す図である。図３Ｂは、実カメラ３４ｂによって生成される撮影画像３６ｂの一例を示す図である。図３Ｃは、実カメラ３４ｃによって生成される撮影画像３６ｃの一例を示す図である。図３Ｄは、実カメラ３４ｄによって生成される撮影画像３６ｄの一例を示す図である。
　本実施形態では例えば、Ｘ１Ｙ１Ｚ１座標系で表現される３次元空間に配置された被写体３０をＸ２Ｙ２座標系で表現される２次元平面に投影した像が撮影画像３６に配置される。この場合、撮影画像３６のなかには、被写体３０の表面上の点Ｐの像が配置されているものがある。ここでは例えば、点Ｐの像が、撮影画像３６ａ内における画素Ｑａ、撮影画像３６ｂ内における画素Ｑｂ、及び、撮影画像３６ｃ内における画素Ｑｃとして配置されていることとする。
　そして本実施形態では例えば、撮影画像３６と、撮影画像３６を撮影した際の実カメラ３４の位置、撮影方向、及び、画角などに基づいて、図４に例示するポリゴンモデル４０が生成される。
　図４は、被写体３０を模したポリゴンモデル４０が仮想空間４２内に配置されている様子の一例を模式的に示す図である。本実施形態に係る仮想空間４２は、実空間３２をモデリングした空間となっている。本実施形態では実空間３２内における被写体３０の位置や向きは、仮想空間４２内のポリゴンモデル４０の位置や向きに反映される。以下、実空間３２内における位置はＸ１Ｙ１Ｚ１座標系で表現され、仮想空間４２内における位置はＸ３Ｙ３Ｚ３座標系で表現されることとする。
　図４に例示するポリゴンモデル４０には、複数の頂点４４を有するポリゴン４６が複数含まれている。頂点４４やポリゴン４６上の点の位置のなかには、被写体３０の表面上の点の位置に対応付けられるものがある。そして本実施形態では例えば、実空間３２のＸ１Ｙ１Ｚ１座標系における座標値（ｘ，ｙ，ｚ）が、仮想空間４２内のＸ３Ｙ３Ｚ３座標系における座標値（ｔ・ｘ，ｔ・ｙ，ｔ・ｚ）（ｔは定数）にマッピングされる。そのため本実施形態では、図４に示すポリゴンモデル４０が表す立体の形状は、図２に示す被写体３０の形状と概ね同じになる。以下の説明では、ｔの値は１であることとする。すなわち、実空間３２のＸ１Ｙ１Ｚ１座標系における座標値（ｘ，ｙ，ｚ）が、仮想空間４２内のＸ３Ｙ３Ｚ３座標系における座標値（ｘ，ｙ，ｚ）にマッピングされることとする。ここでは例えば、被写体３０の表面上の点Ｐが、頂点４４又はポリゴン４６上の点である点Ｒにマッピングされることとする。
　ここで例えば、撮影画像３６に基づいて公知の手法により頂点４４の位置が特定されてもよい。そして特定された複数の頂点４４に基づいて、複数のポリゴン４６を含むポリゴンモデル４０が生成されてもよい。
　そして本実施形態では、仮想空間４２内に配置される仮想カメラ４８からポリゴンモデル４０の方向を見た様子を表す、図５に例示する仮想空間画像５０が生成される。そして仮想空間画像５０が表示部１８に表示される。ここで例えば、ポリゴンモデル４０における点Ｒの像が、仮想空間画像５０における画素Ｓとして配置されることとする。
　ここで本実施形態では、仮想空間画像５０内の画素Ｓの画素値は、撮影画像３６内の、画素Ｑａや画素Ｑｂや画素Ｑｃの画素値に基づいて設定される。ここで画素値とは、例えば画素の色や明るさを表す値であり、その表現は特に問わない。そして本実施形態では以下のようにして仮想空間画像５０内の各画素の画素値を設定することで、撮影画像３６を実際に撮影した際における実空間３２の自然な光環境が反映された仮想空間画像５０が生成されるようにした。
　以下、本実施形態に係る画像生成装置１０の機能、及び、画像生成装置１０で実行される処理についてさらに説明する。
　図６は、本実施形態に係る画像生成装置１０で実装される機能の一例を示す機能ブロック図である。図６に示すように、画像生成装置１０は、機能的には例えば、撮影画像受信部６０、実カメラデータ受信部６２、ポリゴンモデル生成部６４、ポリゴンモデルデータ記憶部６６、対応カメラ配置特定部６８、仮想カメラ配置部７０、ウエイトデータ記憶部７２、実カメラ選択部７４、デプス画像生成部７６、描画点特定部７８、影響度決定部８０、デプスカリング部８２、画素値決定部８４、仮想空間画像生成部８６、表示制御部８８を含んでいる。
　撮影画像受信部６０、実カメラデータ受信部６２は、通信部２０を主として実装される。ポリゴンモデル生成部６４、対応カメラ配置特定部６８、実カメラ選択部７４、デプス画像生成部７６、描画点特定部７８、影響度決定部８０、デプスカリング部８２、画素値決定部８４は、プロセッサ１２を主として実装される。ポリゴンモデルデータ記憶部６６、ウエイトデータ記憶部７２は、記憶部１４を主として実装される。仮想カメラ配置部７０は、プロセッサ１２及び操作部１６を主として実装される。仮想空間画像生成部８６は、プロセッサ１２及び記憶部１４を主として実装される。表示制御部８８は、プロセッサ１２、記憶部１４、及び、表示部１８を主として実装される。
　以上の機能は、コンピュータである画像生成装置１０にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ１２で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して画像生成装置１０に供給されてもよい。
　撮影画像受信部６０は、本実施形態では例えば、実カメラ３４から撮影画像３６を受信する。
　実カメラデータ受信部６２は、本実施形態では例えば、実カメラ３４から、撮影画像３６を撮影した実カメラ３４の実空間３２内における位置、向き、画角、などといった実空間３２における実カメラ３４の配置を示す実カメラデータを受信する。
　ポリゴンモデル生成部６４は、本実施形態では例えば、図４に例示するポリゴンモデル４０を生成する。ここでポリゴンモデル生成部６４は、撮影画像受信部６０が受信した撮影画像３６に基づいて、ポリゴンモデル４０を示すポリゴンモデルデータを生成してもよい。またポリゴンモデル生成部６４が、撮影画像受信部６０が受信した撮影画像３６と、実カメラデータ受信部６２が受信する実カメラデータと、に基づいて、ポリゴンモデルデータを生成してもよい。そしてポリゴンモデル生成部６４は、本実施形態では例えば、生成されるポリゴンモデルデータをポリゴンモデルデータ記憶部６６に記憶させる。なお、本実施形態ではポリゴンモデル４０の生成手法は特に問わない。
　ポリゴンモデルデータ記憶部６６は、ポリゴンモデル生成部６４が生成するポリゴンモデルデータを記憶する。ポリゴンモデルデータには、図７Ａに示す点データや、図７Ｂに示すポリゴンデータなどが含まれる。
　図７Ａは、１の頂点４４である点に対応付けられる点データの一例を示す図である。図７Ａに示す点データには、当該点データに対応付けられる頂点４４である点の識別情報である点ＩＤと当該点のＸ３Ｙ３Ｚ３座標系で表現された位置の３次元座標値を示す座標データと、当該点に対応付けられる法線方向を示す法線方向データとの組合せが含まれる。ここで法線方向データは、例えば、Ｘ３Ｙ３Ｚ３座標系で表現された法線方向を表す単位ベクトルの３次元座標値などを示す。そして本実施形態では例えば、ポリゴン４６上の点における法線方向を示す値は、当該ポリゴン４６を構成する頂点４４である点に対応付けられる点データに含まれる法線方向データの値を補間することで決定される。また頂点４４である点に対応付けられる点データに含まれる法線方向データの値が、当該頂点４４における法線方向を示す値として決定される。
　図７Ｂは、１のポリゴン４６に対応付けられるポリゴンデータの一例を示す図である。ポリゴンデータには、例えば、当該ポリゴンデータに対応付けられるポリゴン４６の識別情報であるポリゴンＩＤと、当該ポリゴン４６を構成する頂点４４の点ＩＤの順序付きリストである頂点データと、が含まれる。またポリゴンデータによって当該ポリゴンデータに対応付けられるポリゴン４６の法線方向（表裏）が定義されてもよい。例えばポリゴン４６を表側から見た際において反時計回りとなるような頂点４４の順序である、各頂点４４に対応付けられる点の順序付きリストが頂点データとしてポリゴンデータに含まれるようにしてもよい。そしてこの場合にポリゴン４６の裏側から表側に向かう方向が法線方向として定義されてもよい。
　対応カメラ配置特定部６８は、本実施形態では例えば、実カメラデータ受信部６２が受信する実カメラデータに基づいて、当該実カメラデータが示す実空間３２における実カメラ３４の配置に相当する、仮想空間４２内の配置を特定する。
　以下、撮影画像３６を撮影した実カメラ３４の配置に相当する、仮想空間４２内の位置、向き、画角などといった配置を、当該撮影画像３６の対応カメラ配置と呼ぶこととする。特に、撮影画像３６を撮影した実カメラ３４の位置に相当する、仮想空間４２内の位置を、当該撮影画像３６の対応カメラ位置５２と呼ぶこととする。図４には、撮影画像３６ａの対応カメラ位置５２ａ、撮影画像３６ｂの対応カメラ位置５２ｂ、撮影画像３６ｃの対応カメラ位置５２ｃ、及び、撮影画像３６ｄの対応カメラ位置５２ｄが示されている。例えばこのように、複数の撮影画像３６のそれぞれについて、当該撮影画像３６の対応カメラ位置５２が特定されてもよい。
　また、以下、撮影画像３６を撮影した実カメラ３４の実空間３２内における位置を、撮影位置と呼ぶこととする。
　仮想カメラ配置部７０は、本実施形態では例えば、仮想空間４２内における仮想カメラ４８の位置、向き、画角などといった、仮想カメラ４８の配置を決定する。ここで例えば、仮想カメラ配置部７０は、ユーザによる操作部１６の操作に応じて、仮想カメラ４８の配置を変更してもよい。そして、仮想カメラ配置部７０は、ユーザの決定操作に応じて、仮想カメラ４８の配置を決定してもよい。ここで例えば、仮想カメラ４８の画角は予め定められており、仮想カメラ配置部７０が、仮想カメラ４８の位置及び撮影方向を決定してもよい。また仮想カメラ４８の画角が可変であり、仮想カメラ配置部７０が、仮想カメラ４８の位置、撮影方向、及び、画角を決定してもよい。
　ウエイトデータ記憶部７２は、本実施形態では例えば、実カメラ３４又は撮影画像３６のウエイトを示すウエイトデータを記憶する。ここでウエイトデータが示すウエイトの値は、例えば、ユーザによって設定可能な、複数の実カメラ３４のそれぞれに対応付けられる相対的な重みを表す値であってもよい。ここで例えば、被写体３０との間の距離が短い実カメラ３４ほど当該実カメラ３４のウエイトの値が大きくなるようウエイトの値が設定されてもよい。また例えば、実カメラ３４が撮影する撮影画像３６の解像度が高いほど当該実カメラ３４のウエイトの値が大きくなるようウエイトの値が設定されてもよい。
　なおウエイトの値として、ユーザによる設定値ではなく測定値に応じた値が設定されてもよい。例えば実カメラ３４がデプスカメラである場合などにおいて、実カメラ３４が、被写体３０までの距離を示すデータを生成してもよい。そしてこのデータが実カメラデータに含まれるようにしてもよい。そしてこの距離に基づいて、当該実カメラのウエイトの値が決定されてもよい。
　実カメラ選択部７４は、本実施形態では例えば、仮想空間画像５０に含まれる各画素の画素値の決定の基礎となる実カメラ３４を選択する。ここで例えば、仮想カメラ配置部７０により決定される仮想カメラ４８の配置と、対応カメラ配置特定部６８により特定される複数の実カメラ３４のそれぞれに対応付けられる対応カメラ配置と、に基づいて、実カメラ３４が選択されてもよい。またウエイトデータに基づいて実カメラ３４が選択されてもよい。
　例えば、実カメラ３４に対応付けられる対応カメラ配置と仮想カメラ４８の配置との近さ、及び、当該実カメラ３４のウエイトの値に基づいて、評価値が決定されてもよい。ここで例えば、対応カメラ位置５２と仮想カメラ４８の位置とが近いほど評価値が大きくなるようにしてもよい。また、対応カメラ配置によって示されている仮想空間４２内における向きと仮想カメラ４８の向きとが近いほど評価値が大きくなるようにしてもよい。またウエイトの値が大きいほど評価値が大きくなるようにしてもよい。そして評価値が高いものから順に所定数の実カメラ３４が選択されてもよい。以下、実カメラ選択部７４により選択された実カメラ３４を選択実カメラと呼ぶこととする。
　デプス画像生成部７６は、本実施形態では例えば、ポリゴンモデル４０と実カメラ３４に対応付けられる対応カメラ配置とに基づいて、当該実カメラ３４が撮影した撮影画像３６に対応付けられるデプス画像を生成する。ここでデプス画像生成部７６は、実カメラ選択部７４による選択実カメラの選択に応じて、選択実カメラが撮影した撮影画像３６に対応付けられるデプス画像を生成してもよい。ここでデプス画像は、例えば、撮影画像３６に含まれる画素のそれぞれに対応付けられる、実カメラ３４から被写体３０までの距離の分布を示す画像である。デプス画像に基づいて、撮影画像３６内に含まれる画素に対応付けられる被写体３０の表面上の点と、当該撮影画像３６を撮影した実カメラ３４までの距離が特定可能である。
　描画点特定部７８は、本実施形態では例えば、仮想空間画像５０内の画素に対応付けられる、ポリゴンモデル４０における頂点４４又はポリゴン４６上の点である描画点を特定する。例えばＧＰＵの機能を用いることにより、仮想空間４２内における仮想カメラ４８の配置とポリゴンモデル４０とに基づいて、描画点を特定することは可能である。
　影響度決定部８０は、本実施形態では例えば、仮想カメラ４８の位置と対応カメラ位置５２とに基づいて、当該対応カメラ位置５２に相当する撮影位置の実カメラ３４により撮影された撮影画像３６が仮想空間画像５０に与える影響度を決定する。例えば、描画点から対応カメラ位置５２に向かう向きと、当該描画点から仮想カメラ４８の位置に向かう向きと、に基づいて、当該描画点における影響度が決定されてもよい。
　また例えば、描画点から対応カメラ位置５２に向かう向きと、当該描画点から仮想カメラ４８の位置に向かう向きと、当該描画点に対応付けられる法線方向と、に基づいて、当該描画点における影響度が決定されてもよい。例えば描画点から対応カメラ位置５２に向かう向きと、当該描画点から仮想カメラ４８の位置に向かう向きと、に基づいて、当該描画点における第１の影響度を示す仮想カメラ方向影響度パラメータの値が算出されてもよい。そして例えば、描画点から対応カメラ位置５２に向かう向きと、当該描画点に対応付けられる法線方向と、に基づいて、当該描画点における第２の影響度を示す法線方向影響度パラメータの値が算出されてもよい。
　ここで例えば、図４に示す点Ｒが描画点である場合の撮影画像３６ａに対応付けられる影響度パラメータの値の算出例について、図８を参照しながら説明する。図８では、対応カメラ位置５２ａがＡで表現されており、仮想カメラ４８の位置はＢで表現されている。
　この場合例えば、位置Ａと位置Ｂとが近いほど、撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値が大きくなるようにしてもよい。例えば、点Ｒの位置から位置Ａに向かう単位ベクトルＶと、点Ｒの位置から位置Ｂに向かう単位ベクトルＷと、がなす角度が小さいほど、仮想カメラ方向影響度パラメータの値が大きくなるようにしてもよい。また例えば、ベクトルＶとベクトルＷとの内積の値をｎ１乗（例えば３２乗）した値を、撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値としてもよい。この場合、ベクトルＶとベクトルＷとの内積の値が０以下である場合は、撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値は０としてもよい。
　また、点Ｒに対応付けられる法線方向のベクトルＮとベクトルＶとのなす角度が小さいほど、法線方向影響度パラメータの値が大きくなるようにしてもよい。例えば、ベクトルＶとベクトルＮとの内積の値をｎ２乗（例えば４乗）した値を、撮影画像３６ａに対応付けられる法線方向影響度パラメータの値としてもよい。この場合、ベクトルＶとベクトルＮとの内積の値が０以下である場合は、撮影画像３６ａに対応付けられる法線方向影響度パラメータの値は０としてもよい。なお上述のように値ｎ１が値ｎ２よりも大きくてもよい。
　デプスカリング部８２は、本実施形態では例えば、描画点に対応付けられる仮想空間画像５０内の画素の画素値に影響を与えないと判定される撮影画像３６に対応付けられる影響度パラメータの値を０に変更する。以下、描画点に対応付けられる仮想空間画像５０内の画素の画素値に影響を与えないと判定される撮影画像３６を、無影響撮影画像と呼ぶこととする。
　ここでは例えば、デプスカリング部８２は、Ｘ３Ｙ３Ｚ３座標系で表現される描画点の３次元座標値に、対応カメラ配置に応じたプロジェクション行列を乗じることで、当該対応カメラ配置に対応付けられるプロジェクション座標系における３次元座標値を算出する。
　ここで撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系におけるＸ座標値は、撮影画像３６ａにおけるＸ２座標値に相当する。例えば撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系における、図８に示す点ＲのＸ座標値は、画素ＱａのＸ座標値と同じとなる。また撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系におけるＹ座標値は、撮影画像３６ａにおけるＹ２座標値に相当する。例えば撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系における、図８に示す点ＲのＹ座標値は、画素ＱａのＹ座標値と同じとなる。そのため、プロジェクション座標系におけるＸ座標値及びＸ座標値に基づいて、これらの座標値の組合せに相当する撮影画像３６ａ内の画素の位置、及び、デプス画像内の画素の位置が特定可能である。
　また、撮影画像３６ａの対応カメラ配置に対応付けられるプロジェクション座標系における図８に示す点ＲのＺ座標値は、図８に示す点Ｒと位置Ａとの間の長さＬ１に相当する。
　そしてデプスカリング部８２は、描画点に対応付けられるデプス画像内における画素の画素値に対応付けられる長さＬ２と上述の長さＬ１との差が所定長より長い場合は、撮影画像３６ａを当該描画点における無影響撮影画像として判定する。そして、デプスカリング部８２は、無影響撮影画像として判定された撮影画像３６ａに対応付けられる影響度パラメータの値を０に変更する。
　例えば、点Ｒに対応付けられる撮影画像３６ａ内の画素として、画素Ｑａが特定される。ここで例えば画素ＱａのＸ２Ｙ２座標値が（ｘ１，ｙ１）であることとする。この場合は、Ｘ２Ｙ２座標値が（ｘ１，ｙ１）である、撮影画像３６ａに対応付けられるデプス画像の画素値に対応付けられる長さＬ２が特定される。
　ここで上述の長さＬ２と上述の長さＬ１との差が所定長より長い場合には、画素Ｑａは、点Ｒに対応付けられる画素とは言えない。この場合は例えば、点Ｐよりも実カメラ３４ａに近い位置に存在する被写体３０の面や他のオブジェクトなどの像が画素Ｑａとして撮影画像３６ａに配置されている可能性が高い。そのためこの場合は、画素Ｑａの画素値が仮想空間画像５０における画素Ｓの画素値に反映されるべきではない。
　このことを踏まえて本実施形態では例えば、上述のように上述の長さＬ２と上述の長さＬ１との差が所定長より長い場合は、撮影画像３６ａが描画点における無影響撮影画像として判定される。そして撮影画像３６ａに対応付けられる仮想カメラ方向影響度パラメータの値及び法線方向影響度パラメータの値が０に変更される。
　なお例えば実カメラ３４がデプスカメラである場合などには、デプス画像生成部７６が生成するデプス画像の代わりに実カメラ３４によって生成されるデプス画像が、上述の長さＬ２の特定に用いられてもよい。
　画素値決定部８４は、本実施形態では例えば、撮影画像３６内における描画点に対応付けられる画素の画素値と、当該描画点における影響度と、に基づいて、当該描画点に対応付けられる仮想空間画像５０内の画素の画素値を決定する。
　ここで画素値の決定の一例として、描画点である点Ｒに対応付けられる画素Ｓの画素値の決定の場面について以下に説明する。またここでは、実カメラ選択部７４によって、実カメラ３４ａ、実カメラ３４ｂ、及び、実カメラ３４ｃが選択実カメラとして選択されたとする。
　また撮影画像３６ａに対応付けられる点Ｒにおける仮想カメラ方向影響度パラメータの値、法線方向影響度パラメータの値、をそれぞれ、ａ１、ａ２とする。また撮影画像３６ｂに対応付けられる点Ｒにおける仮想カメラ方向影響度パラメータの値、法線方向影響度パラメータの値、をそれぞれ、ｂ１、ｂ２とする。また撮影画像３６ｃに対応付けられる点Ｒにおける仮想カメラ方向影響度パラメータの値、法線方向影響度パラメータの値、をそれぞれ、ｃ１、ｃ２とする。そして、実カメラ３４ａ、実カメラ３４ｂ、実カメラ３４ｃのウエイトの値を、それぞれ、ｗａ、ｗｂ、ｗｃとする。
　この場合、画素値決定部８４は、まず、ａ１＋ｂ１＋ｃ１の値を１から引いた値ｔを算出する。ここでａ１＋ｂ１＋ｃ１の値が１以上である場合は、値ｔは０となる。
　そして、画素値決定部８４は、仮想カメラ方向影響度パラメータの値と、法線カメラ方向影響度パラメータの値に値ｔを乗じた値と、の和に、ウエイトの値を乗じた値を、最終影響度値として算出する。ここで例えば、（ａ１＋ｔ・ａ２）・ｗａの値が、撮影画像３６ａに対応付けられる点Ｒにおける最終影響度値ａｘとして算出される。また（ｂ１＋ｔ・ｂ２）・ｗｂの値が、撮影画像３６ｂに対応付けられる点Ｒにおける最終影響度値ｂｘとして算出される。また（ｃ１＋ｔ・ｃ２）・ｗｃの値が、撮影画像３６ｃに対応付けられる点Ｒにおける最終影響度値ｃｘとして算出される。
　ここで点Ｒに対応付けられる、撮影画像３６ａ内の画素Ｑａの画素値をｐｑａ、撮影画像３６ｂ内の画素Ｑｂの画素値をｐｑｂ、撮影画像３６ｃ内の画素Ｑｃの画素値をｐｑｃとする。この場合、値ｐｑａと値ａｘとの積と、値ｐｑｂと値ｂｘとの積と、値ｐｑｃと値ｃｘとの積と、の合計を、値ａｘと値ｂｘと値ｃｘの和で割った値が、画素Ｓの画素値ｐｓとして決定される。すなわち（（ｐｑａ・ａｘ＋ｐｑｂ・ｂｘ＋ｐｑｃ・ｃｘ）／（ａｘ＋ｂｘ＋ｃｘ））との計算式で算出される値が画素Ｓの画素値ｐｓとして決定される。このように、複数の撮影画像３６についての、当該撮影画像３６内における描画点に対応付けられる画素の画素値の、撮影画像３６に対応付けられる影響度に基づく重み付き平均値が算出されてもよい。そして算出された重み付き平均値が、当該描画点に対応付けられる仮想空間画像５０内の画素の画素値として決定されてもよい。
　仮想空間画像生成部８６は、本実施形態では例えば、撮影画像３６と当該撮影画像３６が仮想空間画像５０に与える影響度とに基づいて、仮想空間画像５０を生成する。ここで例えば、仮想空間画像５０内の複数の画素について画素値決定部８４により決定される画素値に基づいて仮想空間画像５０が生成されてもよい。
　表示制御部８８は、本実施形態では例えば、仮想空間画像生成部８６が生成する仮想空間画像５０を表示部１８に表示させる。
　描画点に対応する被写体３０の表面に対して正面から撮影された撮影画像３６には、斜めから撮影された撮影画像３６よりも、当該表面の色や明るさが的確に表現されているものと考えられる。そのため本実施形態では、法線方向影響度パラメータによって、描画点の法線方向に沿った撮影方向で撮影された撮影画像３６の画素の画素値が描画点に対応付けられる仮想空間画像５０内の画素の画素値に強い影響を与えるようになっている。
　しかし法線方向影響度パラメータだけでは、撮影画像３６が撮影された際の撮影位置に相当する対応カメラ位置５２と仮想カメラ４８の位置とが同じあるいは近い場合であっても当該撮影画像３６が仮想空間画像５０に与える影響度にはこのことが反映されない。そのため例えば、実空間３２の自然な光環境が的確に表現された撮影画像３６があっても、仮想空間画像５０にはその自然な光環境が反映されない。そこで本実施形態では、仮想カメラ方向影響度パラメータによって、仮想カメラ４８の位置に近い対応カメラ位置５２に相当する撮影位置の実カメラ３４により撮影された撮影画像３６の画素値が仮想空間画像５０内の画素の画素値に強い影響を与えるようにした。
　以上のようにして本実施形態によれば、撮影画像３６を実際に撮影した際における実空間３２の自然な光環境を仮想空間画像５０に反映させることができる。
　ここで、本実施形態に係る画像生成装置１０で行われる仮想空間画像の生成処理の流れの一例を、図９に例示するフロー図を参照しながら説明する。本処理例では、以下のＳ１０１～Ｓ１１５に示す処理のループは、繰り返し実行されることとする。また本処理例では、複数の実カメラ３４による撮影画像３６の撮影タイミングや撮影画像３６の送信タイミングは同期がとられていることとする。
　まず、複数の実カメラ３４のそれぞれから、撮影画像受信部６０が、撮影画像３６を受信するとともに、実カメラデータ受信部６２が、当該撮影画像３６を撮影した際の実カメラ３４の配置等を示す実カメラデータを受信する（Ｓ１０１）。
　そしてポリゴンモデル生成部６４が、Ｓ１０１に示す処理で受信した撮影画像３６及びカメラデータに基づいて、ポリゴンモデルデータを生成して、生成されたポリゴンモデルデータをポリゴンモデルデータ記憶部６６に記憶させる（Ｓ１０２）。
　そして対応カメラ配置特定部６８が、Ｓ１０１に示す処理で受信した実カメラデータに基づいて、複数の実カメラ３４のそれぞれに対応付けられる対応カメラ配置を特定する（Ｓ１０３）。Ｓ１０３に示す処理で特定される対応カメラ配置には、対応カメラ位置５２が含まれている。
　そして仮想カメラ配置部７０が、当該ループにおける仮想カメラ４８の配置を特定する（Ｓ１０４）。
　そして実カメラ選択部７４が、それぞれの実カメラ３４についての評価値を算出して、算出された評価値に基づいて、撮影画像３６を撮影した複数の実カメラ３４のうちの一部を、選択実カメラとして選択する（Ｓ１０５）。
　そしてデプス画像生成部７６が、Ｓ１０５に示す処理で選択された選択実カメラが撮影した撮影画像３６に対応付けられるデプス画像を生成する（Ｓ１０６）。
　そして描画点特定部７８が、Ｓ１０４に示す処理で特定された配置の仮想カメラ４８から仮想空間４２を見た様子を表す仮想空間画像５０に含まれる、以下のＳ１０８～Ｓ１１２に示す処理が実行されていない画素を１つ選択する（Ｓ１０７）。
　そして描画点特定部７８は、Ｓ１０７に示す処理で選択された画素に対応付けられる頂点４４又はポリゴン４６上の点である描画点の有無を確認する（Ｓ１０８）。
　Ｓ１０８に示す処理で描画点の存在が確認されなかった場合は（Ｓ１０８：Ｎ）、画素値決定部８４が、所定の画素値をＳ１０７に示す処理で選択された画素の画素値として決定する（Ｓ１０９）。ここでは例えば、背景の画素値として予め定められた画素値が決定されてもよい。
　一方、Ｓ１０８に示す処理で描画点の存在が確認されたとする（Ｓ１０８：Ｙ）。この場合は、影響度決定部８０が、Ｓ１０５に示す処理で選択された選択実カメラのそれぞれについて、当該選択実カメラが撮影した撮影画像３６に対応付けられる影響度パラメータの値を算出する（Ｓ１１０）。ここでは例えば上述のように仮想カメラ方向影響度パラメータの値と法線方向影響度パラメータの値が算出される。
　そしてデプスカリング部８２が、上述のようにして、Ｓ１０７に示す処理で選択された画素の画素値に影響を与えない無影響撮影画像を特定して、当該無影響撮影画像に対応付けられる影響度パラメータの値を０に更新する（Ｓ１１１）。Ｓ１１１に示す処理では例えば、Ｓ１０６に示す処理で生成されるデプス画像に基づいて、Ｓ１０７に示す処理で選択された画素の画素値に影響を与えない無影響撮影画像が特定されてもよい。
　そして画素値決定部８４が、Ｓ１０７に示す処理で選択された画素の画素値を決定する（Ｓ１１２）。ここでは例えば、撮影画像３６に対応付けられる仮想カメラ方向影響度パラメータの値と法線方向影響度パラメータの値との組合せ、及び、当該撮影画像３６に対応付けられる選択実カメラのウエイトの値に基づいて、画素値が決定される。
　Ｓ１０９又はＳ１１２に示す処理が終了されると、描画点特定部７８が、仮想空間画像５０に含まれるすべての画素について上述のＳ１０８～Ｓ１１２に示す処理が実行されたか否かを確認する（Ｓ１１３）。すべての画素についてＳ１０８～Ｓ１１２に示す処理が実行されていないことが確認された場合は（Ｓ１１３：Ｎ）、Ｓ１０７に示す処理に戻る。
　すべての画素についてＳ１０８～Ｓ１１２に示す処理が実行されたことが確認された場合は（Ｓ１１３：Ｎ）、仮想空間画像生成部８６が、Ｓ１１２に示す処理で決定された画素値が仮想空間画像５０内のすべての画素について設定された仮想空間画像５０を生成する（Ｓ１１４）。
　そして表示制御部８８が、Ｓ１１４に示す処理で生成された仮想空間画像５０を表示部１８に表示させる（Ｓ１１５）。
　上述のように、本処理例では、Ｓ１０１～Ｓ１１５に示す処理が繰り返し実行されることとなる。
　ここで例えば複数の実カメラ３４が所定のサンプリングレートで撮影画像３６を繰り返し撮影してもよい。またＳ１０１～Ｓ１１５に示す処理が複数のプロセスやスレッドによって互いに実行タイミングをずらして並行に処理されてもよい。そして上述のサンプリングレートでいずれかのプロセスやスレッドによりＳ１０１に示す処理が実行されるようにしてもよい。例えばこのようにすれば、Ｓ１０１～Ｓ１１５に示す処理の実行時間程度の遅れを許容すれば、任意の仮想カメラ４８の位置から仮想空間４２を見た様子を表す仮想空間画像５０のリアルタイムでのレンダリングが可能となる。
　なお、例えば実カメラ３４の配置及び被写体３０の配置が固定されており、当該実カメラ３４が撮影した撮影画像３６に対応付けられるデプス画像の生成が前回までのループで既に終わっている場合がある。例えばこのような場合には、Ｓ１０６に示す処理は実行されなくてもよい。
　また例えば実カメラ３４がデプス画像を生成可能なデプスカメラである場合に、Ｓ１０１に示す処理で、撮影画像受信部６０がデプス画像を併せて受信してもよい。そしてこの場合は、Ｓ１１１に示す処理で、Ｓ１０１に示す処理で受信したデプス画像に基づいてＳ１０７に示す処理で選択された画素の画素値に影響を与えない選択実カメラが特定されてもよい。
　また上述の処理例に示す処理において、Ｓ１１１に示す処理が実行されなくてもよい。
　なお、本発明は上述の実施形態に限定されるものではない。
　また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (6)

  1. 　実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成装置であって、
    　前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定部と、
    　前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定部と、
    　前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成部と、
    　を含むことを特徴とする画像生成装置。
  2. 　前記影響度決定部は、前記ポリゴンモデルに含まれる頂点又はポリゴン上の点である描画点から前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、に基づいて、当該描画点における前記影響度を決定し、
    　前記撮影画像内における前記描画点に対応付けられる画素の画素値と、当該描画点における前記影響度と、に基づいて、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値を決定する画素値決定部、をさらに含み、
    　前記仮想空間生成部は、前記仮想空間画像内の複数の画素について決定される前記画素値に基づいて、前記仮想空間画像を生成する、
    　ことを特徴とする請求項１に記載の画像生成装置。
  3. 　前記対応カメラ位置特定部は、複数の前記撮影画像のそれぞれについて、当該撮影画像の前記対応カメラ位置を特定し、
    　前記影響度決定部は、複数の前記撮影画像のそれぞれについて、前記描画点から当該撮影画像の前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、に基づいて、当該撮影画像に対応付けられる当該描画点における前記影響度を決定し、
    　前記画素値決定部は、複数の前記撮影画像についての、当該撮影画像内における前記描画点に対応付けられる画素の画素値の、当該撮影画像に対応付けられる前記影響度に基づく重み付き平均値を、当該描画点に対応付けられる前記仮想空間画像内の画素の画素値として決定する、
    　ことを特徴とする請求項２に記載の画像生成装置。
  4. 　前記影響度決定部は、前記描画点から前記対応カメラ位置に向かう向きと、当該描画点から前記仮想カメラの位置に向かう向きと、当該描画点に対応付けられる法線方向と、に基づいて、当該描画点における前記影響度を決定する、
    　ことを特徴とする請求項２又は３に記載の画像生成装置。
  5. 　実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成する画像生成方法であって、
    　前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定ステップと、
    　前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定ステップと、
    　前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成ステップと、
    　を含むことを特徴とする画像生成方法。
  6. 　実空間に配置された被写体の撮影画像に基づくポリゴンモデルが配置されている仮想空間内の仮想カメラから前記仮想空間を見た様子を表す仮想空間画像を生成するプログラムであって、
    　前記撮影画像を撮影した実カメラの前記実空間内における位置である撮影位置に相当する前記仮想空間内における位置である対応カメラ位置を特定する対応カメラ位置特定手順、
    　前記仮想カメラの位置と前記対応カメラ位置とに基づいて、当該対応カメラ位置に相当する前記撮影位置の前記実カメラにより撮影された前記撮影画像が前記仮想空間画像に与える影響度を決定する影響度決定手順、
    　前記撮影画像と当該撮影画像が前記仮想空間画像に与える前記影響度とに基づいて、前記仮想空間画像を生成する仮想空間画像生成手順、
    　をコンピュータに実行させることを特徴とするプログラム。
PCT/JP2017/013327 2017-03-30 2017-03-30 画像生成装置、画像生成方法及びプログラム WO2018179254A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2017/013327 WO2018179254A1 (ja) 2017-03-30 2017-03-30 画像生成装置、画像生成方法及びプログラム
US16/494,076 US11107267B2 (en) 2017-03-30 2017-03-30 Image generation apparatus, image generation method, and program
JP2019508037A JP6726358B2 (ja) 2017-03-30 2017-03-30 画像生成装置、画像生成方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/013327 WO2018179254A1 (ja) 2017-03-30 2017-03-30 画像生成装置、画像生成方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2018179254A1 true WO2018179254A1 (ja) 2018-10-04

Family

ID=63674535

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/013327 WO2018179254A1 (ja) 2017-03-30 2017-03-30 画像生成装置、画像生成方法及びプログラム

Country Status (3)

Country Link
US (1) US11107267B2 (ja)
JP (1) JP6726358B2 (ja)
WO (1) WO2018179254A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498517B2 (ja) 2021-11-29 2024-06-12 スリーアイ インコーポレーテッド ３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置
WO2024214209A1 (ja) * 2023-04-12 2024-10-17 三菱電機株式会社 モデル着色装置、モデル着色方法、及びモデル着色プログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10924721B2 (en) * 2018-12-20 2021-02-16 Intel Corporation Volumetric video color assignment
KR102770795B1 (ko) * 2019-09-09 2025-02-21 삼성전자주식회사 3d 렌더링 방법 및 장치
CN114727075B (zh) * 2021-01-06 2023-09-08 成都极米科技股份有限公司 投影控制方法和装置、投影设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348213A (ja) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 三次元画像生成装置、三次元画像生成表示装置、及びその方法並びに記録媒体
JP2002024850A (ja) * 2000-07-03 2002-01-25 Sony Corp 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012139232A1 (en) * 2011-04-11 2012-10-18 Liberovision Ag Image processing
US8994736B2 (en) * 2011-09-23 2015-03-31 Adobe Systems Incorporated Methods and apparatus for freeform deformation of 3-D models
JP6403393B2 (ja) * 2014-02-12 2018-10-10 住友重機械工業株式会社 画像生成装置
US9311565B2 (en) * 2014-06-16 2016-04-12 Sony Corporation 3D scanning with depth cameras using mesh sculpting

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000348213A (ja) * 1999-06-07 2000-12-15 Sanyo Electric Co Ltd 三次元画像生成装置、三次元画像生成表示装置、及びその方法並びに記録媒体
JP2002024850A (ja) * 2000-07-03 2002-01-25 Sony Corp 三次元画像生成装置および三次元画像生成方法、並びにプログラム提供媒体

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7498517B2 (ja) 2021-11-29 2024-06-12 スリーアイ インコーポレーテッド ３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置
JP7498517B6 (ja) 2021-11-29 2024-07-01 スリーアイ インコーポレーテッド ３次元仮想モデル生成のためのテクスチャリング方法およびそのためのコンピューティング装置
WO2024214209A1 (ja) * 2023-04-12 2024-10-17 三菱電機株式会社 モデル着色装置、モデル着色方法、及びモデル着色プログラム

Also Published As

Publication number Publication date
JPWO2018179254A1 (ja) 2019-11-07
JP6726358B2 (ja) 2020-07-22
US11107267B2 (en) 2021-08-31
US20200118327A1 (en) 2020-04-16

Similar Documents

Publication Publication Date Title
US11978175B2 (en) Mixed reality system with color virtual content warping and method of generating virtual content using same
CN116483200B (zh) 确定虚拟对象深度以及使虚拟内容翘曲的计算机实现方法
US10964119B2 (en) Mixed reality system with multi-source virtual content compositing and method of generating virtual content using same
WO2018179254A1 (ja) 画像生成装置、画像生成方法及びプログラム
JP7007348B2 (ja) 画像処理装置
WO2021252145A1 (en) Image augmentation for analytics
JP2020515954A (ja) 仮想コンテンツをワーピングすることを伴う複合現実システムおよびそれを使用して仮想コンテンツを生成する方法
CN110291564B (zh) 图像生成设备和图像生成方法
CN106663334A (zh) 使用网格雕塑利用深度相机的3d扫描
KR20170134513A (ko) 오브젝트를 표시하는 방법
JP2013242812A (ja) 情報処理装置および情報処理方法
JP2013003848A (ja) 仮想物体表示装置
US20230230311A1 (en) Rendering Method and Apparatus, and Device
WO2018179253A1 (ja) ポリゴンモデル生成装置、ポリゴンモデル生成方法及びプログラム
US12165272B2 (en) Image processing apparatus, image processing method, and storage medium for generating composite image using 2D image and 3DCG
JP2020197927A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020067960A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2013117966A (ja) リアルタイム大局照明レンダリングシステム
CN115731331A (zh) 一种对应用进行渲染的方法及相关装置
EP4312107B1 (en) Adaptive virtual objects in augmented reality
JP7463697B2 (ja) 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
US20250225720A1 (en) Image processing apparatus, object data generation apparatus, image processing method, object data generation method, and object model data structure
WO2025094266A1 (ja) コンテンツサーバ、クライアント端末、画像表示システム、描画データ送信方法、および表示画像生成方法
CN118608651A (zh) 环境光遮蔽处理方法、装置及存储介质
JP2023039338A (ja) 画像処理装置、画像処理方法、システムおよびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17902620

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019508037

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17902620

Country of ref document: EP

Kind code of ref document: A1