[go: up one dir, main page]

WO2006013813A1 - 情報処理装置およびプログラム - Google Patents

情報処理装置およびプログラム Download PDF

Info

Publication number
WO2006013813A1
WO2006013813A1 PCT/JP2005/014024 JP2005014024W WO2006013813A1 WO 2006013813 A1 WO2006013813 A1 WO 2006013813A1 JP 2005014024 W JP2005014024 W JP 2005014024W WO 2006013813 A1 WO2006013813 A1 WO 2006013813A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
slice
slice information
mesh
group
Prior art date
Application number
PCT/JP2005/014024
Other languages
English (en)
French (fr)
Inventor
Megumi Nakao
Tomohiro Kuroda
Original Assignee
Kyoto University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyoto University filed Critical Kyoto University
Priority to EP05767121.6A priority Critical patent/EP1775685B1/en
Priority to US11/659,088 priority patent/US8149237B2/en
Priority to JP2006531455A priority patent/JP4337987B2/ja
Publication of WO2006013813A1 publication Critical patent/WO2006013813A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2021—Shape modification
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S715/00—Data processing: presentation processing of document, operator interface processing, and screen saver display processing
    • Y10S715/961—Operator interface with visual structure or function dictated by intended use
    • Y10S715/964—CAD or CAM, e.g. interactive design tools

Definitions

  • the present invention relates to an information processing apparatus that displays a three-dimensional object, a program thereof, and the like.
  • 3D mesh is obtained through pre-processing, such as CT'MRI, tomographic image collection, region extraction, and surface generation. Prepared. The displacement is derived from the constructed mesh by a dynamic calculation solver, and the analysis result is drawn by drawing surface polygons and cell processing (see Non-Patent Document 6 and Non-Patent Document 7).
  • Non-specialty literature 1 1. 6-7, pp. 521-530, 2002
  • Non-Patent Document 2 B. Wunsche, fhe Visualization and Measurement of Left Ventricular Deformation, roc.the rirst Asia- Pacific bioinformatics conference on Bioinformat ics, pp. 119-128, 2003.
  • Non-Patent Document 3 B. Pflesser, U. Tiede, KH Hohne and RR Leuwer, "Volume Based Planning and Rehearsal of Surgical Intervention", Proc. Computer Assisted Radiolog y and Surgery (CARS), pp.607-612, 2000
  • Non-Patent Document 4 R. A. Drebin, L. Carpenter and P. Hanrahan, "Volume Rendering, Computer Graphics (Proc. ACM SIGGRAPH), Vol. 22, No. 4, pp. 65-74, 1988.
  • Non-Patent Document 5 F. Dachille, K. Kreeger, B. Chen, I. Bitter and A. Kauftnan, "High-q uality Volume Rendering Using Texture Mapping Hardware", Proc.
  • the ACM SIG F. Dachille, K. Kreeger, B. Chen, I. Bitter and A. Kauftnan, "High-q uality Volume Rendering Using Texture Mapping Hardware", Proc.
  • the ACM SIG F. Dachille, K. Kreeger, B. Chen, I. Bitter and A. Kauftnan
  • Non-Patent Document 6 M. Weiler, M. Kraus, M. Merz and T. Ertl, "Hardware— Based Ray Casting for Tetrahedral Meshes, Proc. IEEE Visualization, pp. 333-340, 2003.
  • Non-Patent Document 7 M. Weiler, M. Kraus and T. Ertl, "Hardware-Based View- Independen t Cell Projection", Proc. The IEEE Symposium on Volume Visualization and Graphics
  • Non-Patent Document 8 A. E. Kauftnan, S. W. Wang, “Volume Sampled Voxelization of Geome trie Primitives", Proc. IEEE Visualization, pp. 78-84, 1993.
  • Non-Patent Document 9 J. Huang, R. Yagel'V. Filippov and Y. Kurzion An Accurate Method for Voxelizing Polygon Meshes ", ACM Symposium on Volume Visualization, pp. 119 -126, 1998.
  • Non-Patent Document 1 to Non-Patent Document 5 are capable of drawing analysis results on a three-dimensional shape model, including the surface and internal structure, with high definition and at high speed. It is required, but it is not able to meet the strong demand. For example, visualization of changes in internal structure when a structure is deformed or destroyed, compression of an organ model such as a beating heart, and depiction of a change in lumen during grasping. In particular, in an experiential VR simulation such as a surgical simulator, it is indispensable to present the analysis results as a smooth animation in real time.
  • Non-Patent Document 6 and Non-Patent Document 7 10 million are generated when meshes are generated. It is difficult to follow the level of detail of the Botacel data, which is the power of the above elements, and much of the gray level information of the original image is missing. For this reason, changes in shape can be depicted, but color information and shading values cannot be reflected in the deformation results.
  • Non-Patent Document 8 and Non-Patent Document 9 the color information after deformation is reproduced, but it takes time for the voxels on the CPU, and the general-purpose PC has real-time characteristics. It is difficult to achieve. In addition, it is necessary to transfer a large volume texture updated for each frame to the graphics mode, which becomes a big bottleneck for real-time processing.
  • the information processing apparatus stores first mesh information, which is information of a three-dimensional mesh of a three-dimensional object, and 3D vessel information, which is a volume texture of the three-dimensional object!
  • a second mesh information acquisition unit that acquires second mesh information to be acquired, and a first slice information group acquisition that acquires a first slice information group that is a plurality of slice information that does not have color information based on the second mesh information
  • a color information determination unit that determines color information of each point corresponding to the point of the 3D votacel information that is each point of the plurality of slice information constituting the first slice information group, and the color information determination Part Based on the determined color information of each point, new color information is set for each point of the first slice information group acquired by the first slice information group acquisition unit, and the second slice information group is acquired.
  • An information processing apparatus including a two-slice information group acquisition unit and a deformed object output unit that outputs the second slice information group.
  • the information processing apparatus stores first mesh information that is information about a three-dimensional mesh of a three-dimensional object and 3D box information that is a volume texture of the three-dimensional object.
  • the color information of the point corresponding to each point of the new plurality of slice information constituting the second slice information group, which is a point in the plurality of slice information constituting the information group, is obtained, and each of the obtained points
  • a color information determination unit that determines color information of each point of a plurality of new slice information constituting the first varnish information group, and a color of each point determined by the color information determination unit Based on information before
  • the information processing apparatus includes first mesh information that is information about a three-dimensional mesh of a three-dimensional object, and multiple pieces of slice information obtained by slicing the volume texture of the three-dimensional object.
  • An object information storage unit that stores one slice information group, an instruction reception unit that receives a deformation instruction that instructs deformation of the three-dimensional object, and the first mesh information is deformed based on the deformation instruction.
  • a second mesh information acquisition unit that acquires the second mesh information constituting the deformed shape, the plurality of slice information is deformed, and the new plurality of slice information is used.
  • a second slice information group acquisition unit for acquiring a second slice information group, and a point in a plurality of slice information constituting the first slice information group, and constituting the second slice information group
  • the color information of the points corresponding to each point of the new plurality of slice information is acquired, and based on the acquired color information of each point, the new plurality of slice information constituting the second slice information group
  • a third slice information group acquisition unit for setting new color information to the point and acquiring a third slice information group;
  • An information processing apparatus comprising a deformed object output unit that outputs the third slice information group.
  • the change in the shape of the three-dimensional object can be drawn in real time with the color information on the surface and inside, and the amount of data stored in advance can be small.
  • the instruction receiving unit inputs a deformation instruction and a line-of-sight line that is information indicating the line-of-sight direction.
  • the first slice information group acquiring unit is a plurality of pieces of slice information that are perpendicular to the line-of-sight vector based on the 3D votacel information when the instruction receiving unit receives the deformation instruction. The first slice information group is acquired.
  • an interval between a plurality of pieces of slice information constituting the first slice information group is constant.
  • the information processing apparatus is the information processing apparatus according to the above-described information processing apparatus, wherein the deformable body output unit has a deeper display depth among a plurality of slices constituting the third slice information group. Are also output in order.
  • the powerful configuration can display changes in the shape of the three-dimensional object with high quality.
  • the present invention can provide an information processing apparatus that can perform processing such as deformation of a three-dimensional object in real time.
  • FIG. 1 is a block diagram of the information processing apparatus in the present embodiment.
  • the information processing apparatus includes an object information storage unit 101, an instruction receiving unit 102, a second mesh information acquisition unit 103, a first slice information group acquisition unit 104, a color information determination unit 105, a second slice information group acquisition unit 106, a deformation
  • a physical output unit 107 is provided.
  • the color information determination unit 105 includes corresponding point determination means 1051 and color information determination means 1052.
  • the object information storage unit 101 stores first mesh information that is information of a three-dimensional mesh of a three-dimensional object, and 3D votacel information that is a volume texture of the three-dimensional object.
  • the three-dimensional mesh information is a set of information on points constituting the three-dimensional object.
  • the 3D mesh information is a set of information on points that are spaced apart.
  • the point information is usually coordinate information (X, y, z).
  • the 3D button cell information is, for example, information on a point composed of (X, y, z, col).
  • (X, y, z) of (X, y, z, col) is coordinate information.
  • “Col” is color information.
  • the 3D button cell information may be information on points where the interval between points is tight or information on discrete points.
  • 3D Botacel information is, for example, a group of images acquired by medical equipment such as CT, MRI, and PET.
  • the object information storage unit 101 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium.
  • the instruction receiving unit 102 receives an input of a deformation instruction for instructing deformation of a three-dimensional object and a gaze vector that is information indicating a gaze direction. Any method of inputting deformation instructions and line-of-sight vectors can be used. The means for inputting the deformation instruction and the line-of-sight vector may be different. The input means for the transformation instruction and the line-of-sight vector may be anything such as a numeric keypad, a keyboard or a mouse (including a 3D mouse), a menu screen, or a line-of-sight input.
  • the instruction receiving unit 102 can be realized by a device driver of input means such as a numeric keypad board, control software for a menu screen, or the like.
  • the second mesh information acquisition unit 103 deforms the first mesh information stored in the object information storage unit 101! /, And forms the deformed shape.
  • the second mesh information acquisition unit 103 For example, when a predetermined point of the first mesh information is instructed by the mouse and dragging force is extended, the second mesh information acquisition unit 103, for example, the direction in which the predetermined point is extended The first mesh information is transformed by the distance, and the second mesh information is obtained.
  • the data structure of the second mesh information is usually the same as the first mesh information.
  • the cache information acquisition unit 103 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the second mesh information acquisition unit 103 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the first slice information group acquisition unit 104 includes a first slice that is a plurality of slice information without color information. Get information group.
  • the first slice information group acquisition unit 104 obtains a plurality of pieces of slice information, which is information that can be acquired by slicing a three-dimensional object constituted by the second mesh information module, which is mesh information obtained by deforming the first mesh information. get. It is preferable that the interval between the slice information to be applied is constant.
  • the plurality of slice information is preferably perpendicular to the line-of-sight vector.
  • Slice information is a collection of information of points that make up a plane, and the intervals between points are tightly packed.
  • the first slice information group acquisition unit 104 can usually realize MPU memory capacity.
  • the processing procedure of the first slice information group acquisition unit 104 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the color information determination unit 105 is each point of a plurality of pieces of slice information constituting the first slice information group, and is stored in the object information storage unit 101, and each point corresponding to the point of the 3D botacel information Determine color information.
  • Each point corresponding to a point in the 3D botacel information is a point in the 3D botacell information and is a point before transformation.
  • the color information determination unit 105 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the color information determination unit 105 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, hardware (dedicated circuit) may be used.
  • Corresponding point determination means 1051 determines each point in the 3D botacell information corresponding to each point of the plurality of slice information constituting the first slice information group. Note that each point in the 3D botacell information is a point before deformation. Corresponding point determination means 1051 can usually be realized by an MPU or memory. The processing procedure of the corresponding point determination means 1051 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized with a hard disk (dedicated circuit).
  • the color information determination unit 1052 includes the 3D votacel information determined by the corresponding point determination unit 1051. Get color information of each point.
  • the color information determining means 1052 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the color information determination unit 1052 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second slice information group acquisition unit 106 applies each point of the first slice information group acquired by the first slice information group acquisition unit 104 based on the color information of each point determined by the color information determination unit 105. New color information is set, and a second slice information group is acquired. That is, the second slice information group acquisition unit 106 uses the color of each point determined by the color information determination unit 105 as new color information for each point of the first slice information group acquired by the first slice information group acquisition unit 104. Set the information. A plurality of pieces of slice information set with powerful color information is the second slice information group.
  • the second slice information group acquisition unit 106 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the second slice information group acquisition unit 106 is usually realized by software, and the software is recorded on a recording medium such as ROM. However, it may be realized by hardware (dedicated circuit).
  • the deformed object output unit 107 outputs a second slice information group.
  • Output is a concept including display on a display, printing on a printer, transmission to an external device (for example, a device having a display device), storage on a recording medium, and the like.
  • Display means output to a display or projector.
  • the display mode of the second slice information group is not limited.
  • the deformed object display unit 107 preferably displays the depth of the display in the depth direction and the slicing force in the order among the plurality of slices constituting the second slice information group.
  • the deformed object display unit 107 may or may not include an output device such as a display.
  • the deformed object display unit 107 can be realized by output device driver software or output device driver software and an output device.
  • Step S201 The instruction receiving unit 102 determines whether or not an input of a deformation instruction and a line-of-sight vector has been received. If an input is accepted, the process goes to step S202, and if no input is accepted, the process returns to step S201.
  • Step S202 The first slice information group acquisition unit 104 receives the view received in Step S201. Get line vector.
  • Step S203 The second mesh information acquisition unit 103 acquires the deformation instruction received in Step S201.
  • the acquired deformation instruction is, for example, a deformation vector (having a direction and a size).
  • Step S204 The second mesh information acquisition unit 103 reads the first mesh information from the object information storage unit 101.
  • Step S205 The second mesh information acquisition unit 103 deforms the first mesh information read out in step S204 based on the deformation instruction acquired in step S203, and configures a deformed shape. Get second mesh information. Since the process of deforming the mesh information based on the deformation instruction is a known technique (a finite element technique), detailed description thereof is omitted.
  • the first slice information group acquisition unit 104 acquires a first slice information group, which is a plurality of slice information, based on the second mesh information acquired in step S205.
  • a three-dimensional object formed by the second mesh information is sliced to obtain information on a plurality of planes.
  • Such plane information is slice information.
  • Slice information is a set of points indicated by coordinate information (X, y, z) and has no color information.
  • the first slice information group acquisition unit 104 acquires a first slice information group that is a plurality of slice information at a predetermined interval that is perpendicular to the line-of-sight vector.
  • the slice information constituting the first slice information group has no color information.
  • Step S207 The second slice information group acquisition unit 106 acquires a second slice information group. Details of the processing will be described with reference to the flowchart of FIG.
  • Step S208 The deformed object output unit 107 outputs the second slice information group acquired in Step S207. Return to step S201.
  • the input of the deformation instruction and the line-of-sight vector is continuously received, and the deformation of the three-dimensional object is displayed in real time.
  • the line-of-sight vector may be input only once, or the line-of-sight vector may be stored in advance and may not be input.
  • the process ends due to power-off or a process end interrupt.
  • the operation of acquiring the second slice information group in the information processing apparatus (the operation of step S207 above) will be described using the flowchart of FIG.
  • Step S301 The second slice information group acquisition unit 106 substitutes 1 for a counter i.
  • Step S302 The second slice information group acquisition unit 106 determines whether or not the i-th slice information (unprocessed slice information) exists in the first slice information group. If the slice information of the cell exists, go to step S303, and if the i-th slice information does not exist, return to the upper function.
  • Step S303 The second slice information group acquisition unit 106 substitutes 1 for a counter j.
  • Step S 304 Second slice information group acquisition section 106 determines whether or not there is an unprocessed j th point in the i th slice information. If the j-th point exists, go to step S305, and if the j-th point does not exist, jump to step S309. Note that “unprocessed” means that color information is set and it is not correct.
  • Corresponding point determination means 1051 is a point corresponding to the j th point in the i th slice information, and determines a point in the 3D votacel information.
  • the point in the 3D botacel information is the point before deformation.
  • the jth point is a point after deformation. Details of an example algorithm for determining the points in the 3D botacell information will be described later.
  • Step S306 The color information determination unit 1052 acquires the color information of the point in the 3D votacel information determined in step S305.
  • Step S307 The color information determination means 1052 sets the color information acquired in step S306 as the color information of the j-th point in the i-th slice information.
  • Step S308 The second slice information group acquiring portion 106 increments the counter j by 1. Return to step S304.
  • Step S309 Second slice information group acquisition section 106 increments counter i by one. Return to step S302.
  • the three-dimensional object is an organ such as a heart or a lung.
  • Such a three-dimensional object can be approximated by a set of tetrahedrons. Therefore, here, in order to simplify the explanation, a case where the tetrahedron shown in FIG. 4 (a) is deformed will be described.
  • Figure 4 (a) 4 points A, B, C, O.
  • Point P is a point inside the tetrahedron.
  • the object information storage unit 101 stores, for example, first mesh information shown in FIG. 5 and 3D voxel information shown in FIG.
  • the first mesh information is, for example, a set of information on the points outside and inside the tetrahedron (the points are spaced apart).
  • the 3D button cell information is a set of point information that is information of all points constituting the tetrahedron shown in FIG. 4 (a).
  • the point information has at least position information (X, y, z) and color information (such as “col” in FIG. 6).
  • the deformation instruction is input with, for example, a mouse included in the information processing apparatus.
  • the input with the mouse is, for example, an input of dragging a tetrahedron point O shown in FIG. 4 (a) to the left side with a predetermined force.
  • the tetrahedron shown in FIG. 4 (a) becomes a tetrahedron as shown in FIG. 4 (b).
  • the second mesh information acquisition unit 103 deforms the first mesh information in FIG. 5 and acquires the second mesh information constituting the deformed shape.
  • Figure 7 shows the second mesh information.
  • the second mesh information is information indicating the tetrahedron in FIG.
  • transforms 1st mesh information and acquires 2nd mesh information is a well-known technique by a finite element method, detailed description is abbreviate
  • the first slice information group acquisition unit 104 includes a plurality of pieces of slice information having no color information based on the second mesh information acquired by the second mesh information acquisition unit 103. Acquire a slice information group. As shown in FIG. 8, the first slice information group acquisition unit 104 acquires a first slice information group that is a plurality of slice information at a predetermined interval that is perpendicular to the line-of-sight vector. The first slice information group acquisition unit 104 obtains the position “minD” WmaxD ”of the three-dimensional object to be displayed, slices at a predetermined interval“ D ”, and acquires a plurality of slice information.
  • the slice information is a set of point information. In addition, there is no interval between points constituting slice information.
  • the plane indicated by the slice information is filled with point information.
  • the point information here has position information (X, y, z) and no color information.
  • the first slice information group acquisition unit 104 acquires the first slice information group shown in FIG.
  • the first slice information group includes slice information S, slice information S, slice information S, and the like.
  • the slice information is acquired perpendicular to the line-of-sight vector so that when the user sees a set of slice information, even if the slice information is thinned out, the slice information can be seen stereoscopically. It is.
  • the thinned slice information is acquired at predetermined intervals because of the high speed display processing. The reason why slice information is acquired at regular intervals is to display a high-quality three-dimensional object.
  • the corresponding point determination means 1051 solves the equation (2), obtains parameters s, t, u defining the internal point P ′ from the deformed mesh, and calculates the pre-deformation from the equation (1). Get position P of. Then, the color information corresponding to the position P is acquired as well as the 3D button cell information power shown in FIG. Then, the color information determining unit 1052 acquires and sets the color information of each point in the plurality of slice information constituting the first slice information group determined by the corresponding point determining unit 1051. As a result, each point constituting each piece of slice information after transformation in FIG. 9 has color information.
  • the deformed object output unit 107 displays the second slice information group.
  • the three-dimensional object after receiving the deformation instruction is displayed in real time.
  • biological function analysis in the medical field, real-time surgery simulation, and the like are possible.
  • the present embodiment it is possible to render the deformation and destruction generated in the mesh in real time with the color information on the surface and inside.
  • real-time three-dimensional object deformation is performed using the slice information group obtained from 3D botacell information and mesh information. Can be simulated.
  • the deformed mesh elements are represented by overlapping texture-mapped cross-sections. High-definition drawing of the surface's internal structure is possible.
  • a volume composed of, for example, 256 X 256 X 256 voxel is supported on a general-purpose PC without using a dedicated graphics card, corresponding to a dynamic calculation algorithm represented by the finite element method. Smooth deformation animation can be generated for data.
  • each image data in FIG. 10 includes color information.
  • the number of elements increases and the number of frames decreases.
  • the number of frames is almost proportional to the slice interval D.
  • the slice interval D is set to 2
  • the number of frames of 10 Hz or more can be obtained with a mesh of up to about 2000 elements. We were able to achieve this, and we were able to present a smooth animation interactively in response to operations on objects.
  • the information processing apparatus is useful for a wide range of applications related to computer graphics, such as animation generation for entertainment that is not limited to the simulation of deformation of a three-dimensional object such as an organ.
  • animation generation for entertainment that is not limited to the simulation of deformation of a three-dimensional object such as an organ.
  • the scope of application of visualization can be greatly expanded. The same applies to other embodiments.
  • the information processing apparatus can perform higher-speed processing by parallelizing the acquisition of the first slice information group and the acquisition of the second slice information group. .
  • the data structure of the data stored in the object information storage unit of the information processing apparatus includes the mesh information that is the 3D mesh information of the 3D object, and the 3D object described above.
  • This is a data structure of a three-dimensional object having all or a part of 3D votacel information corresponding to the volume texture of the 3D object.
  • the processing in the present embodiment may be realized by software.
  • This software may be distributed by software download or the like.
  • this software may be recorded and distributed on a recording medium such as a CD-ROM.
  • the software that realizes the information processing apparatus in the present embodiment is the following program.
  • the program stores a deformation instruction for instructing the computer to deform the three-dimensional object on the recording medium based on the instruction receiving step for receiving the force of the input means and the like and the deformation instruction.
  • a second mesh information acquisition step for deforming mesh information and acquiring second mesh information constituting the deformed shape, and a first slice that is a plurality of slice information having no color information based on the second mesh information
  • a first slice information group acquiring step for acquiring an information group, and a point of color information of each point corresponding to the point of the 3D votacel information, each point of the plurality of slice information constituting the first slice information group Color information decision Based on the step and the color information of each point determined in the color information determination step, new color information is set for each point of the first slice information group acquired in the first slice information group acquisition step.
  • a program for executing a second slice information group acquisition step for acquiring a slice information group and a deformed object output step for outputting the second slice information group to an output device or the like.
  • the information processing apparatus acquires a slice information group having color information from the 3D vessel cell information before the deformation, and after the deformation from the slice information group and the mesh information after the deformation.
  • a method for obtaining the display of the three-dimensional object will be described.
  • the information processing apparatus according to the second embodiment and the information processing apparatus according to the first embodiment are the same in that the slice information group and the mesh information are appropriately combined to realize the deformation of the three-dimensional object at high speed.
  • the algorithm for obtaining the three-dimensional object is different.
  • FIG. 13 is a block diagram of the information processing apparatus according to the present embodiment.
  • the information processing apparatus includes an object information storage unit 101, an instruction reception unit 102, a first slice information group acquisition unit 1303, a second mesh information acquisition unit 1304, a second slice information group acquisition unit 1305, a color information determination unit 1306, a first A three-slice information group acquisition unit 1307 and a deformed object output unit 1308 are provided.
  • the color information determination unit 1306 includes corresponding point determination means 13061 and color information determination means 13062.
  • the first slice information group acquisition unit 1303 uses a plurality of pieces of slice information that are perpendicular to the line-of-sight vector based on the 3D votacel information when the instruction receiving unit 102 receives a deformation instruction! It is preferable to acquire a certain first slice information group.
  • the information of each point of the slice information constituting the first slice information group has color information.
  • the first slice information group acquisition unit 1303 can usually also implement an MPU or memory power.
  • the processing procedure of the first slice information group acquisition unit 1303 is normally Realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the second mesh information acquisition unit 1304 deforms the first mesh information based on the deformation instruction, and forms a deformed shape. To get.
  • the second mesh information acquisition unit 1304 can usually be realized by an MPU, memory, or the like.
  • the processing procedure of the second mesh information acquisition unit 1304 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it can be realized with hardware (dedicated circuit).
  • the second slice information group acquisition unit 1305 deforms a plurality of slice information based on the second mesh information, and acquires a second slice information group that is a new plurality of slice information. Each point of slice information constituting the second slice information group may not have color information.
  • the second slice information group acquisition unit 1305 can also implement an MPU, a memory and the like.
  • the processing procedure of the first nisrice information group acquisition unit 1305 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the color information determination unit 1306 is a point in the plurality of slice information constituting the first slice information group, and corresponds to each point of the new plurality of slice information constituting the second slice information group. Point color information is acquired, and based on the acquired color information of each point, color information of each point of a plurality of new slice information constituting the second slice information group is determined.
  • Corresponding point determination means 13061 determines each point in the plurality of slice information constituting the first slice information group corresponding to each point of the new plurality of slice information constituting the second slice information group. To do.
  • Corresponding point determination means 13061 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the corresponding point determining means 13061 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the color information determination unit 13062 acquires color information of each point in the plurality of slice information constituting the first slice information group determined by the corresponding point determination unit 13061.
  • the color information determining means 13062 can be realized usually by an MPU or a memory. Process of color information determination means 13062
  • the physical procedure is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the third slice information group acquisition unit 1307 obtains each point of the second slice information group acquired by the second slice information group acquisition unit 1305 based on the color information of each point determined by the color information determination unit 1306. New color information is set, and a third slice information group is acquired.
  • the third slice information group is an information group in which color information is set at each point of the second slice information group.
  • the third slice information group acquisition unit 1307 can usually be realized by an MPU, memory, or the like.
  • the processing procedure of the third slice information group acquisition unit 1307 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the deformed object output unit 1308 outputs a third slice information group.
  • Output is a concept including display on a display, printing on a printer, transmission to an external device (for example, a device having a display device), storage on a recording medium, and the like.
  • Display means output to a display or projector.
  • the display mode of the third slice information group is not limited. It is preferable that the deformed object output unit 1308 sequentially outputs the slice force deeper in the depth of the display among the plurality of slices constituting the third slice information group.
  • the deformed object output unit 1308 may or may not include an output device such as a display.
  • the deformable body output unit 1308 can be realized by driver software of an output device or a single driver of an output device and an output device.
  • Step S1401 The instruction receiving unit 102 determines whether or not it has received a deformation instruction and an input of a line-of-sight vector. If an input is accepted, the process goes to step S1402, and if no input is accepted, the process returns to step S1401.
  • Step S1402 First slice information group acquisition section 1303 acquires the line-of-sight vector received in step S1401.
  • the second mesh information acquisition unit 1304 acquires the deformation instruction received in Step S1401.
  • the deformation instruction is, for example, a deformation margin (having a direction and a size).
  • the second mesh information acquisition unit 1304 receives the first mesh information from the object information storage unit 101. Read one mesh information.
  • Second mesh information acquisition section 1304 deforms the first mesh information read in step S1404 based on the deformation instruction acquired in step S 1403, and forms a deformed shape. Obtain second mesh information.
  • First slice information group acquisition section 1303 reads 3D botacell information from object information storage section 101, and acquires a first slice information group that is a plurality of slice information of the 3D botacell information power. In such a case, the first slice information group acquisition unit 1303 acquires a first slice information group that is a plurality of pieces of slice information at a predetermined interval that is perpendicular to the line-of-sight vector. Note that each point of slice information constituting the first slice information group has color information. The color information of each point is the color information of each corresponding point, which is the point possessed by the 3D button cell information.
  • Step S1407 Second slice information group acquisition section 1305 has a plurality of first slice information groups acquired in step S 1406 based on the second mesh information acquired in step S 1405. The slice information is transformed to obtain a second slice information group that is new slice information.
  • Step S1408 The third slice information group acquisition unit 1307 acquires the third slice information group. Details of the processing will be described with reference to the flowchart of FIG.
  • Step S1409 The deformed object output unit 1308 outputs the third slice information group acquired in Step S1408. Return to step S1401.
  • the input of the deformation instruction and the line-of-sight vector was received continuously, and the deformation of the three-dimensional object was displayed in real time.
  • the line-of-sight vector may be input only once, or the line-of-sight vector may be stored in advance and may not be input. Further, in the flowchart of FIG.
  • step S1408 the operation for acquiring the third slice information group in the information processing apparatus (the operation in step S1408) will be described using the flowchart in FIG.
  • Step S 1501 The third slice information group acquiring portion 1307 substitutes 1 for the counter i.
  • Step SI 502 Third slice information group acquisition section 1307 determines whether or not i-th slice information (unprocessed slice information) exists in the second slice information group. If the slice information for the cell exists, go to step S 1503, and if the i-th slice information does not exist, return to the upper function.
  • Step S 1503 The third slice information group acquisition portion 1307 substitutes 1 for the counter j.
  • Step S 1504 Third slice information group acquisition section 1307 determines whether or not there is an unprocessed j th point in the i th slice information. If the j-th point exists, go to step S 150 5, and if the j-th point does not exist, jump to step S 1509.
  • Corresponding point determination means 13061 is a point corresponding to the j-th point in the i-th slice information, and points in the plurality of slice information constituting the first slice information group (before transformation) To determine).
  • Step S 1506 The color information determining means 13062 acquires the color information of the point determined in step S 1505. Note that each point of the plurality of slice information constituting the first slice information group has color information.
  • Step S1507 The color information determination unit 13062 sets the color information acquired in step S1506 as the color information of the j-th point in the i-th slice information.
  • Step S 1508 The third slice information group acquiring portion 1307 increments the counter j by 1. Return to step S 1504.
  • Step S 1509 The third slice information group acquiring portion 1307 increments the counter i by one. Return to step S 1502.
  • the object information storage unit 101 stores, for example, the first mesh information shown in FIG. 5 and the 3D botacell information shown in FIG.
  • the user inputs a deformation instruction and a line-of-sight vector.
  • the tetrahedron shown in Fig. 4 (a) becomes a tetrahedron as shown in Fig. 4 (b).
  • the second mesh information acquisition unit 1304 deforms the first mesh information in FIG.
  • the second mesh information constituting the shaped shape is acquired.
  • Figure 6 shows the second mesh information.
  • the first slice information group acquisition unit 1303 acquires a first slice information group that is a plurality of pieces of slice information that is perpendicular to the line-of-sight vector from the 3D bocellel information.
  • Figure 16 shows the first slice information group.
  • the first slice information group includes slice information S and slice information S.
  • slice information S and the like The slice information S etc. here also has color information.
  • the second mesh information acquisition unit 1304 deforms the first mesh information based on the deformation instruction received by the instruction reception unit 102, and acquires the second mesh information constituting the deformed shape.
  • the second mesh information is, for example, information as shown in FIG.
  • the second slice information group acquisition unit 1305 modifies the plurality of slice information (first slice information group) based on the second mesh information, and the second varnish which is the new plurality of slice information. Get rice information group. Color information is not considered at the time of powerful deformation. That is, the second slice information group acquisition unit 1305 obtains the second slice information group by using, for example, only the position information of the slice information constituting the first slice information group. The slice information constituting the second slice information group has no color information. An example of the information structure of each point in the slice information is “(X, y, z, — 1)”. “-1” in the color information here means that the color information is not included.
  • the color information determination unit 1306 is a point in the plurality of slice information constituting the first slice information group, and is added to each point of the new plurality of slice information constituting the second slice information group.
  • the color information of the corresponding point is acquired, and the color information of each point in the new slice information constituting the first varnish slice information group is determined based on the acquired color information of each point.
  • the third slice information group acquisition unit 1307 rewrites the color information “1 1” with the determined color information. Through the powerful process, the third slice information group acquisition unit 1307 acquires the third slice information group.
  • the deformed object output unit 1308 outputs the third slice information group.
  • the deformation and destruction generated in the mesh can be depicted in almost real time with the color information on the surface and inside.
  • the interval between a plurality of pieces of slice information constituting the slice information group is constant.
  • the deformed object output unit sequentially outputs the slice force with the deeper display depth among the plurality of slices constituting the slice information group. This is the same in the other embodiments.
  • software that implements the information processing apparatus is a program as described below. That is, this program stores a deformation instruction for instructing a computer to deform a three-dimensional object from an input unit or the like, and when a deformation instruction is received in the instruction reception step, the program is stored in a recording medium.
  • the first slice information group acquiring step for acquiring the first slice information group as a plurality of slice information based on the 3D votacell information, and the first mesh information is deformed based on the deformation instruction.
  • the second mesh information acquisition step for acquiring the second mesh information constituting the deformed shape and the second mesh information, the plurality of slice information is deformed, and the new plurality of slice information is used.
  • a second slice information group acquisition step for acquiring a second slice information group, and a point among a plurality of slice information constituting the first slice information group. Yes, the second slice information group is obtained based on the color information of the points corresponding to each point of the new plurality of slice information constituting the second slice information group.
  • the second slice information group is acquired based on the color information determination step for determining the color information of each point of the plurality of new slice information constituting the color information and the color information of each point determined in the color information determination step.
  • Set new color information at each point of the second slice information group acquired by the section acquire a third slice information group, and acquire the third slice information group from the third slice information group, an output device, etc.
  • FIG. 17 is a block diagram of the information processing apparatus according to the present embodiment.
  • the information processing apparatus includes an object information storage unit 1701, an instruction reception unit 1702, a second mesh information acquisition unit 1304, a second slice information group acquisition unit 1305, a color information determination unit 1306, a third slice information group acquisition unit 13 07, a deformed object An output unit 1308 is provided.
  • the object information storage unit 1701 includes first mesh information that is information on a three-dimensional mesh of a three-dimensional object, and a first slice information group that is a plurality of slice information obtained by slicing a volume texture of the three-dimensional object. Is stored.
  • the object information storage unit 1701 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. Note that the volume texture or slice information of a three-dimensional object is data taken by a medical device such as CT, MRI, or PET.
  • the instruction receiving unit 1702 receives a deformation instruction that instructs deformation of a three-dimensional object. Any means for inputting a deformation instruction or a line-of-sight vector may be used such as a numeric keypad, a keyboard, a mouse (including a 3D mouse), a menu screen, or a line-of-sight input.
  • the instruction receiving unit 1702 can be realized by a device driver of an input means such as a numeric keypad or a keyboard, or control software for a menu screen.
  • Step S1801 The instruction receiving unit 1702 determines whether or not the force has received the input of the deformation instruction. If an input is accepted, the process goes to step S1802. If no input is accepted, the process returns to step S1801.
  • the second mesh information acquisition unit 1304 acquires the deformation instruction received in Step S1801.
  • the deformation instruction is, for example, a deformation margin (having a direction and a size).
  • Step S1804 The second mesh information acquisition unit 1304 reads the first mesh information from the object information storage unit 1701.
  • Step S1805 The second mesh information acquisition unit 1304 deforms the first mesh information read in Step S1804 based on the deformation instruction acquired in Step S1803, and configures the second shape. Get mesh information.
  • Step S1806 Second slice information group acquisition section 1305 acquired in step S1805 Based on the second mesh information, the plurality of slice information stored in the first slice information group is transformed to obtain a second slice information group which is a new plurality of slice information.
  • Step S1807 The third slice information group acquisition unit 1307 acquires a third slice information group.
  • the process of step S1807 is the same as the process of step S1408. Details of this processing have been described using the flowchart of FIG.
  • Step S 1808 The deformed object display unit 1308 outputs the third slice information group acquired in Step S 1807.
  • the object information storage unit 1701 holds, for example, first mesh information shown in FIG. 5 and a first slide information group shown in FIG. Then, based on the received modification instruction, the third slice information group is obtained by processing substantially similar to that of the second embodiment. Then, the deformed object output unit 1308 displays the third slice information group.
  • the deformation or breakage that has occurred in the mesh can be rendered substantially in real time with the color information on the surface and inside.
  • the deformation of the 3D object can be simulated at high speed.
  • the information processing device can perform simulation with a small storage capacity.
  • the software that realizes the information processing apparatus in the present embodiment is the following program. That is, this program receives an instruction receiving step for receiving, from an input means, a deformation instruction for instructing a computer to deform a three-dimensional object, and first mesh information stored in a recording medium based on the deformation instruction.
  • the second mesh information acquisition step for acquiring the second mesh information constituting the deformed shape, and the first slice information group stored in the recording medium is deformed based on the second mesh information.
  • Information A color information determination step for determining color information of each point of a plurality of new slice information constituting the group, and the color information of each point determined in the color information determination step; A new color information is set at each point of the second slice information group acquired in the acquisition step, and a third slice information group acquisition step for acquiring the third slice information group; This is a program for executing the deformed object output step to be output to.
  • each process may be realized by centralized processing by a single apparatus (system) or a plurality of apparatuses. It may be realized by distributed processing by.
  • the computer that executes the program described above may be a single computer or a plurality of computers. That is, centralized processing or distributed processing may be performed.
  • the data structure of the three-dimensional object in the present invention is all or part of the mesh information that is the information of the three-dimensional mesh of the three-dimensional object and the 3D voxel information that is the volume texture of the three-dimensional object.
  • the mesh information that is the information of the three-dimensional mesh of the three-dimensional object
  • the 3D voxel information that is the volume texture of the three-dimensional object.
  • the information processing apparatus includes the first mesh information, which is information about a three-dimensional mesh of a three-dimensional object, and all or three-dimensional votacel information, which is a volume texture of the three-dimensional object.
  • An object information storage unit that stores a part of !, an instruction reception unit that receives a deformation instruction that instructs deformation of the three-dimensional object, and the first mesh information is deformed based on the deformation instruction.
  • a second mesh information acquisition unit for acquiring second mesh information constituting the deformed shape, and based on all or part of the second mesh information and the 3D votacel information.
  • An information processing apparatus comprising: a second slice information group acquisition unit that acquires a second slice information group; and a deformed object output unit that outputs the second slice information group.
  • the information processing apparatus has the effect of being able to render the deformation or the like generated in the mesh in real time with the surface and internal color information, and This is useful as an object simulation device.
  • FIG. 1 is a block diagram of an information processing device in Embodiment 1.
  • FIG. 2 is a flowchart for explaining the operation of the information processing apparatus.
  • FIG. 3 is a flowchart for explaining details of the slice information group acquisition processing.
  • FIG.4 Diagram showing the tetrahedrons that make up the 3D object to be deformed
  • FIG. 8 A diagram showing an image when acquiring the first slice information group.
  • FIG. 12 Diagram showing the myocardial region to be deformed
  • FIG. 13 is a block diagram of an information processing apparatus in Embodiment 2.
  • FIG. 14 is a flowchart for explaining the operation of the information processing apparatus.
  • FIG. 15 is a flowchart for explaining details of the slice information group acquisition processing.
  • FIG. 16 is a diagram showing the first slice information group
  • FIG. 17 is a block diagram of an information processing device in Embodiment 3.
  • FIG. 18 is a flowchart for explaining the operation of the information processing apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

【課題】従来の情報処理装置において、三次元物体の変形を、色情報を伴ってリアルタイムでシミュレーションすることができない、という課題があった。 【解決手段】本発明は、三次元物体の変形を指示する変形指示に基づいて、格納している三次元物体の第一メッシュ情報を変形し、第二メッシュ情報を取得する第二メッシュ情報取得部と、前記第二メッシュ情報に基づいて、複数のスライス情報である第一スライス情報群を取得し、格納している３Ｄボクセル情報から変形後の各点の色情報を決定し、決定した各点の色情報に基づいて、第一スライス情報群の各点に新たな色情報を設定し、第二スライス情報群を取得し、当該第二スライス情報群を表示する情報処理装置であって、かかる情報処理装置により、三次元物体の形状の変化を、表面及び内部の色情報を伴って、実時間で描出することができる。

Description

明 細 書
情報処理装置およびプログラム
技術分野
[0001] 本発明は、三次元の物体を表示する情報処理装置およびそのプログラム等に関す るものである。
背景技術
[0002] 近年、機械工学や材料 ·物質分野、医学 ·医療分野における CAD (Computer A ided Design)や生体機能解析、手術トレーニングシステムなどの中で、様々な力学 的 ·生理学的シミュレーションが行われている (非特許文献 1、非特許文献 2、非特許 文献 3参照)。この際、シミュレーションに用いられるのは主に大規模な三次元データ であり、解析結果の可視化のためにボリュームレンダリング (非特許文献 4、非特許文 献 5参照）をはじめとする様々な可視化手法が利用されて!、る。
[0003] 一方、機械部品や弾性材料、人体臓器などの力学特性の解析を行う場合、前処理 として CT' MRIなどの断層画像集合カゝら領域抽出'表面生成などを経て三次元メッ シュが用意される。構築されたメッシュに対して力学計算ソルバによる変位の導出が なされ、表面ポリゴンの描画やセルプロジヱクシヨン (非特許文献 6、非特許文献 7参 照）によって解析結果が描出される。
[0004] シミュレーションの後にメッシュ形式から再びボタセル化を行い、ボリュームレンダリ ングを行うアプローチもある（非特許文献 8、非特許文献 9参照)。ボクセルイ匕の際に、 元画像のボタセル濃淡値を参照しながら、変形後のボリュームテクスチャを毎回新た に生成する。
非特干文献 1 : 1. Fujishiro, L. Chen, Y. Ta eshima, H. Nakamura and Y. Suzuki, Pa rallel Visuzalization of Gigabyte Datasets in GeoFEM", Concurrency and Computati on: Practice and Experience, Vol. 14, No. 6 - 7, pp. 521-530, 2002
非特許文献 2 : B. Wunsche, fhe Visualization and Measurement of Left Ventricular Deformation , roc. the rirst Asia-Pacific bioinformatics conference on Bioinformat ics, pp. 119-128, 2003. 非特許文献 3 : B. Pflesser, U. Tiede, K.H. Hohne and R. R. Leuwer, "Volume Based Planning and Rehearsal of Surgical Intervention", Proc. Computer Assisted Radiolog y and Surgery (CARS), pp.607- 612, 2000
非特許文献 4： R. A. Drebin, L. Carpenter and P. Hanrahan, "Volume Rendering , C omputer Graphics (Proc. ACM SIGGRAPH), Vol. 22, No. 4, pp. 65—74, 1988.
非特許文献 5 : F. Dachille, K. Kreeger, B. Chen, I. Bitter and A. Kauftnan, "High- q uality Volume Rendering Using Texture Mapping Hardware", Proc. The ACM SIG
RAPH /EUROGRAPHICS workshop on Graphics hardware, p. 69, 1998.
非特許文献 6 : M. Weiler, M. Kraus, M. Merz and T. Ertl, "Hardware— Based Ray Ca sting for Tetrahedral Meshes , Proc. IEEE Visualization, pp. 333—340, 2003.
非特許文献 7 : M. Weiler, M. Kraus and T. Ertl, "Hardware- Based View- Independen t Cell Projection", Proc. the IEEE Symposium on Volume Visualization and Graphics
, pp. 13-22, 2002.
非特許文献 8 : A. E. Kauftnan, S. W. Wang, "Volume Sampled Voxelization of Geome trie Primitives", Proc. IEEE Visualization, pp. 78—84, 1993.
非特許文献 9 : J. Huang, R. Yagel'V. Filippov and Y. Kurzion An Accurate Method for Voxelizing Polygon Meshes", ACM Symposium on Volume Visualization, pp. 119 -126, 1998.
発明の開示
発明が解決しょうとする課題
[0005] し力しながら、非特許文献 1から非特許文献 5における高度なシミュレータでは、三 次元形状モデル上での解析結果を表面や内部構造を含め、高精細かつ高速に描 画することが求められるが、力かる要求に対応できていない。例えば、構造物に変形 や破壊を加えた際の内部構造の変化の可視化や、拍動心臓などの臓器モデルに対 する圧俳や把持の際の内腔の変化の描出などである。特に、手術シミュレータをはじ めとする体験型の VRシミュレーションでは、解析結果をなめらかなアニメーションとし て実時間提示することが必要不可欠である。
[0006] また、非特許文献 6、非特許文献 7のアプローチでは、メッシュ生成の際に 1000万 以上の要素数力 なるボタセルデータの詳細度を踏襲することは難しく、元画像の濃 淡値情報の多くが欠落する。このため、形状の変化は描出できるものの、変形結果に 色情報や濃淡値を反映させることができな 、。
[0007] また、非特許文献 8、非特許文献 9の方法では、変形後の色情報が再現されるが、 CPU上でのボクセルイ匕には時間を要し、汎用の PCでは実時間性の達成が困難で ある。また、フレームごとに更新された大規模なボリュームテクスチャをグラフィック力 ードへ転送する必要が生じ、実時間処理には大きなボトルネックとなる。
課題を解決するための手段
[0008] 本第一の発明の情報処理装置は、三次元の物体の三次元メッシュの情報である第 一メッシュ情報と、前記三次元の物体のボリュームテクスチャである 3Dボタセル情報 を格納して!/、る物体情報格納部と、前記三次元の物体の変形を指示する変形指示 を受け付ける指示受付部と、前記変形指示に基づいて、前記第一メッシュ情報を変 形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得部 と、前記第二メッシュ情報に基づいて、色情報を有しない複数のスライス情報である 第一スライス情報群を取得する第一スライス情報群取得部と、前記第一スライス情報 群を構成する複数のスライス情報の各点であり、前記 3Dボタセル情報の点に対応す る各点の色情報を決定する色情報決定部と、前記色情報決定部が決定した各点の 色情報に基づ 、て、前記第一スライス情報群取得部が取得した第一スライス情報群 の各点に新たな色情報を設定し、第二スライス情報群を取得する第二スライス情報 群取得部と、前記第二スライス情報群を出力する変形物体出力部を具備する情報処 理装置である。
力かる構成により、三次元物体の形状の変化を、表面及び内部の色情報を伴って 、実時間で描出することができる。
[0009] また、本第二の発明の情報処理装置は、三次元の物体の三次元メッシュの情報で ある第一メッシュ情報と、前記三次元の物体のボリュームテクスチャである 3Dボクセ ル情報を格納して!/、る物体情報格納部と、前記三次元の物体の変形を指示する変 形指示を受け付ける指示受付部と、前記指示受付部が変形指示を受け付けた場合 に、前記 3Dボタセル情報に基づいて、複数のスライス情報である第一スライス情報 群を取得する第一スライス情報群取得部と、前記変形指示に基づいて、前記第一メ ッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッ シュ情報取得部と、前記第二メッシュ情報に基づいて、前記複数のスライス情報を変 形し、新たな複数のスライス情報である第二スライス情報群を取得する第二スライス 情報群取得部と、前記第一スライス情報群を構成する複数のスライス情報の中の点 であり、前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応 する点の色情報を取得し、当該取得した各点の色情報に基づいて、前記第ニスライ ス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決 定部と、前記色情報決定部が決定した各点の色情報に基づいて、前記第二スライス 情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三 スライス情報群を取得する第三スライス情報群取得部と、前記第三スライス情報群を 出力する変形物体出力部を具備する情報処理装置である。
力かる構成により、三次元物体の形状の変化を、表面及び内部の色情報を伴って 、実時間で描出することができる。
また、本第三の発明の情報処理装置は、三次元の物体の三次元メッシュの情報で ある第一メッシュ情報と、前記三次元の物体のボリュームテクスチャをスライスした複 数のスライス情報である第一スライス情報群を格納して 、る物体情報格納部と、前記 三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、前記変形指 示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成する第二メッシ ュ情報を取得する第二メッシュ情報取得部と、前記第二メッシュ情報に基づいて、前 記複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報 群を取得する第二スライス情報群取得部と、前記第一スライス情報群を構成する複 数のスライス情報の中の点であり、前記第二スライス情報群を構成する新たな複数の スライス情報の各点に対応する点の色情報を取得し、当該取得した各点の色情報に 基づ 、て、前記第二スライス情報群を構成する新たな複数のスライス情報の各点の 色情報を決定する色情報決定部と、前記色情報決定部が決定した各点の色情報に 基づいて、前記第二スライス情報群取得部が取得した第二スライス情報群の各点に 新たな色情報を設定し、第三スライス情報群を取得する第三スライス情報群取得部と 、前記第三スライス情報群を出力する変形物体出力部を具備する情報処理装置で ある。
力かる構成により、三次元物体の形状の変化を、表面及び内部の色情報を伴って 、実時間で描出することができ、かつ予め保持するデータ量が少なくて良い。
[0011] また、本第四の発明の情報処理装置は、第一、第二の情報処理装置において、指 示受付部は、変形指示と、視線方向を示す情報である視線べ外ルの入力を受け付 け、第一スライス情報群取得部は、指示受付部が変形指示を受け付けた場合に、 3 Dボタセル情報に基づ 、て、視線ベクトルに対して垂直となる複数のスライス情報で ある第一スライス情報群を取得する。
力かる構成により、視線ベクトルが示す方向から、三次元物体の高品質な表示を実 現することができる。
また、本第五の発明の情報処理装置は、上記の情報処理装置において、第一スラ イス情報群を構成する複数のスライス情報間の間隔は一定である。
力かる構成により、高速かつ高品質に、三次元物体の形状の変化を表示することが できる。
また、本第六の発明の情報処理装置は、上記の情報処理装置において、変形物 体出力部は、前記第三スライス情報群を構成する複数のスライスの中で、ディスプレ ィの奥行きの深い方のスライス力も順に出力する。
力かる構成により、三次元物体の形状の変化を、高い品質で表示することができる
発明の効果
[0012] 本発明は、三次元物体の変形等の処理を実時間で行える情報処理装置を提供で きる。
発明を実施するための最良の形態
[0013] 以下、情報処理装置等の実施形態について図面を参照して説明する。なお、実施 の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を 省略する場合がある。
(実施の形態 1) [0014] 図 1は、本実施の形態における情報処理装置のブロック図である。情報処理装置は 、物体情報格納部 101、指示受付部 102、第二メッシュ情報取得部 103、第一スライ ス情報群取得部 104、色情報決定部 105、第二スライス情報群取得部 106、変形物 体出力部 107を具備する。色情報決定部 105は、対応点決定手段 1051、色情報決 定手段 1052を具備する。
[0015] 物体情報格納部 101は、三次元の物体の三次元メッシュの情報である第一メッシュ 情報と、三次元の物体のボリュームテクスチャである 3Dボタセル情報を格納して 、る 。三次元メッシュの情報は、三次元物体を構成する点の情報の集合である。三次元メ ッシュの情報は、間隔が空いている点の情報の集合である。点の情報は、通常、（X, y, z)という座標情報である。 3Dボタセル情報は、例えば、（X, y, z, col)で構成され る点の情報である。（X, y, z, col)の (X, y, z)は、座標情報である。「col」は、色情報 である。 3Dボタセル情報は、点の間隔がなぐ詰まっている点の情報でも、離散的な 点の情報でも良い。 3Dボタセル情報は、例えば、 CTや MRIや PETなどの医用機器 で取得した画像群である。物体情報格納部 101は、不揮発性の記録媒体が好適で あるが、揮発性の記録媒体でも実現可能である。
[0016] 指示受付部 102は、三次元の物体の変形を指示する変形指示と、視線方向を示す 情報である視線ベクトルの入力を受け付ける。変形指示や視線ベクトルの入力方法 は問わない。変形指示と視線ベクトルの入力手段は、異なっても良い。変形指示や 視線ベクトルの入力手段は、テンキーやキーボードやマウス（3Dマウスを含む)ゃメ ニュー画面によるものや視線入力等、何でも良い。指示受付部 102は、テンキーゃキ 一ボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で 実現され得る。
[0017] 第二メッシュ情報取得部 103は、変形指示に基づいて、物体情報格納部 101に格 納されて!/、る第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報 を取得する。例えば、第一メッシュ情報の所定の点をマウスで指示され、ドラッグしな 力 引き延ばされた場合、第二メッシュ情報取得部 103は、例えば、当該所定の点が 、引き延ばされた方向、距離の分、第一メッシュ情報を変形し、第二メッシュ情報を得 る。第二メッシュ情報のデータ構造は、通常、第一メッシュ情報と同じである。第二メッ シュ情報取得部 103は、通常、 MPUやメモリ等から実現され得る。第二メッシュ情報 取得部 103の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM 等の記録媒体に記録されている。但し、ハードウ ア（専用回路)で実現しても良い。
[0018] 第一スライス情報群取得部 104は、第二メッシュ情報取得部 103が取得した第二メ ッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一スライス情 報群を取得する。第一スライス情報群取得部 104は、第一メッシュ情報に対して変形 したメッシュ情報である第二メッシュ情報カゝら構成される三次元物体をスライスして取 得できる情報であるスライス情報を複数取得する。力かるスライス情報間の間隔は一 定であることが好適である。また、複数のスライス情報は、視線ベクトルに対して垂直 であることが好適である。スライス情報は、平面を構成する点の情報の集合であり、点 間の間隔がなぐ詰まっている。第一スライス情報群取得部 104は、通常、 MPUゃメ モリ等力も実現され得る。第一スライス情報群取得部 104の処理手順は、通常、ソフト ウェアで実現され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、 ハードウェア (専用回路)で実現しても良 、。
[0019] 色情報決定部 105は、第一スライス情報群を構成する複数のスライス情報の各点 であり、物体情報格納部 101に格納されて 、る 3Dボタセル情報の点に対応する各 点の色情報を決定する。 3Dボタセル情報の点に対応する各点は、 3Dボタセル情報 中の点であり、変形前の点である。色情報決定部 105は、通常、 MPUやメモリ等から 実現され得る。色情報決定部 105の処理手順は、通常、ソフトウエアで実現され、当 該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウェア（専用回 路)で実現しても良い。
[0020] 対応点決定手段 1051は、第一スライス情報群を構成する複数のスライス情報の各 点に対応する、 3Dボタセル情報の中の各点を決定する。なお、この 3Dボタセル情報 の中の各点は、変形前の各点である。対応点決定手段 1051は、通常、 MPUやメモ リ等カも実現され得る。対応点決定手段 1051の処理手順は、通常、ソフトウェアで実 現され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードゥエ ァ (専用回路)で実現しても良 、。
[0021] 色情報決定手段 1052は、対応点決定手段 1051が決定した 3Dボタセル情報の中 の各点の色情報を取得する。色情報決定手段 1052は、通常、 MPUやメモリ等から 実現され得る。色情報決定手段 1052の処理手順は、通常、ソフトウェアで実現され、 当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハードウ ア（専用 回路)で実現しても良い。
[0022] 第二スライス情報群取得部 106は、色情報決定部 105が決定した各点の色情報に 基づいて、第一スライス情報群取得部 104が取得した第一スライス情報群の各点に 新たな色情報を設定し、第二スライス情報群を取得する。つまり、第二スライス情報群 取得部 106は、第一スライス情報群取得部 104が取得した第一スライス情報群の各 点に新たな色情報として、色情報決定部 105が決定した各点の色情報を設定する。 力かる色情報を設定した複数のスライス情報が第二スライス情報群である。第二スラ イス情報群取得部 106は、通常、 MPUやメモリ等から実現され得る。第二スライス情 報群取得部 106の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは R OM等の記録媒体に記録されている。但し、ハードウェア（専用回路)で実現しても良 い。
[0023] 変形物体出力部 107は、第二スライス情報群を出力する。出力とは、ディスプレイ への表示、プリンタへの印字、外部の装置 (例えば、表示装置を具備する装置)への 送信、記録媒体への蓄積等を含む概念である。表示は、ディスプレイやプロジェクタ 一などへの出力を言う。第二スライス情報群の表示態様は問わない。変形物体表示 部 107は、第二スライス情報群を構成する複数のスライスの中で、ディスプレイの奥 行きの深 、方のスライス力も順に表示することが好適である。変形物体表示部 107は 、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。変形物体 表示部 107は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソ フトと出力デバイス等で実現され得る。
以下、情報処理装置の動作について図 2のフローチャートを用いて説明する。 (ステップ S201)指示受付部 102は、変形指示と視線ベクトルの入力を受け付けた か否かを判断する。入力を受け付ければステップ S202に行き、入力を受け付けなけ ればステップ S 201に戻る。
(ステップ S202)第一スライス情報群取得部 104は、ステップ S201で受け付けた視 線ベクトルを取得する。
(ステップ S203)第二メッシュ情報取得部 103は、ステップ S201で受け付けた変形 指示を取得する。なお、取得した変形指示は、例えば、変形ベクトル（向きと大きさを 有する）である。
(ステップ S204)第二メッシュ情報取得部 103は、物体情報格納部 101から第一メ ッシュ情報を読み出す。
[0024] (ステップ S205)第二メッシュ情報取得部 103は、ステップ S 203で取得した変形指 示に基づいて、ステップ S204で読み出した第一メッシュ情報を変形し、変形した形 状を構成する第二メッシュ情報を取得する。変形指示に基づ 、てメッシュ情報を変形 する処理は、公知技術 (有限要素法の技術)であるので、詳細な説明は省略する。
[0025] (ステップ S206)第一スライス情報群取得部 104は、ステップ S205で取得した第二 メッシュ情報に基づ 、て、複数のスライス情報である第一スライス情報群を取得する。 第二メッシュ情報が構成する三次元物体をスライスし、複数の平面の情報を得る。か かる平面の情報がスライス情報である。スライス情報は、座標情報 (X, y, z)で示され る点の集合であり、色情報は有さない。かかる場合、第一スライス情報群取得部 104 は、視線ベクトルに対して垂直となり、所定の間隔で、複数のスライス情報である第一 スライス情報群を取得する。ここで、第一スライス情報群を構成するスライス情報は、 色情報を有しない。
(ステップ S207)第二スライス情報群取得部 106は、第二スライス情報群を取得す る。力かる処理の詳細については、図 3のフローチャートを用いて説明する。
(ステップ S208)変形物体出力部 107は、ステップ S 207で取得した第二スライス情 報群を出力する。ステップ S 201に戻る。
[0026] なお、図 2のフローチャートにおいて、連続的に変形指示と視線ベクトルの入力を 受け付け、リアルタイムに三次元物体の変形を表示した。しかし、視線ベクトルの入力 は、一度だけでも良いし、視線ベクトルは予め格納されており、入力されなくても良い また、図 2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は 終了する。 次に、情報処理装置における第二スライス情報群取得の動作 (上記ステップ S207 の動作）について、図 3のフローチャートを用いて説明する。
(ステップ S301)第二スライス情報群取得部 106は、カウンタ iに 1を代入する。
[0027] (ステップ S302)第二スライス情報群取得部 106は、 i番目のスライス情報 (未処理 のスライス情報）が、第一スライス情報群の中に存在するか否かを判断する。潘目の スライス情報が存在すればステップ S303に行き、 i番目のスライス情報が存在しなけ れば上位関数にリターンする。
(ステップ S303)第二スライス情報群取得部 106は、カウンタ jに 1を代入する。
[0028] (ステップ S304)第二スライス情報群取得部 106は、 i番目のスライス情報の中に未 処理の j番目の点があるかどうか判断する。 j番目の点が存在すればステップ S305に 行き、 j番目の点が存在しなければステップ S309に飛ぶ。なお、「未処理」とは、色情 報を設定して ヽな ヽことを言う。
[0029] (ステップ S305)対応点決定手段 1051は、 i番目のスライス情報の中の j番目の点 に対応する点であり、 3Dボタセル情報中の点を決定する。 3Dボタセル情報中の点と は、変形前の点である。なお、 j番目の点は、変形後の点である。 3Dボタセル情報中 の点を決定するアルゴリズムの例の詳細は、後述する。
(ステップ S306)色情報決定手段 1052は、ステップ S305で決定した 3Dボタセル 情報中の点の色情報を取得する。
(ステップ S307)色情報決定手段 1052は、ステップ S306で取得した色情報を、 i 番目のスライス情報の中の j番目の点の色情報に設定する。
(ステップ S308)第二スライス情報群取得部 106は、カウンタ jを 1、インクリメントす る。ステップ S 304に戻る。
(ステップ S309)第二スライス情報群取得部 106は、カウンタ iを 1、インクリメントす る。ステップ S 302に戻る。
[0030] 以下、本実施の形態における情報処理装置の具体的な動作について説明する。
本情報処理装置において、例えば、三次元物体は、心臓や肺などの臓器である。か かる三次元物体は、 4面体の集合で近似できる。したがって、ここでは、説明の簡単 化のために、図 4 (a)に示す 4面体を変形させた場合について説明する。図 4 (a)に おいて、 A, B, C, Oの 4点を有する。点 Pは、 4面体の内部のある点である。
[0031] 物体情報格納部 101は、例えば、図 5に示す第一メッシュ情報と、図 6に示す 3Dボ クセル情報を格納している。第一メッシュ情報は、例えば、 4面体の外側および内側 の点の情報（点の間は間隔があいている）の集合である。 3Dボタセル情報は、図 4 (a )に示す 4面体を構成する全ての点の情報である点情報の集合である。点情報は、 位置情報 (X, y, z)と色情報（図 6において、「col」など）を、少なくとも有する。
[0032] ここで、ユーザは、変形指示と視線ベクトルを入力した、とする。ここでは、変形指示 は、例えば、情報処理装置が具備するマウスで入力する。マウスでの入力は、例えば 、図 4 (a)に示す 4面体の点 Oを左横に所定の力でドラッグする入力である。かかる入 力により、図 4 (a)に示す 4面体は、図 4 (b)に示すような 4面体になる。そして、かかる 変形指示に基づいて、第二メッシュ情報取得部 103は、図 5の第一メッシュ情報を変 形し、変形した形状を構成する第二メッシュ情報を取得する。第二メッシュ情報を図 7 に示す。つまり、第二メッシュ情報は、図 4 (b)の 4面体を示す情報である。なお、第一 メッシュ情報を変形し、第二メッシュ情報を取得する処理は、有限要素法による公知 技術であるので詳細な説明は省略する。
[0033] 次に、第一スライス情報群取得部 104は、第二メッシュ情報取得部 103が取得した 第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一スラ イス情報群を取得する。第一スライス情報群取得部 104は、図 8に示すように、視線 ベクトルに対して垂直となり、所定の間隔で、複数のスライス情報である第一スライス 情報群を取得する。第一スライス情報群取得部 104は、表示対象の三次元物体の位 置「minD」WmaxD」を求め、所定の間隔「D」でスライスし、複数のスライス情報を取 得する。スライス情報は、点の情報の集合である。また、スライス情報を構成する点間 の間隔はない。つまり、スライス情報により示される平面は、点の情報により詰まって いる。ここでの点の情報は、位置情報 (X, y, z)を有し、色情報を有さない。その結果 、第一スライス情報群取得部 104は、図 9に示す第一スライス情報群を取得する。第 一スライス情報群は、スライス情報 S ,スライス情報 S ,スライス情報 Sなどを有する。
1 2 3
なお、視線ベクトルに対して垂直にスライス情報を取得するのは、ユーザがスライス情 報の集合を見た場合に、間引いたスライス情報でも、立体的に見えるようにするため である。また、所定の間隔で、間引いたスライス情報を取得するのは、表示処理の高 速ィ匕のためである。また、一定の間隔でスライス情報を取得するのは、高品質な三次 元物体を表示するためである。
[0034] 次に、色情報の取得処理について説明する。図 4 (a) , (b)にあるように、メッシュ要 素内部のある点 Pが、変形指示の入力によって P'に変位したとき、 P'の色情報には 3 Dボタセル情報内の Pの位置にある色情報を割り当てる必要がある。変形前後にお V、てメッシュ内部の任意点の各頂点からの相対位置が変化しな!、とすれば、変形前 後の内部点 P, P'の位置は共通のパラメータ s, t, uを用いて、次のように各エッジの 線形結合として表すことができる。
OP = sOA + tOB + uOC 式（1)
0'P' = sO'A' +tO'B' +uO'C 式（2)
[0035] ここで、対応点決定手段 1051は、式（2)を解いて、変形後のメッシュから内部の点 P'を定義するパラメータ s, t, uを求め、式（1)から変形前の位置 Pを得る。そして、位 置 Pに対応する色情報を、図 6に示す 3Dボタセル情報力も取得する。そして、色情報 決定手段 1052は、対応点決定手段 1051が決定した第一スライス情報群を構成す る複数のスライス情報の中の各点の色情報を取得し、設定する。その結果、図 9の変 形後の各スライス情報を構成する各点は、色情報を有することとなる。
[0036] 以上の処理にぉ 、て、メッシュ情報を構成するノード（点）に変位が生じたり、メッシ ュ情報の再構成が行われたりした場合でも、シミュレーション前後において、要素内 の点の各ノード力 の相対位置が求められる限り、内部の任意点における色情報が 再現可能である。
[0037] 次に、変形物体出力部 107は、第二スライス情報群を表示する。力かる処理により 、変形指示を受け付けた後の三次元物体がリアルタイムに表示される。変形指示の 受け付けと変形後の三次元物体の表示を繰り返すことで、例えば、医療分野におけ る生体機能解析やリアルタイムの手術シミュレーション等が可能となる。
[0038] 以上、本実施の形態によれば、メッシュに生じた変形や破壊を、表面及び内部の色 情報を伴って実時間で描出することができる。具体的には、 3Dボタセル情報から取 得したスライス情報群と、メッシュ情報を用いて、リアルタイムの三次元物体の変形を シミュレーションできる。つまり、元画像のボタセルデータ（3Dボタセル情報）と対象領 域のメッシュデータ (メッシュ情報）の両方を使用し、変形後のメッシュ要素をテクスチ ャマップされた断面の重なりによって表現することによって、物体表面'内部構造の高 精細な描画を行える。また、本実施の形態によれば、有限要素法を代表とする力学 計算アルゴリズムに対応し、専用のグラフィクスカードを必要とせずに、汎用 PC上で 、例えば、 256 X 256 X 256 voxelからなるボリュームデータに対して、なめらかな 変形アニメーションを生成することができる。
[0039] なお、本実施の形態における情報処理装置の処理につ!、て評価を行った。描画に 要する計算時間を検証するために、 4パターンの同形状で詳細度の異なるメッシュ（ 図 10 (a)の立方体、メッシュ数 Eは 589, 1104, 4463, 8468)と対応する 256 X 25 6 X 256と 128 X 128 X 128の 2パターンのボリュームテクスチャを用意した。それぞ れに対し、スライス間隔 Dが 1. 0と 2. 0の場合を考え、計 16通りに対して 1秒間にお ける描画フレーム数を測定した。それぞれの場合でのフレーム数を図 11に示す。な お、図 10の各画像データは、色情報も含むことは言うまでもない。
[0040] 要素数が多くなると生成されるベースポリゴンが増加し、フレーム数は減少する。フ レーム数はスライス間隔 Dにはほぼ比例し、 256 X 256 X 256voxelのボリュームテク スチヤを用いた場合、スライス間隔 Dを 2とすれば要素数が 2000程度までのメッシュ で 10Hz以上のフレーム数を達成できており、物体に対する操作に対して対話的に なめらかなアニメーションを提示することができた。
[0041] また、本実施の形態における情報処理装置は、 CTや MRIによって取得される人体 臓器などの三次元物体形状に対し、変形シミュレーションを行った際の表面 ·内部構 造の可視化に有用である。ここで、人体臓器などの三次元物体の形状に対し適用し た結果を、以下に示す。例えば、図 12 (a)は CTによって取得された二次元画像集合 力も抽出された心筋部位のボリュームレンダリング結果である。同形状の四面体メッ シュモデルを作成し、変形シミュレーションを行った結果を図 12 (b)に示す。濃淡値 が反映されるため、変形後の冠動脈などの微細組織や物体表面の性状が高精細に 描出される。また、 α値を変化させることによって内部構造 (心内腔)の変形も観察で きる。かかることは、他の実施の形態においても同様である。なお、図 12の各画像デ ータは、色情報も含むことは言うまでもない。
[0042] また、本実施の形態における情報処理装置は、臓器等の三次元物体の変形のシミ ユレーシヨンだけではなぐエンターテイメント向けのアニメーション生成など、コンビュ 一タグラフイクスに関連した幅広い用途に有用であり、ボリュームビジユアライゼーショ ンの適用範囲を大きく拡大できる。力かることも、他の実施の形態においても同様で ある。
[0043] また、本実施の形態における情報処理装置にお!、て、第一スライス情報群の取得 や、第二スライス情報群の取得の処理を並列化すれば、さらに高速処理できることは 言うまでもない。力かることも、他の実施の形態においても同様である。
また、本実施の形態における情報処理装置の物体情報格納部に格納されて 、るデ ータのデータ構造は、三次元物体の三次元メッシュの情報であるメッシュ情報と、前 記三次元の物体のボリュームテクスチャである 3Dボタセル情報の全部または一部を 対応付けて有する三次元物体のデータ構造である。かかるデータ構造を有するデー タに対して、上記のような処理を行うことにより、三次元物体の変形や破壊を、表面及 び内部の色情報を伴って実時間で描出することができる。力かることも、他の実施の 形態にお 、ても同様である。
[0044] さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、この ソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェア を CD— ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細 書における他の実施の形態においても該当する。なお、本実施の形態における情報 処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプロ グラムは、コンピュータに、三次元の物体の変形を指示する変形指示を、入力手段等 力 受け付ける指示受付ステップと、前記変形指示に基づいて、記録媒体に格納し て 、る第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報を取得 する第二メッシュ情報取得ステップと、前記第二メッシュ情報に基づいて、色情報を 有しない複数のスライス情報である第一スライス情報群を取得する第一スライス情報 群取得ステップと、前記第一スライス情報群を構成する複数のスライス情報の各点で あり、前記 3Dボタセル情報の点に対応する各点の色情報を決定する色情報決定ス テツプと、前記色情報決定ステップで決定した各点の色情報に基づいて、前記第一 スライス情報群取得ステップで取得した第一スライス情報群の各点に新たな色情報を 設定し、第二スライス情報群を取得する第二スライス情報群取得ステップと、前記第 ニスライス情報群を、出力装置等に出力する変形物体出力ステップを実行させるた めのプログラム、である。
(実施の形態 2)
[0045] 実施の形態 2にお 、て、情報処理装置は、変形前の 3Dボタセル情報から、色情報 を有するスライス情報群を取得し、当該スライス情報群と変形後のメッシュ情報から、 変形後の三次元物体の表示を得る方法について説明する。実施の形態 2における 情報処理装置と、実施の形態 1における情報処理装置は、スライス情報群とメッシュ 情報を適切に組み合わせて、三次元物体の変形を高速に実現することは同じである 力 変形後の三次元物体を得るアルゴリズムが異なる。
[0046] 図 13は、本実施の形態における情報処理装置のブロック図である。情報処理装置 は、物体情報格納部 101、指示受付部 102、第一スライス情報群取得部 1303、第 二メッシュ情報取得部 1304、第二スライス情報群取得部 1305、色情報決定部 130 6、第三スライス情報群取得部 1307、変形物体出力部 1308を具備する。色情報決 定部 1306は、対応点決定手段 13061、色情報決定手段 13062を具備する。
[0047] 第一スライス情報群取得部 1303は、指示受付部 102が変形指示を受け付けた場 合に、物体情報格納部 101の 3Dボタセル情報に基づいて、複数のスライス情報であ る第一スライス情報群を取得する。具体的には、第一スライス情報群取得部 1303は 、 3Dボタセル情報で表される三次元物体を、所定の間隔でスライスした複数のスライ スを示す情報である複数のスライス情報を得る。第一スライス情報群を構成する複数 のスライス情報間の間隔は一定であることが好適である。また、第一スライス情報群取 得部 1303は、指示受付部 102が変形指示を受け付けた場合に、 3Dボタセル情報 に基づ!/、て、視線ベクトルに対して垂直となる複数のスライス情報である第一スライス 情報群を取得することが好適である。第一スライス情報群を構成するスライス情報の 各点の情報は、色情報を有する。第一スライス情報群取得部 1303は、通常、 MPU やメモリ等力も実現され得る。第一スライス情報群取得部 1303の処理手順は、通常 、ソフトウェアで実現され、当該ソフトウエアは ROM等の記録媒体に記録されている。 但し、ハードウェア（専用回路)で実現しても良い。
[0048] 第二メッシュ情報取得部 1304は、指示受付部 102が変形指示を受け付けた場合 に、当該変形指示に基づいて、第一メッシュ情報を変形し、変形した形状を構成する 第二メッシュ情報を取得する。第二メッシュ情報取得部 1304は、通常、 MPUやメモ リ等カも実現され得る。第二メッシュ情報取得部 1304の処理手順は、通常、ソフトゥ アで実現され、当該ソフトウェアは ROM等の記録媒体に記録されている。但し、ハ 一ドウ ア（専用回路)で実現しても良 、。
[0049] 第二スライス情報群取得部 1305は、第二メッシュ情報に基づいて、複数のスライス 情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得する。第 ニスライス情報群を構成するスライス情報の各点は、色情報を有さなくても良い。第 ニスライス情報群取得部 1305は、通常、 MPUやメモリ等力も実現され得る。第ニス ライス情報群取得部 1305の処理手順は、通常、ソフトウェアで実現され、当該ソフト ウエアは ROM等の記録媒体に記録されている。但し、ハードウ ア（専用回路)で実 現しても良い。
[0050] 色情報決定部 1306は、第一スライス情報群を構成する複数のスライス情報の中の 点であり、第二スライス情報群を構成する新たな複数のスライス情報の各点に対応す る点の色情報を取得し、当該取得した各点の色情報に基づいて、第二スライス情報 群を構成する新たな複数のスライス情報の各点の色情報を決定する。
[0051] 対応点決定手段 13061は、第二スライス情報群を構成する新たな複数のスライス 情報の各点に対応する、第一スライス情報群を構成する複数のスライス情報の中の 各点を決定する。対応点決定手段 13061は、通常、 MPUやメモリ等から実現され得 る。対応点決定手段 13061の処理手順は、通常、ソフトウェアで実現され、当該ソフ トウエアは ROM等の記録媒体に記録されている。但し、ハードウェア（専用回路)で 実現しても良い。
[0052] 色情報決定手段 13062は、対応点決定手段 13061が決定した第一スライス情報 群を構成する複数のスライス情報の中の各点の色情報を取得する。色情報決定手段 13062は、通常、 MPUやメモリ等カゝら実現され得る。色情報決定手段 13062の処 理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の記録媒体に 記録されている。但し、ハードウェア（専用回路)で実現しても良い。
[0053] 第三スライス情報群取得部 1307は、色情報決定部 1306が決定した各点の色情 報に基づいて、第二スライス情報群取得部 1305が取得した第二スライス情報群の各 点に新たな色情報を設定し、第三スライス情報群を取得する。第三スライス情報群は 、第二スライス情報群の各点に色情報を設定した情報群である。第三スライス情報群 取得部 1307は、通常、 MPUやメモリ等カゝら実現され得る。第三スライス情報群取得 部 1307の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアは ROM等の 記録媒体に記録されている。但し、ハードウ ア（専用回路)で実現しても良い。
[0054] 変形物体出力部 1308は、第三スライス情報群を出力する。出力とは、ディスプレイ への表示、プリンタへの印字、外部の装置 (例えば、表示装置を具備する装置)への 送信、記録媒体への蓄積等を含む概念である。表示は、ディスプレイやプロジェクタ 一などへの出力を言う。第三スライス情報群の表示態様は問わない。変形物体出力 部 1308は、第三スライス情報群を構成する複数のスライスの中で、ディスプレイの奥 行きの深い方のスライス力も順に出力することが好適である。変形物体出力部 1308 は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。変形物 体出力部 1308は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバ 一ソフトと出力デバイス等で実現され得る。
以下、本情報処理装置の動作について図 14のフローチャートを用いて説明する。
(ステップ S1401)指示受付部 102は、変形指示と視線ベクトルの入力を受け付け た力否かを判断する。入力を受け付ければステップ S 1402に行き、入力を受け付け なければステップ S1401に戻る。
(ステップ S1402)第一スライス情報群取得部 1303は、ステップ S1401で受け付け た視線ベクトルを取得する。
(ステップ S1403)第二メッシュ情報取得部 1304は、ステップ S1401で受け付けた 変形指示を取得する。なお、変形指示は、例えば、変形べ外ル（向きと大きさを有す る）である。
(ステップ S1404)第二メッシュ情報取得部 1304は、物体情報格納部 101から第 一メッシュ情報を読み出す。
[0055] (ステップ S 1405)第二メッシュ情報取得部 1304は、ステップ S 1403で取得した変 形指示に基づいて、ステップ S1404で読み出した第一メッシュ情報を変形し、変形し た形状を構成する第二メッシュ情報を取得する。
[0056] (ステップ S1406)第一スライス情報群取得部 1303は、物体情報格納部 101から 3 Dボタセル情報を読み出し、当該 3Dボタセル情報力 複数のスライス情報である第 一スライス情報群を取得する。かかる場合、第一スライス情報群取得部 1303は、視 線ベクトルに対して垂直となり、所定の間隔で、複数のスライス情報である第一スライ ス情報群を取得する。なお、第一スライス情報群を構成するスライス情報の各点は、 色情報を有する。各点の色情報は、 3Dボタセル情報が有する点で、対応する各点 の色情報である。
[0057] (ステップ S1407)第二スライス情報群取得部 1305は、ステップ S 1405で取得した 第二メッシュ情報に基づ 、て、ステップ S 1406で取得した第一スライス情報群が有す る複数のスライス情報を変形し、新たな複数のスライス情報である第二スライス情報群 を取得する。
(ステップ S1408)第三スライス情報群取得部 1307は、第三スライス情報群を取得 する。力かる処理の詳細については、図 15のフローチャートを用いて説明する。
(ステップ S1409)変形物体出力部 1308は、ステップ S 1408で取得した第三スライ ス情報群を出力する。ステップ S 1401に戻る。
[0058] なお、図 14のフローチャートにおいて、連続的に変形指示と視線ベクトルの入力を 受け付け、リアルタイムに三次元物体の変形を表示した。しかし、視線ベクトルの入力 は、一度だけでも良いし、視線ベクトルは予め格納されており、入力されなくても良い また、図 14のフローチャートにおいて、電源オフや処理終了の割り込みにより処理 は終了する。
次に、情報処理装置における第三スライス情報群取得の動作 (上記ステップ S140 8の動作）について、図 15のフローチャートを用いて説明する。
(ステップ S 1501)第三スライス情報群取得部 1307は、カウンタ iに 1を代入する。 [0059] (ステップ SI 502)第三スライス情報群取得部 1307は、 i番目のスライス情報 (未処 理のスライス情報）が、第二スライス情報群の中に存在するか否かを判断する。潘目 のスライス情報が存在すればステップ S 1503に行き、 i番目のスライス情報が存在し なければ上位関数にリターンする。
(ステップ S 1503)第三スライス情報群取得部 1307は、カウンタ jに 1を代入する。
[0060] (ステップ S 1504)第三スライス情報群取得部 1307は、 i番目のスライス情報の中に 未処理の j番目の点があるかどうか判断する。 j番目の点が存在すればステップ S 150 5に行き、 j番目の点が存在しなければステップ S 1509に飛ぶ。
(ステップ S 1505)対応点決定手段 13061は、 i番目のスライス情報の中の j番目の 点に対応する点であり、第一スライス情報群を構成する複数のスライス情報の中の点 (変形前の点)を決定する。
(ステップ S 1506)色情報決定手段 13062は、ステップ S 1505で決定した点の色 情報を取得する。なお、第一スライス情報群を構成する複数のスライス情報の各点は 、色情報を有する。
(ステップ S1507)色情報決定手段 13062は、ステップ S 1506で取得した色情報 を、 i番目のスライス情報の中の j番目の点の色情報に設定する。
(ステップ S 1508)第三スライス情報群取得部 1307は、カウンタ jを 1、インクリメント する。ステップ S 1504に戻る。
(ステップ S 1509)第三スライス情報群取得部 1307は、カウンタ iを 1、インクリメント する。ステップ S 1502に戻る。
以下、本実施の形態における情報処理装置の具体的な動作について説明する。 本情報処理装置において、実施の形態 1と同様に、図 4 (a)に示す 4面体を変形させ た場合について説明する。
物体情報格納部 101は、物体情報格納部 101は、例えば、図 5に示す第一メッシュ 情報と、図 6に示す 3Dボタセル情報を格納して 、る。
[0061] ここで、ユーザは、変形指示と視線ベクトルを入力した、とする。力かる入力により、 図 4 (a)に示す 4面体は、図 4 (b)に示すような 4面体になる。そして、かかる変形指示 に基づいて、第二メッシュ情報取得部 1304は、図 5の第一メッシュ情報を変形し、変 形した形状を構成する第二メッシュ情報を取得する。第二メッシュ情報を図 6に示す。
[0062] 次に、第一スライス情報群取得部 1303は、 3Dボタセル情報から、視線ベクトルに 対して垂直となる複数のスライス情報である第一スライス情報群を取得する。第一スラ イス情報群を図 16に示す。第一スライス情報群は、スライス情報 S 、スライス情報 S
161
、スライス情報 S 等を有する。ここでのスライス情報 S 等は、色情報も有する。
162 163 161
つまり、スライス情報 S 等を構成する各点の情報の構造例は、「(x, y, z, col)」で
161
ある。なお、 3Dボタセル情報からスライス情報を切出す処理は、公知技術であるので 、ここでの詳細な説明は省略する。また、 3Dボタセル情報からスライス情報を切出す 処理は、実施の形態 1で述べた処理と概ね同様である。
[0063] 次に、第二メッシュ情報取得部 1304は、指示受付部 102が受け付けた変形指示 に基づいて、第一メッシュ情報を変形し、変形した形状を構成する第二メッシュ情報 を取得する。第二メッシュ情報は、例えば、図 7に示すような情報である。
[0064] 次に、第二スライス情報群取得部 1305は、第二メッシュ情報に基づいて、複数のス ライス情報 (第一スライス情報群)を変形し、新たな複数のスライス情報である第ニス ライス情報群を取得する。力かる変形時には、色情報は考慮しない。つまり、第二スラ イス情報群取得部 1305は、例えば、第一スライス情報群を構成するスライス情報の 位置情報のみを利用し、第二スライス情報群を得る。第二スライス情報群を構成する スライス情報は、色情報を有しない。力かるスライス情報の各点の情報の構造例は、「 (X, y, z, — 1)」である。色情報の「- 1」は、ここでは、色情報を有しないことを意味 する。
[0065] 次に、色情報決定部 1306は、第一スライス情報群を構成する複数のスライス情報 の中の点であり、第二スライス情報群を構成する新たな複数のスライス情報の各点に 対応する点の色情報を取得し、当該取得した各点の色情報に基づいて、第ニスライ ス情報群を構成する新たな複数のスライス情報の各点の色情報を決定する。そして、 第三スライス情報群取得部 1307は、上記の色情報「一 1」を、決定した色情報に書き 換える。力かる処理により、第三スライス情報群取得部 1307は、第三スライス情報群 を取得する。
そして、変形物体出力部 1308は、第三スライス情報群を出力する。 以上、本実施の形態によれば、メッシュに生じた変形や破壊を、表面及び内部の色 情報を伴って、概ね実時間で描出することができる。
[0066] なお、本実施の形態において、実施の形態 1と同様に、スライス情報群を構成する 複数のスライス情報間の間隔は一定であることが好適である。また、変形物体出力部 は、スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの深い方 のスライス力も順に出力することが好適である。かかることは、他の実施の形態におい て同様である。
[0067] さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のよう なプログラムである。つまり、このプログラムは、コンピュータに、三次元の物体の変形 を指示する変形指示を、入力手段等から受け付ける指示受付ステップと、前記指示 受付ステップで変形指示を受け付けた場合に、記録媒体に格納して 、る 3Dボタセル 情報に基づ 、て、複数のスライス情報である第一スライス情報群を取得する第一スラ イス情報群取得ステップと、前記変形指示に基づいて、前記第一メッシュ情報を変形 し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステ ップと、前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな 複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得ス テツプと、前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前 記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点の 色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群 を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステツ プと、前記色情報決定ステップで決定した各点の色情報に基づいて、前記第二スラ イス情報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、 第三スライス情報群を取得する第三スライス情報群取得ステップと、前記第三スライ ス情報群を、出力装置等に出力する変形物体出力ステップを実行するためのプログ ラム、である。
(実施の形態 3)
本実施の形態において、予め 3Dボタセル情報ではなぐスライス情報が用意されて いる例を説明する。 [0068] 図 17は、本実施の形態における情報処理装置のブロック図である。情報処理装置 は、物体情報格納部 1701、指示受付部 1702、第二メッシュ情報取得部 1304、第 ニスライス情報群取得部 1305、色情報決定部 1306、第三スライス情報群取得部 13 07、変形物体出力部 1308を具備する。
[0069] 物体情報格納部 1701は、三次元の物体の三次元メッシュの情報である第一メッシ ュ情報と、三次元の物体のボリュームテクスチャをスライスした複数のスライス情報で ある第一スライス情報群を格納している。物体情報格納部 1701は、不揮発性の記録 媒体が好適であるが、揮発性の記録媒体でも実現可能である。なお、三次元の物体 のボリュームテクスチャ、またはスライス情報は、例えば、 CT、 MRI、 PETなどの医用 機器で撮影したデータである。
[0070] 指示受付部 1702は、三次元の物体の変形を指示する変形指示を受け付ける。変 形指示や視線ベクトルの入力手段は、テンキーやキーボードやマウス（3Dマウスを含 む)やメニュー画面によるものや視線入力等、何でも良い。指示受付部 1702は、テ ンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフ トウエア等で実現され得る。
以下、本情報処理装置の動作について図 18のフローチャートを用いて説明する。 (ステップ S1801)指示受付部 1702は、変形指示の入力を受け付けた力否かを判 断する。入力を受け付ければステップ S1802に行き、入力を受け付けなければステ ップ S 1801に戻る。
(ステップ S1803)第二メッシュ情報取得部 1304は、ステップ S1801で受け付けた 変形指示を取得する。なお、変形指示は、例えば、変形べ外ル（向きと大きさを有す る）である。
(ステップ S1804)第二メッシュ情報取得部 1304は、物体情報格納部 1701から第 一メッシュ情報を読み出す。
[0071] (ステップ S1805)第二メッシュ情報取得部 1304は、ステップ S1803で取得した変 形指示に基づいて、ステップ S1804で読み出した第一メッシュ情報を変形し、変形し た形状を構成する第二メッシュ情報を取得する。
[0072] (ステップ S1806)第二スライス情報群取得部 1305は、ステップ S1805で取得した 第二メッシュ情報に基づ 、て、格納されて 、る第一スライス情報群が有する複数のス ライス情報を変形し、新たな複数のスライス情報である第二スライス情報群を取得す る。
(ステップ S1807)第三スライス情報群取得部 1307は、第三スライス情報群を取得 する。ステップ S 1807の処理は、ステップ S 1408の処理と同様である。かかる処理の 詳細については、図 15のフローチャートを用いて説明した。
(ステップ S 1808)変形物体表示部 1308は、ステップ S 1807で取得した第三スライ ス情報群を出力する。
[0073] 以下、本実施の形態における情報処理装置の具体的な動作について説明する。
本情報処理装置において、物体情報格納部 1701は、例えば、図 5に示す第一メッ シュ情報と、図 16に示す第一スライド情報群を保持している。そして、受け付けた変 形指示に基づいて、実施の形態 2と、概ね同様の処理により、第三スライス情報群を 取得する。そして、変形物体出力部 1308は、第三スライス情報群を表示する。
[0074] 以上、本実施の形態によれば、メッシュに生じた変形や破壊を、表面及び内部の色 情報を伴って、概ね実時間で描出することができる。また、本実施の形態において、 予め第一スライド情報群を保持して 、るので、 3D物体の変形が高速にシミュレーショ ンできる。さらに、 3Dボタセル情報を保持する必要がないので、情報処理装置は少 ない記憶容量でシミュレーションが可能である。
[0075] さらに、本実施の形態における情報処理装置を実現するソフトウェアは、以下のよう なプログラムである。つまり、このプログラムは、コンピュータに、三次元の物体の変形 を指示する変形指示を、入力手段等から受け付ける指示受付ステップと、前記変形 指示に基づいて、記録媒体に格納している第一メッシュ情報を変形し、変形した形状 を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、前記第二メ ッシュ情報に基づいて、記録媒体に格納している第一スライス情報群を変形し、新た な複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得 ステップと、前記第一スライス情報群を構成する複数のスライス情報の中の点であり、 前記第二スライス情報群を構成する新たな複数のスライス情報の各点に対応する点 の色情報を取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報 群を構成する新たな複数のスライス情報の各点の色情報を決定する色情報決定ステ ップと、前記色情報決定ステップで決定した各点の色情報に基づいて、前記第ニス ライス情報群取得ステップで取得した第二スライス情報群の各点に新たな色情報を 設定し、第三スライス情報群を取得する第三スライス情報群取得ステップと、前記第 三スライス情報群を、出力装置等に出力する変形物体出力ステップを実行するため のプログラム、である。
[0076] また、上記各実施の形態にお!、て、各処理 (各機能）は、単一の装置 (システム）に よって集中処理されることによって実現されてもよぐあるいは、複数の装置によって 分散処理されることによって実現されてもょ 、。
また、上記に記載したプログラムを実行するコンピュータは、単数であってもよぐ複 数であってもよい。すなわち、集中処理を行ってもよぐあるいは分散処理を行っても よい。
本発明は、以上の実施の形態に限定されることなぐ種々の変更が可能であり、そ れらも本発明の範囲内に包含されるものであることは言うまでもない。
[0077] つまり、本発明における三次元物体のデータ構造は、三次元物体の三次元メッシュ の情報であるメッシュ情報と、前記三次元の物体のボリュームテクスチャである 3Dボ クセル情報の全部または一部を対応付けて有する。力かる三次元物体のデータ構造 の特徴を用いて、高速に三次元物体のシミュレーションを行える。メッシュ情報と 3D ボタセル情報の対応付けの方法は種々ある。例えば、リンクを張っても良い。また、所 定の記録媒体にそれぞれ格納されて 、るだけでも良 、。情報処理装置が上述した処 理により、一の三次元物体のメッシュ情報と 3Dボタセル情報を共に利用できる状況 にあれば、 2種類のデータは対応付けられているといえる。具体的には、本発明にお ける情報処理装置は、三次元の物体の三次元メッシュの情報である第一メッシュ情 報と、前記三次元の物体のボリュームテクスチャである 3Dボタセル情報の全部または 一部を格納して!/、る物体情報格納部と、前記三次元の物体の変形を指示する変形 指示を受け付ける指示受付部と、前記変形指示に基づいて、前記第一メッシュ情報 を変形し、変形した形状を構成する第二メッシュ情報を取得する第二メッシュ情報取 得部と、前記第二メッシュ情報と前記 3Dボタセル情報の全部または一部に基づ 、て 、第二スライス情報群を取得する第二スライス情報群取得部と、前記第二スライス情 報群を出力する変形物体出力部を具備する情報処理装置である。
産業上の利用可能性
[0078] 以上のように、本発明にかかる情報処理装置は、メッシュに生じた変形等を、表面 及び内部の色情報を伴って実時間で描出することができるという効果を有し、三次元 物体のシミュレーション装置等として有用である。
図面の簡単な説明
[0079] [図 1]実施の形態 1における情報処理装置のブロック図
[図 2]同情報処理装置の動作を説明するフローチャート
[図 3]同スライス情報群取得処理の詳細について説明するフローチャート
[図 4]同変形対象の三次元物体を構成する 4面体を示す図
[図 5]同第一メッシュ情報を示す図
[図 6]同 3Dボタセル情報を示す図
[図 7]同第二メッシュ情報を示す図
[図 8]同第一スライス情報群を取得する際のイメージを示す図
[図 9]同第一スライス情報群を示す図
[図 10]同変形対象の三次元物体を示す図
[図 11]同計算時間の検証データを示す図
[図 12]同変形対象の心筋部位を示す図
[図 13]実施の形態 2における情報処理装置のブロック図
[図 14]同情報処理装置の動作を説明するフローチャート
[図 15]同スライス情報群取得処理の詳細について説明するフローチャート
[図 16]同第一スライス情報群を示す図
[図 17]実施の形態 3における情報処理装置のブロック図
[図 18]同情報処理装置の動作を説明するフローチャート

Claims

請求の範囲
[1] 三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物 体のボリュームテクスチャである 3Dボタセル情報を格納している物体情報格納部と、 前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、 前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成す る第二メッシュ情報を取得する第二メッシュ情報取得部と、
前記第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一 スライス情報群を取得する第一スライス情報群取得部と、
前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定部と、
前記色情報決定部が決定した各点の色情報に基づ!、て、前記第一スライス情報群 取得部が取得した第一スライス情報群の各点に新たな色情報を設定し、第ニスライ ス情報群を取得する第二スライス情報群取得部と、
前記第二スライス情報群を出力する変形物体出力部を具備する情報処理装置。
[2] 三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物 体のボリュームテクスチャである 3Dボタセル情報を格納している物体情報格納部と、 前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、 前記指示受付部が変形指示を受け付けた場合に、前記 3Dボタセル情報に基づ 、 て、複数のスライス情報である第一スライス情報群を取得する第一スライス情報群取 得部と、
前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成す る第二メッシュ情報を取得する第二メッシュ情報取得部と、
前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数の スライス情報である第二スライス情報群を取得する第二スライス情報群取得部と、 前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第ニス ライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を 取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成す る新たな複数のスライス情報の各点の色情報を決定する色情報決定部と、 前記色情報決定部が決定した各点の色情報に基づ!、て、前記第二スライス情報群 取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライ ス情報群を取得する第三スライス情報群取得部と、
前記第三スライス情報群を出力する変形物体出力部を具備する情報処理装置。
[3] 三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物 体のボリュームテクスチャをスライスした複数のスライス情報である第一スライス情報 群を格納して 、る物体情報格納部と、
前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、 前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成す る第二メッシュ情報を取得する第二メッシュ情報取得部と、
前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数の スライス情報である第二スライス情報群を取得する第二スライス情報群取得部と、 前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第ニス ライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を 取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成す る新たな複数のスライス情報の各点の色情報を決定する色情報決定部と、 前記色情報決定部が決定した各点の色情報に基づ!、て、前記第二スライス情報群 取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三スライ ス情報群を取得する第三スライス情報群取得部と、
前記第三スライス情報群を出力する変形物体出力部を具備する情報処理装置。
[4] 前記指示受付部は、
前記変形指示と、視線方向を示す情報である視線ベクトルの入力を受け付け、 前記第一スライス情報群取得部は、
前記指示受付部が変形指示を受け付けた場合に、前記 3Dボタセル情報に基づ 、 て、前記視線ベクトルに対して垂直となる複数のスライス情報である第一スライス情報 群を取得する請求項 1または請求項 2いずれか記載の情報処理装置。
[5] 前記第一スライス情報群を構成する複数のスライス情報間の間隔は一定である請求 項 1から請求項 4 、ずれか記載の情報処理装置。
[6] 前記変形物体出力部は、
前記第三スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの 深い方のスライスから順に出力する請求項 1から請求項 5記載の情報処理装置。
[7] 三次元の物体の三次元メッシュの情報である第一メッシュ情報と、前記三次元の物 体のボリュームテクスチャである 3Dボタセル情報の全部または一部を格納している物 体情報格納部と、
前記三次元の物体の変形を指示する変形指示を受け付ける指示受付部と、 前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成す る第二メッシュ情報を取得する第二メッシュ情報取得部と、
前記第二メッシュ情報と前記 3Dボタセル情報の全部または一部に基づ 、て、第ニス ライス情報群を取得する第二スライス情報群取得部と、
前記第二スライス情報群を出力する変形物体出力部を具備する情報処理装置。
[8] 前記指示受付部は、
複数の変形指示を順次受け付け、
三次元の物体の変化を出力するシミュレーションを行う請求項 1から請求項 7記載の 情報処理装置。
[9] コンピュータに、
三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、 前記変形指示に基づいて、格納している第一メッシュ情報を変形し、変形した形状を 構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
前記第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一 スライス情報群を取得する第一スライス情報群取得ステップと、
前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定ステップと、 前記色情報決定ステップで決定した各点の色情報に基づ!、て、前記第一スライス情 報群取得ステップで取得した第一スライス情報群の各点に新たな色情報を設定し、 第二スライス情報群を取得する第二スライス情報群取得ステップと、
前記第二スライス情報群を出力する変形物体出力ステップを実行させるためのプロ グラム。
[10] コンピュータに、
三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、 前記指示受付ステップで変形指示を受け付けた場合に、格納して!/、る 3Dボタセル 情報に基づ 、て、複数のスライス情報である第一スライス情報群を取得する第一スラ イス情報群取得ステップと、
前記変形指示に基づいて、前記第一メッシュ情報を変形し、変形した形状を構成す る第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
前記第二メッシュ情報に基づいて、前記複数のスライス情報を変形し、新たな複数の スライス情報である第二スライス情報群を取得する第二スライス情報群取得ステップと
前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第ニス ライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を 取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成す る新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、 前記色情報決定ステップで決定した各点の色情報に基づ!、て、前記第二スライス情 報群取得部が取得した第二スライス情報群の各点に新たな色情報を設定し、第三ス ライス情報群を取得する第三スライス情報群取得ステップと、
前記第三スライス情報群を出力する変形物体出力ステップを
実行するためのプログラム。
[11] コンピュータに、
三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、 前記変形指示に基づいて、格納している第一メッシュ情報を変形し、変形した形状を 構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
前記第二メッシュ情報に基づいて、格納している第一スライス情報群を変形し、新た な複数のスライス情報である第二スライス情報群を取得する第二スライス情報群取得 ステップと、
前記第一スライス情報群を構成する複数のスライス情報の中の点であり、前記第ニス ライス情報群を構成する新たな複数のスライス情報の各点に対応する点の色情報を 取得し、当該取得した各点の色情報に基づいて、前記第二スライス情報群を構成す る新たな複数のスライス情報の各点の色情報を決定する色情報決定ステップと、 前記色情報決定ステップで決定した各点の色情報に基づ!、て、前記第二スライス情 報群取得ステップで取得した第二スライス情報群の各点に新たな色情報を設定し、 第三スライス情報群を取得する第三スライス情報群取得ステップと、
前記第三スライス情報群を出力する変形物体出力ステップを
実行するためのプログラム。
[12] 前記指示受付ステップにおいて、
前記変形指示と、視線方向を示す情報である視線ベクトルの入力を受け付け、 前記第一スライス情報群取得ステップにお ヽて、
前記指示受付ステップで変形指示を受け付けた場合に、前記 3Dボタセル情報に基 づ 、て、前記視線ベクトルに対して垂直となる複数のスライス情報である第一スライス 情報群を取得する請求項 9または請求項 10いずれか記載のプログラム。
[13] 前記第一スライス情報群を構成する複数のスライス情報間の間隔は一定である請求 項 9から請求項 12いずれか記載のプログラム。
[14] 前記変形物体出力ステップにおいて、
前記第三スライス情報群を構成する複数のスライスの中で、ディスプレイの奥行きの 深い方のスライス力も順に出力する請求項 9から請求項 13記載のプログラム。
[15] コンピュータに、
三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、 前記変形指示に基づいて、格納されている第一メッシュ情報を変形し、変形した形状 を構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、 格納されて 、る 3Dボタセル情報の全部または一部と、前記第二メッシュ情報に基づ
Vヽて、第二スライス情報群を取得する第二スライス情報群取得ステップと、 前記第二スライス情報群を出力する変形物体出力ステップを実行するためのプログ ラム。
[16] 前記指示受付ステップにおいて、 複数の変形指示を順次受け付け、
三次元の物体の変化を出力するシミュレーションを行う請求項 9から請求項 15記載 のプログラム。
[17] 三次元の物体の変形を指示する変形指示を受け付ける指示受付ステップと、
前記変形指示に基づいて、格納している第一メッシュ情報を変形し、変形した形状を 構成する第二メッシュ情報を取得する第二メッシュ情報取得ステップと、
前記第二メッシュ情報に基づ 、て、色情報を有しな 、複数のスライス情報である第一 スライス情報群を取得する第一スライス情報群取得ステップと、
前記第一スライス情報群を構成する複数のスライス情報の各点であり、前記 3Dボタ セル情報の点に対応する各点の色情報を決定する色情報決定ステップと、 前記色情報決定ステップで決定した各点の色情報に基づ!、て、前記第一スライス情 報群取得ステップで取得した第一スライス情報群の各点に新たな色情報を設定し、 第二スライス情報群を取得する第二スライス情報群取得ステップと、
前記第二スライス情報群を出力する変形物体出力ステップを具備する情報処理方法
[18] 三次元物体の三次元メッシュの情報であるメッシュ情報と、前記三次元の物体のボリ ユームテクスチャである 3Dボタセル情報の全部または一部を対応付けて有する三次 元物体のデータ構造。
PCT/JP2005/014024 2004-08-02 2005-08-01 情報処理装置およびプログラム WO2006013813A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP05767121.6A EP1775685B1 (en) 2004-08-02 2005-08-01 Information processing device and program
US11/659,088 US8149237B2 (en) 2004-08-02 2005-08-01 Information processing apparatus and program
JP2006531455A JP4337987B2 (ja) 2004-08-02 2005-08-01 情報処理装置およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004-225388 2004-08-02
JP2004225388 2004-08-02

Publications (1)

Publication Number Publication Date
WO2006013813A1 true WO2006013813A1 (ja) 2006-02-09

Family

ID=35787098

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/014024 WO2006013813A1 (ja) 2004-08-02 2005-08-01 情報処理装置およびプログラム

Country Status (4)

Country Link
US (1) US8149237B2 (ja)
EP (1) EP1775685B1 (ja)
JP (1) JP4337987B2 (ja)
WO (1) WO2006013813A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015365A1 (ja) * 2005-08-01 2007-02-08 National University Corporation NARA Institute of Science and Technology 情報処理装置およびプログラム
WO2010021309A1 (ja) * 2008-08-22 2010-02-25 国立大学法人奈良先端科学技術大学院大学 手術シミュレーション装置、手術シミュレーション方法およびプログラム
WO2010064718A1 (ja) * 2008-12-02 2010-06-10 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
WO2010113690A1 (ja) * 2009-03-31 2010-10-07 国立大学法人奈良先端科学技術大学院大学 情報処理装置、情報処理方法、およびプログラム
JP2011513776A (ja) * 2008-02-25 2011-04-28 インベンティブ メディカル リミテッド 医療用訓練方法及び装置
JP2013254444A (ja) * 2012-06-08 2013-12-19 Fujitsu Ltd 表示プログラム、表示方法、および表示装置
WO2016143314A1 (en) * 2015-03-11 2016-09-15 Canon Kabushiki Kaisha Data structure of 3d object and 3d data management apparatus
WO2024202189A1 (ja) * 2023-03-29 2024-10-03 富士フイルム株式会社 画像処理装置、方法およびプログラム

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5241357B2 (ja) * 2008-07-11 2013-07-17 三菱プレシジョン株式会社 生体データモデル作成方法及びその装置
CN105741348B (zh) * 2016-01-28 2018-06-12 北京航空航天大学 一种结构自适应的三维模型编辑方法
US11803674B2 (en) * 2019-11-18 2023-10-31 Autodesk, Inc. Dual mode post processing
KR102571744B1 (ko) * 2021-05-06 2023-08-29 한국전자통신연구원 3차원 콘텐츠 생성 방법 및 장치
US20240208067A1 (en) * 2022-12-27 2024-06-27 Intrinsic Innovation Llc Sensor-based adaptation for manipulation of deformable workpieces

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222601A (ja) * 1999-01-29 2000-08-11 Mitsubishi Electric Inf Technol Center America Inc グラフィックオブジェクトの生成方法及び生成システム
JP2002329216A (ja) * 2001-03-09 2002-11-15 Koninkl Philips Electronics Nv 対象物に含まれる三次元画像をセグメント化する方法
JP2003044869A (ja) * 2001-05-24 2003-02-14 Mitsubishi Electric Corp ボリュームポリゴン統合表示装置
JP2004133550A (ja) * 2002-10-08 2004-04-30 Inst Of Physical & Chemical Res 非多様体の陰関数表現方法と陰関数曲面の直接描画方法及びそれらのプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6069634A (en) * 1997-01-08 2000-05-30 Mitsubishi Electric Information Technology Center America, Inl System for rapidly deforming a graphical object
US7079996B2 (en) * 2001-05-30 2006-07-18 Ford Global Technologies, Llc System and method for design of experiments using direct surface manipulation of a mesh model
US6873718B2 (en) * 2001-10-12 2005-03-29 Siemens Corporate Research, Inc. System and method for 3D statistical shape model for the left ventricle of the heart
EP1599833B1 (en) * 2003-02-18 2007-03-21 Philips Intellectual Property & Standards GmbH Image segmentation by assigning classes to adaptive mesh primitives
US7505037B2 (en) * 2004-10-02 2009-03-17 Accuray, Inc. Direct volume rendering of 4D deformable volume images
US7633503B2 (en) * 2005-03-22 2009-12-15 Microsoft Corporation Local, deformable precomputed radiance transfer
US7515954B2 (en) * 2006-06-13 2009-04-07 Rhythmia Medical, Inc. Non-contact cardiac mapping, including moving catheter and multi-beat integration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222601A (ja) * 1999-01-29 2000-08-11 Mitsubishi Electric Inf Technol Center America Inc グラフィックオブジェクトの生成方法及び生成システム
JP2002329216A (ja) * 2001-03-09 2002-11-15 Koninkl Philips Electronics Nv 対象物に含まれる三次元画像をセグメント化する方法
JP2003044869A (ja) * 2001-05-24 2003-02-14 Mitsubishi Electric Corp ボリュームポリゴン統合表示装置
JP2004133550A (ja) * 2002-10-08 2004-04-30 Inst Of Physical & Chemical Res 非多様体の陰関数表現方法と陰関数曲面の直接描画方法及びそれらのプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KAJIHARA K. ET AL: "Kosen Volume Buffer o Mochiita Volume to Polygon no Konzai Scene no Seisei Hoho", ITE TECHNICAL REPORT,, vol. 25, no. 85, 14 December 2001 (2001-12-14), pages 20, XP003005638 *
See also references of EP1775685A4 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007015365A1 (ja) * 2005-08-01 2007-02-08 National University Corporation NARA Institute of Science and Technology 情報処理装置およびプログラム
US8149236B2 (en) 2005-08-01 2012-04-03 National University Corporation NARA Institute of Science and Technology Information processing apparatus and program
JP5130529B2 (ja) * 2005-08-01 2013-01-30 国立大学法人 奈良先端科学技術大学院大学 情報処理装置およびプログラム
US8917916B2 (en) 2008-02-25 2014-12-23 Colin Bruce Martin Medical training method and apparatus
JP2011513776A (ja) * 2008-02-25 2011-04-28 インベンティブ メディカル リミテッド 医療用訓練方法及び装置
JP5131790B2 (ja) * 2008-08-22 2013-01-30 国立大学法人 奈良先端科学技術大学院大学 手術シミュレーション装置、手術シミュレーション方法およびプログラム
WO2010021309A1 (ja) * 2008-08-22 2010-02-25 国立大学法人奈良先端科学技術大学院大学 手術シミュレーション装置、手術シミュレーション方法およびプログラム
US8681152B2 (en) 2008-12-02 2014-03-25 Mitsubishi Precision Co, Ltd. Method for generating model for preoperative simulation
WO2010064718A1 (ja) * 2008-12-02 2010-06-10 三菱プレシジョン株式会社 術前シミュレーションのためのモデル生成方法
WO2010113690A1 (ja) * 2009-03-31 2010-10-07 国立大学法人奈良先端科学技術大学院大学 情報処理装置、情報処理方法、およびプログラム
JP5493178B2 (ja) * 2009-03-31 2014-05-14 国立大学法人 奈良先端科学技術大学院大学 情報処理装置、情報処理方法、およびプログラム
JP2013254444A (ja) * 2012-06-08 2013-12-19 Fujitsu Ltd 表示プログラム、表示方法、および表示装置
WO2016143314A1 (en) * 2015-03-11 2016-09-15 Canon Kabushiki Kaisha Data structure of 3d object and 3d data management apparatus
JP2016170488A (ja) * 2015-03-11 2016-09-23 キヤノン株式会社 ３ｄ物体のデータ構造及び３ｄデータ管理装置
WO2024202189A1 (ja) * 2023-03-29 2024-10-03 富士フイルム株式会社 画像処理装置、方法およびプログラム

Also Published As

Publication number Publication date
EP1775685B1 (en) 2019-07-17
US20090079736A1 (en) 2009-03-26
EP1775685A4 (en) 2010-01-06
JP4337987B2 (ja) 2009-09-30
US8149237B2 (en) 2012-04-03
JPWO2006013813A1 (ja) 2008-05-01
EP1775685A1 (en) 2007-04-18

Similar Documents

Publication Publication Date Title
US8149236B2 (en) Information processing apparatus and program
CN109285225B (zh) 一种基于医学影像的虚拟现实辅助手术的建立方法
JP5814853B2 (ja) 立体モデルデータ生成装置および方法並びにプログラム
CN106875462B (zh) 一种基于元球模型和混合驱动方法的实时数字器官切割方法
JP2010017421A (ja) 生体データモデル作成方法及びその装置並びに生体データモデルのデータ構造及び生体データモデルのデータ格納装置並びに三次元データモデルの負荷分散方法及びその装置
CN108766579B (zh) 一种基于高融合度增强现实的虚拟脑外科手术仿真方法
JP4337987B2 (ja) 情報処理装置およびプログラム
JP2014064957A (ja) 生体データモデル作成方法及びその装置並びに生体データモデルのデータ構造及び生体データモデルのデータ格納装置並びに三次元データモデルの負荷分散方法及びその装置
JP2002306480A (ja) 画像処理装置及びその方法
JP2008292534A (ja) 手術切断運動模擬方法とその装置及び模擬手術接触判定方法とその装置並びに手術切断運動模擬用のデータベース構造
Chen et al. A displacement driven real-time deformable model for haptic surgery simulation
JPH05290174A (ja) 三次元モデルの構造を取扱うためのグラフィックス・ワークステーションおよびモデルの構造の三次元グラフィック画像を生ずる方法
Selmi et al. 3D interactive ultrasound image deformation for realistic prostate biopsy simulation
CN110491517A (zh) 一种三维模型局部半透明显示操作实现方法及装置
Takayama et al. A sketch-based interface for modeling myocardial fiber orientation that considers the layered structure of the ventricles
Inoue et al. Development of surgical simulator with high‐quality visualization based on finite‐element method and deformable volume rendering
Tait et al. Interactive spline modelling of human organs for surgical simulators
Zhu et al. A point-based simulation framework for minimally invasive surgery
JP6243948B2 (ja) 生体データモデルの作成方法及び生体データモデルのデータ格納装置
Sutherland et al. Towards an augmented ultrasound guided spinal needle insertion system
Radetzky et al. Improvement of surgical simulation using dynamic volume rendering
Liu et al. A Haptic System for Drilling into Volume Data with Polygonal Tools.
Nesme et al. Accurate interactive animation of deformable models at arbitrary resolution
Henriques et al. An investigation of meshless deformation for fast soft tissue simulation in virtual surgery applications
Kohout et al. Fast realistic modelling of muscle fibres

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2006531455

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2005767121

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2005767121

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 11659088

Country of ref document: US