[go: up one dir, main page]

WO1995023364A2 - Ccd-sensorsystem für bahnverfolgung von handhabungssystemen - Google Patents

Ccd-sensorsystem für bahnverfolgung von handhabungssystemen Download PDF

Info

Publication number
WO1995023364A2
WO1995023364A2 PCT/DE1995/000230 DE9500230W WO9523364A2 WO 1995023364 A2 WO1995023364 A2 WO 1995023364A2 DE 9500230 W DE9500230 W DE 9500230W WO 9523364 A2 WO9523364 A2 WO 9523364A2
Authority
WO
WIPO (PCT)
Prior art keywords
image
line
lines
sensor
ccd
Prior art date
Application number
PCT/DE1995/000230
Other languages
English (en)
French (fr)
Other versions
WO1995023364A3 (de
Inventor
Heinrich Bednarek
Original Assignee
Gfr Gesellschaft Fur Regelungstechnik Mbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from DE4405865A external-priority patent/DE4405865C2/de
Application filed by Gfr Gesellschaft Fur Regelungstechnik Mbh filed Critical Gfr Gesellschaft Fur Regelungstechnik Mbh
Publication of WO1995023364A2 publication Critical patent/WO1995023364A2/de
Publication of WO1995023364A3 publication Critical patent/WO1995023364A3/de

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Definitions

  • a path control that calculates the contour to be traversed solely from the data of a CAD system or from subsequently learned base values can no longer meet the increased demands on flexibility.
  • a sensor-assisted path correction or a sensor-guided path tracking is required.
  • e.g. B. laser distance sensors or CCD line scan cameras are used.
  • an object of the invention to improve the speeds (or: sampling rates) of known sensors without increasing the measurement or evaluation effort and getting to certain image areas as often as possible; consequently, only the accelerated acquisition of the required image content (lines or partial images).
  • the invention proposes a multitude of possibilities (claim 1, claim 10, claim 13, claim 15, claim 20 and claim 21), which are further specified with the respective dependent claims. All of these solutions have in common that it is avoided to first read out those image contents from the CCD charge image area (image zone) in order to subsequently convert a large part of the time-consuming image information into measured values. Rather, only the required partial area, which can also be individual lines or parts of lines, is read out, while the rest of the image is still deleted in the image zone.
  • the anti-blooming electrode can be used for deletion, contrary to its actual purpose.
  • the memory zone of the CCD image sensor can be omitted and the readout register can be arranged directly on the image zone (claim 13).
  • the image section essential for the measurement changes (claim 22), it can be in its size and position can be tracked.
  • the "dynamically changeable image windows" formed in this way are each read out in such a way that time-consuming reading and moving from the image zone into the storage zone is kept as short as possible.
  • the change in the readout direction of the readout register can also be used for acceleration.
  • the invention proposes the fast measuring system for the autonomous detection of trajectories by robots; the measuring system consists of an image sensor and a projector for structured illumination of the object surface. With this measuring system, five degrees of freedom in space can be measured in real time.
  • any two image lines can be read out in a time pattern of 1 ms.
  • the intended goal of building a fast measuring system for (autonomous) contour tracking with an industrial robot is thus achieved according to the invention.
  • the camera (the "image sensor") is equipped with maximum flexibility, so that the built-up sensor can be used universally. Pattern recognition, quality control and other typical tasks for CCD image sensors are areas of application of the invention.
  • the high level of flexibility also opens up new areas of application for the use of CCD image sensors, partly in areas that were previously only reserved for CCD line sensors. The large gap between image and line sensors can thus be almost completely eliminated.
  • transputer as a microcontroller offers a simple and fast interface for coupling the sensor to a transputer network or to any other device that has a link interface (e.g. a PC with a link adapter) via a link connection.
  • link interface e.g. a PC with a link adapter
  • a camera can be used as the sensor, which is modified and adapted in accordance with the proposals of the invention, and a bare lens with a CCD chip arranged behind it can also be provided.
  • control electronics can also be used for other CCD sensors, which could be shown in practical tests with the TH 7864A (from Thomson).
  • a "universal sequencer" can be implemented that flexibly supports most common CCD sensors. Hardware changes would then only result in the implementation of different sensor interface components.
  • a CCD image sensor At the core of a camera is a CCD image sensor with, for example, 768 * 576 pixels, control electronics specially developed for the CCD chip, and coordinated electronics digital evaluation electronics. These components enable targeted and time-optimal reading of the required image sections from the image matrix. So z. B. the first image line can be read up to 2500 times per second. All other image lines are already deleted in the sensor in order to save the otherwise required readout time (claim 2). Two freely selectable image lines can be read out and processed every millisecond.
  • the projector projects e.g. six (thin) measuring lines arranged substantially perpendicular to the image lines on the surface of the object to be measured.
  • a line detection algorithm determines the high-resolution positions of the
  • Measuring line centers The coordinates of points on the object surface can be calculated from the intersections between the measurement lines displayed on the sensor and the evaluated image lines using a simple triangulation method - similar to a laser distance sensor.
  • the measuring system thus simulates a matrix of n * m laser distance sensors, where n is the number of projected measuring lines and m is the number of evaluated image lines.
  • the position of a significantly stronger line on the object can be recognized. If the coordinates of several object points in the vicinity of this line have been measured, the coordinates of a line point on the object can be determined with high accuracy by interpolation between the corresponding image points and the intersection of the line with an image line on the sensor.
  • the measuring method is used for the autonomous tracking of web markings on spatial surfaces with an industrial robot. Five spatial degrees of freedom can be measured and made available for control in the Cartesian control loop or for path planning.
  • the measurable degrees of freedom are:
  • the remaining sixth degree of freedom - the feed direction v along the path marking B - is not regulated.
  • a feed rate v is explicitly specified by the path control.
  • the orientation of the robot hand 1 can e.g. B. be regulated so that a Tool is always aligned perpendicular to the object surface and the x-axis of the hand-specific coordinate system points exactly in the direction of movement along path B.
  • the evaluation of only two image lines is sufficient.
  • the actual position of the robot hand 1 relative to the path marking B is detected with the first image line.
  • the position of a point of path B lying further ahead can be determined from the second, leading image line (the point is formed by the intersection of the scanning line and the path curve).
  • This data can be used for path planning and pilot control concepts.
  • the quality of the feedforward control can be increased by evaluating a third, trailing line.
  • the measuring frequency of 1 kHz achieved with the measuring system corresponds to the interpolation cycle (lms) of an experimental robot controller based on transputer.
  • Figure 1.1 shows schematically the viewing angles of the projector for the measuring lines and the camera with the CCD sensor.
  • the viewing angles of the camera and projector are at a fixed angle and look at the object along the path tracking line, which is to be recognized and tracked, with an essentially identical section.
  • the dark area in Figure 1.1 projects measurement lines or other symmetrical structures onto the surface of the measurement object.
  • the camera detects these measuring lines together with the path curve running between two of the measuring lines (cf. also FIG. 2.2).
  • the scanning direction a of the line-oriented CCD chip runs perpendicular to the measuring line direction and approximately perpendicular to the path line direction B.
  • the viewing angle of the optics of the camera is shown in light gray in Figure 1.1.
  • Figure 1.2 illustrates the movement of the object with its surface and the resulting overlap of the viewing angles of the projector and camera.
  • FIG. 2.1 is an enlargement in a schematic representation of the front end of a robot hand 1.
  • the camera 4 outlined in the previously mentioned figures with a CCD image sensor 5 and lens 6 is arranged on it, while at the angle to the central axis of the camera 4 the measuring line Projector housing 8 is arranged with its condenser lens 9, the measuring slide 10 defining the line structure and the imaging lens 11.
  • the reading of the image zone of the CCD chip 5 is synchronized with the stroboscopic illumination of the surface, so that the influence of extraneous light can be suppressed.
  • the measuring device 4 and 8 moves together with it, since the projector and camera are arranged in a common housing 3 or on a common mounting plate of this housing 3.
  • the mounting plate 3 is immovably fixed to the robot hand via a flange 2.
  • the measuring lines l j to lg can be dark lines, while the remaining field is brightly illuminated.
  • the contour of the trajectory B runs within two measuring lines, the course between the measuring lines I3 and I4 is shown.
  • the length of the measuring lines in the direction of movement v of the robot hand 1 can be made dependent on how strongly curved the trajectory B is.
  • the accelerating suggestions are presented by way of example in order to enable time-optimal reading out of only a few required image lines from a CCD image sensor.
  • the procedures are e.g. particularly efficient with the THX 7868A or TH 7864A from Thomson.
  • Image sensors are generally adapted to the duration of the display of a television picture.
  • the image is read out in two successive fields (interline method), the readout time being 20 ms for each field. 40ms are required for a complete picture. This factor alone limits the measuring rate to a maximum of 25 measurements per second - theoretically.
  • Image information already deleted in the sensor in order to save the readout and processing time. This means that access (only) to the required data is time-optimized.
  • the proposals of the inventions were tested with a six-axis articulated arm robot.
  • the image information from two to three (preferably arbitrarily selectable) image lines are required.
  • the path contour B or measuring line is resolved with sufficient accuracy (1 measuring point / mm). This results in a measuring rate of 1000 measurements per second. This measuring rate corresponds to the interpolation cycle of the aforementioned control on a transputer basis.
  • a typical frame transfer image sensor is shown in simplified form in FIG. 3.1. It consists of the following functional units:
  • an image zone which is formed from a two-dimensional matrix of individual image elements (pixels);
  • the image and storage zones are largely identical. However, the storage zone is covered by an opaque layer, so that incident light has no effect there. Furthermore, all devices for exposure control are missing in the storage zone since they are not required there.
  • the charges generated in the image zone by the action of light can be shifted vertically within the two zones using clock signals (usually four phase-shifted by 90 °) according to the bucket chain principle. Separate clock signals (P clocks and M clocks) are available for the image and memory zone, so that the charges in the memory zone can also be moved separately without influencing the charges in the image zone.
  • the charges from the line that directly adjoins the readout register can be pushed into the readout register in a single step. In the readout register, they can then be transported horizontally to an output stage by means of further clock signals (L clocks).
  • the output stage converts the charge packets into a voltage proportional to the amount of charge, which can be tapped at the video output of the sensor.
  • Figure 3.2 shows the chronological sequence of an image recording and the subsequent reading process.
  • the senor is exposed for the first time.
  • the charge carriers generated by exposure to light are so-called.
  • the charges are transferred vertically from the image zone to the storage zone (e and f).
  • the transfer typically takes about 350 ⁇ s.
  • charges are still generated by exposure to light, which are also integrated and smear the image slightly (smearing effect).
  • the influence of the smear effect becomes more important the further the exposure time is reduced with the help of the electronic shutter. Extremely bright pixels can also cause a clearly visible tail (drag effect).
  • the image is completely in the storage zone, the first image line being located directly on the readout register. This is followed by line-by-line reading of the image from the memory zone via the read-out register to the output stage. In the time required for this - in parallel to this - the next picture in the Image zone integrated (g to i). After the reading process has ended, the state shown in (d) is reached again and the cyclical process begins again.
  • Figure 3.3 illustrates the results when the entire middle third of the image is pushed together in the readout register in order to access the image content in the last third of the image more quickly.
  • the area shown in black in the picture represents the collapsed area.
  • the picture as a whole is quite dark, a large part of the last section of the picture is "flooded" with charges.
  • the last step can also be omitted.
  • An electronic shutter for setting the exposure time can be implemented by means of the anti-blooming unit controlling the drain. By raising the potential well bottoms to the level of the potential wall - the potential wells then disappear completely - all the charges generated by exposure to light flow immediately into the anti-blooming drain. The potential well bottoms are raised by placing all four P cycles at the same, appropriately selected potential. The integration of the optically generated charges only begins when the potential well bottoms are lowered again. With the electronic shutter, extremely short exposure times of a few microseconds can be achieved.
  • Activating the electronic shutter function immediately before the vertical transfer of the image from the image to the storage zone provides an absolutely black image. This could be demonstrated by tests on the sensors TH 7864A and THX 7868A. This opens up the possibility of activating the shutter function during the vertical transfer, immediately after the transfer of a specific, freely selectable line from the image zone to the memory zone, which results in the deletion of the residual image that is still in the image zone. The part of the image already in the storage zone is in no way affected.
  • the shutter function can thus be used to set the number of m rows to be read (0 ⁇ m ⁇ 292 for TH 786A).
  • Figure 3.4 illustrates the reading cycle described, in which, for example, only the first half of the image is read out.
  • a vertical transfer of the first 146 lines into the storage zone is first carried out (b).
  • the P clocks are stopped and the remaining field in the image zone is deleted with the anti-Bloomin unit (c).
  • the anti-Bloomin unit During the period of only a few microseconds
  • the drawing file to be read is shifted further in the direction of the reading register (d). Deleting effectively does not contribute to the total readout time.
  • the deletion process the integration of the next image begins in the image zone. This process in turn runs simultaneously with the reading out of the first half of the image from the memory zone (e, f).
  • a special feature of the THX 7868A CCD image sensor is a so-called windowing device (windowing device), with which any image lines can be completely deleted individually and in just 2 ⁇ s. In contrast, reading out a line takes approx. 64 ⁇ s.
  • the windowing unit is a quenching device arranged parallel to the readout register. It essentially consists of the windowing drain, which is separated from the readout register by the windowing gate. During normal operation, a potential is applied to the windowing gate, which creates an insurmountable potential barrier for the charges contained in the readout register. When the potential barrier is lowered by a suitable voltage control of the windowing gate, the charges flow out of the readout register into the windowing drain, which is equivalent to deleting the line information.
  • a targeted control of the windowing gate consequently allows the quick deletion of individual image lines and areas, which saves the high expenditure of time for the serial reading out of the image lines in question.
  • the windowing unit can be used to clean parts of a line properly. This results in the possibility of only reading out the first n pixels (0 ⁇ n ⁇ 845) of a line which contain relevant information. The part of the line that is not required (the last 845-n pixels) can be deleted in order to save even more time.
  • the THX 7868 A has a second output stage, which is constructed analogously to the first stage, but with the difference that it is connected to the last instead of the first picture element of the readout register.
  • the horizontal transfer direction can be influenced by suitable control of the shift clocks on the readout register. By reversing the normal shift direction, the line information is passed to the second output stage in reverse order. An image read out via this output appears horizontally mirrored. If the desired image contents are more in the left half of the image, the lines are read out normally. However, if the information is predominantly on the right in the picture, the lines are read out mirrored.
  • the Mirroring function can be used to get the desired information of an image even faster.
  • the windowing function of the sensor is advantageous for the intended application.
  • the so-called tracking function may be mentioned here as an example.
  • a z. B. particularly bright point can be tracked due to the fast achievable image sequence with a high temporal and spatial resolution.
  • the image section can be tracked in real time - following the position of the point - the required window size and position can be selected depending on the current speed and direction of movement ( Figure 3.6).
  • interesting areas of application are conceivable for this, for example motography.
  • the storage zone can be omitted.
  • sequence control units were designed as simple Mealy machines, which are housed in a total of five AMD type MACH210-15 PLD modules.
  • the camera electronics contain their own microcomputer based on transputer.
  • the IMS T222 is above the system logic in the hierarchical structure of a parent
  • Transputer node embedded as a subordinate node (down system).
  • the transputer receives control commands from a controlling transputer via link 0.
  • This is generally the transputer of the frame grabber assembly.
  • the camera can also be controlled by any other transputer module or by a PC with a link adapter. The only requirement for this is that the link connection must be made differentially, since the link drivers are specified in accordance with the RS422 standard. Differential transmission was chosen because it is particularly robust against electromagnetic interference. It ensures trouble-free operation in the severely disturbed environment.
  • the camera sequencer can be programmed and controlled by the transputer via the 2048- 16 bit (4 kByte) large two-port memory and the four 16 bit registers. For practical use of the camera, this means that the reading of each image from the CCD sensor can be programmed individually. The mentioned tracking function is thus directly supported by the sequencer.
  • the digital clock signals generated by the sequencer for the CCD sensor are transmitted to the camera via coaxial cables. There they are converted by the sensor interface to the voltage level as specified for the sensor control in the data sheet. The sensor interface also ensures that the required steepness is observed.
  • a camera sequencer was built, which can perform several simple basic functions in three time levels, the sequence of which can be modified by programming. The three time levels are justified as follows:
  • Figure 4.4 gives an overview of the function blocks of the camera sequencer.
  • Sequencer is made up of two control units, which are arranged hierarchically, but otherwise work largely independently of one another. It generates 16 different digital control clocks for time-optimized reading of the relevant image sections and for deleting all unnecessary image areas. Different sub-functions of the control units are generated depending on programmable input parameters and input flip-flops.
  • the two shutter registers are used for electronic exposure time control.
  • the exposure counter is loaded with the content of a shutter register.
  • the exposure counter is then counted down to zero with a clock cycle of approximately 533 ns.
  • the formation of potential pots is prevented by suitable control of the P clocks, so that all generated charges flow into the anti-blooming drain and the integration of an image is prevented (electronic shutter).
  • the integration of the image is released.
  • the exposure release is also used as an external signal to control a stroboscopic light source 7, so that the flash light can be fired at exactly the right time - at the beginning of the exposure.
  • the two shutter registers can be programmed independently of one another for delay times of different lengths. For example, it is conceivable to record a scene in two successive fields under different lighting conditions. Is z. For example, if a shutter register is initialized with the value zero and the other with a value that leads to an exposure time of only 100 ⁇ s, the image scene is recorded in one image in daylight or ambient light, while the scene in the following image with - possibly structured - flash light is recorded. The influence of daylight and ambient light is practically completely suppressed when taking flash pictures due to the short exposure time.
  • the initialization of the sequencer by setting this bit after switching on the camera or after a reset ensures a defined start of the control units and is used for synchronization with the transputer.
  • the sequence control unit, the clock control unit and all counters are reset to the basic state. All clocks and other output signals are set to a defined, non-critical resting potential. After the reset, the start bit must be set for a defined start of the sequencer.
  • Figure 4.5 shows the assignment of the bits of a single line parameter register.
  • the least significant 10 bits are used to load the pixel counter that decides the number of pixel output cycles for the current line. After the programmed number of pixels has been output, the windowing unit is activated and the rest of the line is deleted.
  • Each line can be output to either the left or right sensor output.
  • the bit informs the control unit of the desired shift direction. If the bit is set, the line is read out in the normal direction via VOS1. If the bit is deleted, the line is read out in the opposite direction via VOS2.
  • the control unit automatically takes into account the different number of irrelevant pixels at the beginning and end of the line.
  • a picture line sets namely consists of 845 pixels, with only 768 pixels containing image information. The remaining pixels are used as so-called pre-scan, post-scan and dark reference pixels.
  • the sequencer only signals the output of the relevant image pixels via the interface to the "frame grabber" (partial image capturer).
  • the frame grabber does not process the irrelevant pixels at all.
  • the bit must be set in the last line to be processed because it instructs the sequencer to end the frame cycle and start the next frame cycle.
  • the bit signals the sequencer whether the line should be read out or deleted. If the bit is set, the image line is read out up to the programmed number of pixels. Otherwise the line is deleted immediately instead of the horizontal transfer by activating the windowing unit. The next line is then processed.
  • the control unit reads the image from the CCD sensor in a time-optimized manner as follows:
  • the storage zone is completely cleared. The next image has already been exposed in the image zone and can be read out.
  • the external synchronization mechanism for triggering the readout process (signal start image cycle in Figure 4.1) and the signal for synchronous activation of a Stroboscopic lighting can be used to implement an operation that is synchronized with the scanning and regulating cycle of the robot controller.
  • the functions of the flexible camera described are particularly effective with a suitably tailored "universal frame grabber" for digitizing the image data.
  • a frame grabber must be able, in deviation from the "grabbing" of a full image, also to correctly process the image segments supplied by the camera and in some cases not connected.
  • a suitable interface between camera and grabber is being worked out.
  • the interface between the camera and the grabber consists of seven signal lines ( Figure 5.2).
  • five other control signals are transmitted from the camera to the grabber so that the sequence control unit of the grabber can understand the image output from the camera in all possible operating modes.
  • the five control lines have the following functions:
  • An image synchronizing signal is transmitted at the beginning of each image cycle (for one field).
  • the signal causes the controller to begin "grabbing" a new image.
  • the line counter of the control unit is reset.
  • the signal is required to be able to distinguish between the two successive fields (with even and odd picture lines in CCIR TV mode). If field 1 is active, the digitized image data are written in odd line positions in the image memory, otherwise the even line positions are written.
  • a line synchronizing signal is transmitted at the beginning of each line cycle.
  • the signal causes the grabber to increment the line counter and reset the pixel counter.
  • the subsequent digitized pixels are thus entered in the next "line” in the grabber's image memory.
  • the pixel shift clock PHI was derived from the signal F2L, which is generated by the camera control electronics.
  • This synchronization signal is applied directly to the clock input of the A / D converter of the grabber.
  • the signal can be varied in phase to compensate for runtime effects in the transmission line from the camera to the grabber. This ensures an exact pixel-synchronous sampling of the video signal.
  • the signal is required to distinguish between valid pixels and pre, post or dark reference pixels.
  • the incoming pixels are only relevant pixels if this signal is active.
  • the signal is deactivated during the output of the pre-, post- and dark reference pixels of a line, so that these pixels are not digitized by the grabber or transferred to the image memory.
  • the camera sequencer can read out the CCD image sensor cyclically. If the signal is deactivated, the camera sequencer stops after processing the current image cycle. With a short pulse on this signal line, a single image cycle of the camera can be triggered from the grabber. This means that the frame rate of the camera can be set as long as the period is not chosen to be shorter than the time required by the camera sequencer for the output of all desired parts of the image.
  • the image sequence can be z. B. synchronize with the sampling and control cycle of the robot controller, or an extremely short sequence of images can be realized, for. B. for time-lapse recordings.
  • the frame grabber contains a programmable, autonomously operating sequence control unit for the cyclical acquisition of the image information supplied by the sensor.
  • the video signal is digitized in 256 shades of gray.
  • the frame grabber maps the physical pixel matrix of the CCD sensor as a virtual pixel matrix in a 1 Mbyte two-port memory. One byte in the frame grabber's memory thus corresponds to each pixel of the pixel matrix in the CCD sensor.
  • the grabber is also equipped with a transputer (IMS T805) and 4 MB of RAM, so that it can program and monitor the camera functions via a link.
  • the transputer has direct access to the digitized image data via the two-port memory. He can transfer them over several link connections with a considerable transmission bandwidth into another transputer network for real-time data processing (transputer 1, 2, n).
  • the complete reading of an image is announced to the transputer by means of an image interrupt generated by the sequence control unit in order to achieve short run times and thus short response times of the control.
  • Reading the image data into the memory of the frame grabber can be compared to writing to a paper page with a printer (eg a typewriter printer): * After receiving the image synchronization signal New Image, the grabber positions the write pointer at the first pixel position in the first line of the virtual pixel matrix - depending on the signal field on the first odd or on the first even line. This step is comparable to feeding paper into the printer and aligning the printhead to the first writing position.
  • a printer eg a typewriter printer
  • Digitized pixels are written sequentially in successive byte positions until a line synchronization signal new line (corresponding to a line return at the printer) is received. Under no circumstances does a complete image line always have to be transmitted. Rather, the number of pixels read in each image line may vary as desired.
  • the "universal frame grabber" presented here is able to correctly read any image format from an 1 * 1 image matrix to a 1024 * 1024 image matrix without reprogramming the control unit. It thus directly supports different CCD sensors, especially the THX 7868A with 768 * 576 pixels. Successive lines may vary in length as desired.
  • the control unit automatically writes the image information precisely to the positions in the two-port memory which correspond to the physical pixel positions in the CCD image sensor.
  • the grabber and camera form a particularly powerful unit for advanced real-time image data acquisition and image processing.
  • each line can be programmed individually for non-mirrored reading via VOS1 or mirrored reading via VOS2.
  • VOS1 mirrored reading via VOS2.
  • all lines were read out normally, in the second fifth of the picture each straight line was read out mirrored.
  • all lines in the following part of the picture only the odd lines were read in mirror image.
  • the bottom section contains only non-mirrored picture lines.
  • the mirroring function is e.g. of interest for the optimal implementation of the tracking function (see Figure 3.6).
  • the function of the windowing unit is illustrated in FIG. 6.2.
  • the enlargement of an image shows the transition area between the completely deleted half of a camera image and the subsequent second half of the image, that was read out.
  • the first line read is not lighter than the following lines, which suggests that all charges from the deleted lines have actually been completely deleted (see Figure 3.3; problems with the TH 7864 without a windowing unit).
  • the first line read is also not darker than the following lines, which proves that the windowing function switches between deleting and reading out in good time, so that the information in the first useful line is not or is not affected by the deletion of the previous line partially deleted with.
  • Figure 6.4 illustrates that the number of pixels to be read out can be set individually for each line.
  • the black areas indicate parts of the image that have not been read from the CCD sensor but have already been deleted in the sensor.
  • the readout times saved for each incompletely read line add up, so that the readout time is shorter, the larger the black areas.
  • the areas of interest in an image can thus always be read out in a time-optimized manner.
  • the effective pixel matrix of the sensor can be programmed between 1 * 1 and 768 * 576 pixels depending on the task and real-time requirement.
  • Figure 6.5 was created by scanning with (only) line 147.
  • the image sequence was set to 1000 image cycles per second by synchronization with a robot controller - this corresponds to the interpolation cycle of the robot controller.
  • the playing card was swiftly swiped from top to bottom.
  • the edge of the card reached the "sensitive" line 147, the brightness reflex was registered by the grabber and the evaluation of 1024 successive image lines was triggered every millisecond.
  • the frame grabber digitized the incoming image lines and copied them from the image memory into successive line positions in the main memory.
  • the sequence of 1024 image lines resulted in the displayed scan image with 1024 * 768 pixels.
  • Figure 6.6 shows the time required to read 1 to 3 image lines, depending on the number of the last image line read out.
  • FIG. 6.7 shows the time required for reading out any n as well as the n first lines in a time-optimized manner.
  • the measuring system based on the camera uses only three freely selectable image lines of the line-oriented image sensor (CCD sensor) for the measurement of five spatial degrees of freedom with a measuring rate of 1000 measurements per second (sampling frequency of 1 kHz).
  • CCD sensor line-oriented image sensor
  • the middle line records the actual position of the tool reference point of the robot, the position of which is regulated relative to the path line.
  • a trailing line finally supports the measurement of some parameters, whereby the measurement accuracy can be increased.
  • the choice of the leading and trailing line can be dynamically adapted to the course of the web and the current web speed.
  • This performance result is potentiated by an interpolation. It is used to measure and process the distance between the point Z of the trajectory B lying in the scanning line a between various of the other measuring lines l j ⁇ > 1:
  • there are 18 possibilities to calculate the position of Z (from l j to I4, from I2 to I4, from I3 to I4; from l j to I5, from I2 to I5, from I3 to I5; etc.). If an average is formed from this multitude of measured values - one interpolates - the position of Z can even be given on the basis of the center point of the width of the trajectory B. Even wide, even irregular train lines are compensated.
  • One (of many) algorithms for interpolation is given in Figure 1.1.
  • the frame grabber can also be used for a wide variety of other tasks, especially for tasks that require the rapid provision of data from selected image areas or from a few freely selectable lines.
  • the camera has decisive advantages over conventional CCD full-frame and line cameras due to its high flexibility.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung schlägt ein schnelles Messsystem für die autonome Erfassung von Bahnkurven von Robotern vor; das Messsystem besteht aus einem Bildsensor (4, 5) und einem Projektor (7 bis 11) zur strukturierten Beleuchtung der Objektoberfläche. Mit diesem Messsystem können fünf Freiheitsgrade im Raum in Echtzeit gemessen werden.

Description

CCD-Sensorsystem für Bahnverfolgung von Handhabungssystemen
An heutige Robotersysteme werden immer höhere Anforderungen bezüglich ihrer Bearbeitungsflexibilität gestellt. Aufgaben, für die der Roboter sämtliche sechs räumlichen Freiheitsgrade beherrschen muß, treten immer häufiger auf. Eine Bahnsteuerung, die die abzufahrende Kontur allein aus den Datenbeständen einer CAD- Anlage oder aus nachträglich gelernten Stützwerten errechnet, kann den erhöhten Anforderungen an die Flexibilität nicht mehr gerecht werden. Oft tritt das Problem auf, daß die zu bearbeitenden Teile prozeßbedingt unterschiedlich positioniert werden, so daß die Bahnkontur Streuungen unterworfen ist, oder die abzufahrende Kontur ist vorab überhaupt nicht bekannt. Spätestens dann ist eine sensorgestützte Bahnkorrektur bzw. eine sensorgef hrte Bahnverfolgung erforderlich. Für diesen Zweck werden z. B. Laserabstandssensoren oder CCD-Zeilenkameras eingesetzt. Diese Sensoren haben die Nachteile, daß sie entweder nur wenige Freiheitsgrade gleichzeitig messen können oder eine für Echtzeitanforderungen zu geringe Meßrate erreichen. Um diese Defizite auszugleichen, werden manchmal Systeme mit mehreren gleichen oder unterschiedlichen Sensoren aufgebaut. Solche "Multi-Sensorsysteme" erreichen schnell eine kaum zu beherrschende Komplexität.
Es ist daher u. a. eine Aufgabe der Erfindung, die Geschwindigkeiten (oder: Abtastraten) von bekannten Sensoren zu verbessern, ohne den Meß- oder Auswertungsaufwand zu vergrößern und sooft als möglich an bestimmte Bildbereiche zu gelangen; mithin nur die jeweils benötigten Bildinhalte (Zeilen oder Teilbilder) beschleunigt zu erfassen.
Dazu schlägt die Erfindung eine Vielzahl von Möglichkeiten vor (Anspruch 1, Anspruch 10, .Anspruch 13, Anspruch 15, Anspruch 20 und Anspruch 21), die mit den jeweiligen abhängigen Ansprüchen weiter konkretisiert werden. All diese Lösungen haben gemeinsam, daß vermieden wird, diejenigen Bildinhalte zeitintensiv aus dem CCD-Ladungsbild-Bereich (Bildzone) erst herauszulesen, um hinterher ein Großteil der zeitintensiv gelesenen Bildinformation gar nicht in Meßwerte umzusetzen. Vielmehr wird nur der benötigte Teilbereich, dies können auch einzelne Zeilen oder Teile von Zeilen sein, ausgelesen, während der Rest des Bildes noch in der Bildzone gelöscht wird.
Zum Löschen kann die Anti-Blooming-Elektrode entgegen ihrem eigentlichen Verwendungszweck eingesetzt werden.
Zum Beschleunigen des Auslesens kann die Speicherzone des CCD-Bildsensors entfallen und das Ausleseregister unmittelbar an der Bildzone angeordnet werden (Anspruch 13).
Verändert sich der für die Messung wesentliche Bildausschnitt (Anspruch 22), so kann er in seiner Größe und in seiner Position nachgeführt werden. Die dabei gebildeten "dynamisch veränderbaren Bildfenster" werden jeweils so ausgelesen, daß ein zeitintensives Auslesen und Verschieben aus der Bildzone in die Speicherzone so kurz als nur irgend möglich gehalten wird. Zur Beschleunigung kann auch die Änderung der Ausleserichtung des Ausleseregisters (Anspruch 24) dienen.
Die Erfindung schlägt das schnelle Meßsystem für die autonome Erfassung von Bahnkurven von Robotern vor; das Meßsystem besteht aus einem Bildsensor und einem Projektor zur strukturierten Beleuchtung der Objektoberfläche. Mit diesem Meßsystem können fünf Freiheitsgrade im Raum in Echtzeit gemessen werden.
Mit dem hier vorgeschlagenen Bildsensor können zwei beliebige Bildzeilen in einem Zeitraster von 1ms ausgelesen werden. Das anvisierte Ziel, ein schnelles Meßsystem für die (autonome) Konturverfolgung mit einem Industrieroboter aufzubauen wird erfindungsgemäß somit erreicht. Darüber hinaus ist die Kamera (der "Bildsensor") mit höchster Flexibilität ausgestattet, so daß der aufgebaute Sensor universell einsetzbar ist. Mustererkennung, Qualitätskontrolle und andere typische Aufgaben für CCD-Bildsensoren sind Anwendungsgebiete der Erfindung. Die hohe Flexibilität eröffnet zusätzlich neue Anwendungsgebiete für den Einsatz der CCD-Bildsensoren, teilweise auf Gebieten, die bisher nur den CCD-Zeilensensoren vorbehalten waren. Die große Kluft zwischen Bild- und Zeilensensoren kann damit fast vollständig beseitigt werden.
Die Verwendung eines Transputers als MikroController bietet mittels einer Link- Verbindung eine einfache und schnelle Schnittstelle zur Kopplung des Sensors an ein Transputernetzwerk oder an jedes andere Gerät, das über ein Link-Interface verfügt (z. B. ein PC mit Link- Adapter).
Als Sensor kann eine Kamara Einsatz finden, die entsprechend den Vorschlägen der Erfindung modifiziert und adaptiert ist, ebenso kann auch eine bloße Optik mit dahinter angeordnetem CCD-Chip vorgesehen sein.
Die Ansteuerelektronik läßt sich mit wenigen Änderungen auch für andere CCD-Sensoren verwenden, was in praktischen Versuchen mit dem TH 7864A (von Thomson) gezeigt werden konnte. Ein "Universal-Sequenzer" wird realisierbar, der die meisten gängigen CCD-Sensoren flexibel unterstützt. Hardwareänderungen ergäben sich dann lediglich bei der Realisierung unterschiedlicher Sensor-Interface-Komponenten.
Den Kern einer Kamera bildet ein CCD-Bildaufnehmer mit z.B. 768*576 Bildpunkten, eine für den CCD-Chip speziell entwickelte Ansteuerelektronik sowie eine darauf abgestimmte digitale Auswerteelektronik. Diese Komponenten ermöglichen das gezielte und zeitoptimale Auslesen der jeweils benötigten Bildausschnitte aus der Bildmatrix. Damit kann z. B. die erste Bildzeile bis zu 2500 mal pro Sekunde ausgelesen werden. Alle weiteren Bildzeilen werden dabei bereits im Sensor gelöscht, um die sonst erforderliche Auslesezeit einzusparen (Anspruch 2). Zwei beliebig wählbare Bildzeilen können im Millisekundentakt ausgelesen und verarbeitet werden.
Der Projektor projiziert z.B. sechs zu den Bildzeilen im wesentlichen senkrecht angeordnete (dünne) Meßlinien auf die Oberfläche des zu vermessenden Objekts. Ein Linienerkennungsalgorithmus ermittelt die hochaufgelösten Positionen der
Meßlinienmittelpunkte. Aus den Schnittpunkten zwischen den auf dem Sensor abgebildeten Meßlinien und den ausgewerteten Bildzeilen lassen sich mit einem einfachen Triangulationsverfahren - ähnlich wie bei einem Laserabstandssensor - die Koordinaten von Punkten auf der Objektoberfläche berechnen. Das Meßsystem simuliert somit eine Matrix aus n*m Laserabstandssensoren, wobei n die Anzahl projizierter Meßlinien und m die Anzahl ausgewerteter Bildzeilen ist.
Zusätzlich kann die Position einer deutlich stärkeren, sich auf dem Objekt befindenden Linie (Bahnmarkierung oder Objektkontur) erkannt werden. Sind die Koordinaten mehrerer Objektpunkte in der Nähe dieser Linie gemessen worden, können durch Interpolation zwischen den entsprechenden Bildpunkten und dem Schnittpunkt der Linie mit einer Bildzeile auf dem Sensor die Koordinaten eines Linienpunktes auf dem Objekt mit hoher Genauigkeit ermittelt werden.
Das Meßverfahren wird für die autonome Verfolgung von Bahnmarkierungen auf räumlichen Oberflächen mit einem Industrieroboter eingesetzt. Hierfür können fünf räumliche Freiheitsgrade gemessen und für die Regelung im kartesischen Regelkreis bzw. für eine Bahnplanung bereitgestellt werden.
Die messbaren Freiheitsgrade sind:
* die seitliche Abweichung der Roboterhand von der Bahnmarkierung (y-Komponente)
* die Entfernung der Roboterhand zur Objektoberfläche (z-Komponente)
* die vollständige Orientierung der Roboterhand bezüglich einer sich auf dem Objekt befindenden Bahnlinie (Winkel , ß und γ entsprechend den Drehungen um die Koordinatenachsen xh, yh und zh des handspezifischen Koordinatensystems).
Der verbleibende sechste Freiheitsgrad - die Vorschubrichtung v längs der Bahnmarkierung B - wird nicht geregelt. Eine Vorschubgeschwindigkeit v wird von der Bahnsteuerung explizit vorgegeben. Die Orientierung der Roboterhand 1 kann z. B. so geregelt werden, daß ein Werkzeug stets senkrecht zur Objektoberfläche ausgerichtet ist und die x- Achse des handspezifischen Koordinatensystems genau in Bewegungsrichtung längs der Bahn B zeigt.
Zur Messung der fünf Freiheitsgrade genügt die Auswertung von nur zwei Bildzeilen. Mit der ersten Bildzeile wird die Ist-Position der Roboterhand 1 relativ zu der Bahnmarkierung B erfaßt. Aus der zweiten, vorauseilenden Bildzeile kann die Position eines weiter vorn liegenden Punktes der Bahn B bestimmt werden (Der Punkt bildet sich durch den Schnitt von Abtastzeile und Bahnkurve). Diese Daten können für Bahnplanungs- und Vorsteuerungskonzepte genutzt werden. Durch Auswertung einer dritten, nachlaufenden Zeile kann die Güte der Vorsteuerung erhöht werden.
Die mit dem Meßsystem erzielte Meßfrequenz von 1kHz entspricht dem Interpolationstakt (lms) einer Experimental-Robotersteuerung auf Transputerbasis.
Nachfolgende Beispiele sollen das Verständnis der Erfindung vertiefen:
Figur 1.1 zeigt schematisch die Blickwinkel von Projektor für die Meßlinien und Kamera mit dem CCD-Sensor. Die Blickwinkel von Kamera und Projektor liegen in einem fest definierten Winkel und betrachten auf dem Objekt die Bahnverfolgungs-Linie, die es zu erkennen und nachzuführen gilt, mit einem im wesentlichen gleichen Ausschnitt. Der dunkel gezeichnete Bereich in Figur 1.1 projiziert Meßlinien oder andere symmetrische Strukturen auf die Oberfläche des Meßobjektes. Die Kamera erfaßt diese Meßlinien zusammen mit der zwischen zwei der Meßlinien verlaufenden Bahnkurve (vgl. auch Figur 2.2). Senkrecht zur Meßlinienrichtung und in etwa senkrecht zur Bahnlinienrichtung B verläuft die Abtastrichtung a des zeilenorientierten CCD-Chips. Der Blickwinkel der Optik der Kamera ist hellgrau in Figur 1.1 dargestellt.
Figur 1.2 verdeutlicht die Bewegung des Objektes mit seiner Oberfläche und die dabei entstehende Überlappung der Blickwinkel von Projektor und Kamera.
Figur 2.1 ist eine Vergrößerung in schematischer Darstellung des vorderen Endes einer Roboter-Hand 1. An ihr ist die in den zuvor erwähnten Figuren skizzierte Kamera 4 mit CCD- Bildsensor 5 und Objektiv 6 angeordnet, während im Winkel zur Mittelachse der Kamera 4 das Meßlinien-Projektorgehäuse 8 angeordnet ist mit seiner Kondensorlinse 9, dem die Linien- Struktur definierenden Meßdia 10 und der Abbildungslinse 11. Hinter der Kondensorlinse 8 ist ein Feld mit einer Vielzahl von leuchtstarken LED-Dioden 7 angeordnet, die stroboskopartig die Meßlinien des Dias 10 auf die Objektoberfläche projizieren. Mit der stroboskopartigen Beleuchtung der Oberfläche ist die Auslesung der Bildzone des CCD-Chips 5 synchronisiert, so daß Fremdlichteinfluß unterdrückt werden kann. Bewegt sich die Roboterhand 1, so bewegt sich die Meßeinrichtung 4 und 8 gemeinsam mit ihr, da Projektor und Kamera in einem gemeinsamen Gehäuse 3 oder an einer gemeinsamen Befestigungsplatte dieses Gehäuses 3 angeordnet sind. Die Befestigungsplatte 3 ist über einen Flansch 2 an der Roboterhand unbeweglich fixiert.
Der Blick auf die Meßoberfläche ist in Figur 2.2 erläutert, die Meßlinien lj bis lg können dunkle Linien sein, während das Restfeld hell ausgeleuchtet ist. Die Kontur der Bahnkurve B verläuft dabei innerhalb von zwei Meßlinien, dargestellt ist der Verlauf zwischen den Meßlinien I3 und I4. Die Länge der Meßlinien in Bewegungsrichtung v der Roboterhand 1 kann abhängig davon gemacht werden, wie stark gekrümmt die Bahnkurve B ist.
Bei der Verwendung eines CCD-Zeilensensors für eine autonome Linienverfolgung stellt sich die Frage nach der Anbringung des Sensors - mit oder ohne Vorlauf, optimale Vorlauf distanz. Die Art der Anbringung beeinflußt die Eigenschaften des Systems, wobei sie unter den Gesichtspunkten erzielbare Genauigkeit, maximale Verfahrgeschwindigkeit sowie Möglichkeiten für eine Bahnplanung und Vorsteuerung optimiert werden sollte. Eine dynamische Variation des Zeilenvorlaufs ist wünschenswert, technisch jedoch schwierig realisierbar.
Durch Auswertung von zwei Zeilen des CCD-Bildsensors können alle erforderlichen Informationen gewonnen werden, um die Lage und Orientierung der Roboterhand 1 bezüglich der Bahn B vollständig zu bestimmen. Die Nachteile der höheren Auslesezeit eines CCD- Bildsensors und seine vorgegebene starre (übliche) Ausleseprozedur zur Einhaltung der CCIR- TV-Norm des Ausgangssignalverlaufs würde die maximale erzielbare Bildfolge auf 25 Vollbilder bzw. 50 Halbbilder pro Sekunde reduzieren, wenn nicht mit der Erfindung die Geschwindigkeit beträchtlich erhöht würde. Auch die bei Bildsensoren anfallende große Datenmenge, die verarbeitet oder zumindest erfaßt werden muß, "handhabt" die Erfindung poblemlos.
Nachfolgend werden die beschleunigenden Vorschläge beispielhaft vorgestellt, um ein zeitoptimales Auslesen nur wenigen benötigten Bildzeilen aus einem CCD-Bildsensor zu ermöglichen. Die Verfahren sind z.B. mit dem THX 7868A oder TH 7864A von Thomson besonders effizient.
Bildsensoren sind im allgemeinen an die Darstellungsdauer eines Fernsehbildes angepaßt. Das Bild wird in zwei aufeinanderfolgenden Halbbildern (Zwischenzeilenverfahren) ausgelesen, wobei die Auslesedauer für jedes Halbbild 20ms beträgt. Für ein komplettes Bild werden somit 40ms benötigt. Dieser Faktor allein beschränkt die Meßrate bereits auf maximal 25 Messungen pro Sekunde - theoretisch. Hinzu kommt die Verarbeitungszeit für die anfallenden Daten(un)mengen. Die Verarbeitung der Daten dauert meist ein Vielfaches der Auslesezeit. Für eine qualitativ hochwertige Robotersteuerung mit einem Interpolationstakt von wenigen Millisekunden waren diese Meßraten bislang nicht geeignet. Nötig wären Meßraten, die idealerweise dem Interpolationstakt entsprechen oder zumindest weniger als eine Größenordnung darunter liegen.
Durch eine flexible Ansteuerung eines geeigneten CCD-Bildsensors, d. h. durch Aufgabe der starren Ansteuerung gemäß dem CCIR-TV-Standard, läßt sich eine derart hohe Meßrate mit einem vertretbaren Aufwand erzielen. Dabei werden sämtliche nicht benötigten
Bildinformationen bereits im Sensor geöscht, um die Auslese- und Verarbeitungszeit einzusparen. Dadurch kann der Zugriff (nur) auf die benötigten Daten zeitoptimal erfolgen.
Mit einem sechsachsigen Gelenkarmroboter wurden die Vorschläge der Erfindungen erprobt. Für die Erfassung von fünf räumlichen Freiheitsgraden werden die Bildinformationen aus zwei bis drei (vorzugsweise beliebig wählbaren) Bildzeilen benötigt. Bei Vorschubgeschwindigkeiten von bis zu lm/sec (36km/h) wird die Bahn-Kontur B bzw. Meßlinie noch hinreichend genau aufgelöst (1 Meßpunkt/mm). Daraus ergibt sich eine Meßrate von 1000 Messungen pro Sekunde. Diese Meßrate entspricht dem Interpolations-Takt der erwähnten Steuerung auf Transputerbasis.
Zum Hintergrund der CCD-Bildsensoren, die in drei Gruppen eingeteilt werden:
* Interline-Transfer-Sensoren
* Frame-Transfer-Sensoren * Frame-Interline-Transfer-Sensoren
Ein typischer Frame-Transfer-Bildsensor ist in Figur 3.1 vereinfacht dargestellt. Er besteht aus folgenden Funktionseinheiten:
* einer Bildzone, die aus einer zweidimensionalen Matrix einzelner Bildelemente (Pixel) gebildet wird;
* einer gleichgroßen Speicherzone;
* dem unmittelbar an die Speicherzone angrenzenden Ausleseregister, dessen Länge der Pixelzahl einer Pixelzeile der Bild- und Speicherzone entspricht;
* der an das erste Pixelelement des Ausleseregisters angeschlossenen Ausgangsstufe.
Die Bild- und die Speicherzone sind weitgehend identisch aufgebaut. Die Speicherzone ist jedoch durch eine lichtundurchlässige Schicht abgedeckt, so daß einfallendes Licht dort keine Wirkung zeigt. Ferner fehlen in der Speicherzone sämtliche Vorrichtungen für eine Belichtungssteuerung, da sie dort nicht benötigt werden. Die in der Bildzone durch Lichteinwirkung generierten Ladungen (Ladungsbild) lassen sich innerhalb der beiden Zonen mit Hilfe von (zumeist vier um 90° phasenverschobenen) Taktsignalen nach dem Eimerkettenprinzip vertikal verschieben. Für Bild- und Speicherzone stehen jeweils getrennte Taktsignale (P-Takte und M-Takte) zur Verfügung, damit sich die Ladungen in der Speicherzone auch separat verschieben lassen ohne die Ladungen in der Bildzone zu beeinflussen.
Die Ladungen aus der Zeile, die sich unmittelbar an das Ausleseregister anschließt, können in einem einzigen Schritt in das Ausleseregister hineingeschoben werden. Im Ausleseregister können sie dann mittels weiterer Taktsignale (L-Takte) horizontal zu einer Ausgangsstufe transportiert werden. Die Ausgangsstufe wandelt die Ladungspakete in eine der Ladungsmenge proportionale Spannung um, die am Videoausgang des Sensors abgegriffen werden kann.
Figur 3.2 zeigt den zeitlichen Ablauf einer Bildaufnahme und des sich anschließenden Auslesevorgangs.
Ausgehend von der Anfangssituation (a), in der sowohl die Bild- als auch die Speicherzone ladungsträgerfrei sind, wird der Sensor erstmalig belichtet. In der Bildzone werden während der Belichtungszeit die durch Lichteinwirkung generierten Ladungsträger in sog.
Potentialtöpfen aufintegriert (b bis d). Die Integrationsdauer beträgt nach CCIR-TV-Standard knappe 20ms. Sie läßt sich jedoch bei vielen modernen Sensoren durch eine geeignete Taktsteuerung beliebig verkleinern (electronic shutter).
Nach Ablauf der Belichtungszeit erfolgt ein Vertikaltransfer der Ladungen aus der Bildzone in die Speicherzone (e und f). Der Transfer dauert typisch ca. 350μs. Während des Vertikaltransfers werden weiterhin Ladungen durch Lichteinwirkung erzeugt, die ebenfalls aufintegriert werden und das Bild leicht verschmieren (smearing effect). Die Verschmutzung macht sich in der ersten Zeile natürlich nicht bemerkbar und ist in der letzten Bildzeile am stärksten. Sie ist idR. gering, weil das Verhältnis Transferzeit/Integrationszeit sehr klein ist (350/20000=0,0175). Der Einfluß des Verschmiereffekts erlangt jedoch zunehmende Bedeutung, je weiter die Belichtungszeit mit Hilfe des Electronic Shutter reduziert wird. Extrem helle Bildpunkte können ebenfalls einen deutlich sichtbaren Schweif (Zieheffekt) verursachen.
Nach Abschluß des Vertikaltransfers befindet sich das Bild vollständig in der Speicherzone, wobei die erste Bildzeile unmittelbar am Ausleseregister zu liegen kommt. Es folgt das zeilenweise Auslesen des Bildes aus der Speicherzone über das Ausleseregister zur Ausgangsstufe. In der dafür benötigten Zeit - also parallel dazu - wird das nächste Bild in der Bildzone aufintegriert (g bis i). Nach Beendigung des Ausleseprozesses ist wieder der in (d) dargestellte Zustand erreicht und der zyklische Ablauf beginnt von neuem.
Sind also in der Bildzone des Sensors durch Lichteinfall erst einmal Ladungen generiert worden, so können sie nur durch das zeitaufwendige, sequentielle Herausschieben aller Bildzeilen über das Ausleseregister in die Ausgangsstufe beseitigt werden.
Figur 3.3 veranschaulicht die Ergebnisse wenn das gesamte mittlere Drittel des Bildes im Ausleseregister zusammengeschoben wird, um schneller an die Bildinhalte im letzten Drittel des Bildes heranzukommen. Die schwarz dargestellte Fläche im Bild stellt den zusammengeschobenen Bereich dar. Obwohl das Bild insgesamt recht dunkel ist, wird ein großer Teil des letzten Bildabschnitts von Ladungen "überflutet".
Um an die Informationen aus lediglich zwei beliebigen "Nutzzeilen" - den Bildausschnitt - schnellstmöglich heranzukommen ohne die Inhalte; der Nutzzeilen zu zerstören oder zu beeinträchtigen werden ausgeführt:
1. Vertikaltransfer des Bildes aus der Bildzone in die Speicherzone.
2. Zusammenschieben der nicht benötigten Zeilen bis auf ca. acht Zeilen vor der ersten Nutzzeile. Währenddessen läuft ein schneller Horizontaltransfer ab. 3. Auslesen von sieben Zeilen mit schnellem Horizontaltransfer.
4. Auslesen der letzten Zeile vor der eigentlichen Nutzzeile mit normaler, qualitätsbewahrender Schiebefrequenz.
5. Auslesen der ersten Nutzzeile mit normaler Schiebefrequenz.
6. Wiederholung der Schritte 2. bis 5. für die zweite Nutzzeile. 7. Löschen sämtlicher evtl. noch folgender Bildzeilen auf irgendeine Weise.
Der letzte Schritt kann auch entfallen.
In der Bild- und in der Speicherzone werden horizontal benachbarte Pixel durch vertikal verlaufende ortsfeste Potentialbarrieren getrennt, die mittels eines Gatters erzeugt werden. Über das am Gatter anliegende Potential läßt sich die Höhe des Potentialwalls einstellen. Selbst wenn die Höhe des Potentialwalls groß eingestellt wird, kann es vorkommen, daß durch Überbelichtung des Sensors die Potentialtöpfe überquellen und Ladungen in benachbarte, weniger stark belichtete Bildelemente abfließen. Die damit zusammenhängenden störenden Beeinträchtigungen des Bildes werden als "Blooming" bezeichnet. In modernen CCD-Sensoren ist daher meistens eine sog. Anti-Blooming-Einheit zur Verhinderung dieses Effekts integriert. Das Gatter zwischen zwei benachbarten Pixelspalten ist hierzu in zwei Einzelelektroden unterteilt, wobei im Zwischenraum ein sog. Anti-Blooming-Drain eingefügt ist. Das Anti- Blooming-Drain nimmt die Überschußelektronen aus den überfüllten Potentialtöpfen auf, die sonst in die benachbarten Potentialtöpfe hineinfließen würden.
Mittels der das Drain steuernden Anti-Blooming-Einheit läßt sich ein Electronic Shutter zur Einstellung der Belichtungszeit realisieren. Durch die Anhebung der Potentialtopfböden auf das Niveau des Potentialwalls - die Potentialtöpfe verschwinden dann völlig - fließen sämtliche durch Lichteinwirkung generierten Ladungen sofort in das Anti-Blooming-Drain ab. Die Anhebung der Potentialtopfböden wird erreicht, indem alle vier P-Takte auf das gleiche, passend gewählte Potential gelegt werden. Erst wenn die Potentialtopfböden wieder abgesenkt werden, beginnt die Integration der optisch generierten Ladungen. Mit dem Electronic Shutter lassen sich extrem kurze Belichtungszeiten von einigen wenigen Mikrosekunden realisieren.
Das Aktivieren der Electronic-Shutter-Funktion unmittelbar vor dem Vertikaltransfer des Bildes aus der Bild- in die Speicherzone liefert ein absolut schwarzes Bild. Dies konnte anhand von Untersuchungen an den Sensoren TH 7864A und THX 7868A nachgewiesen werden. Damit eröffnet sich die Möglichkeit, während des Vertikaltransfers, unmittelbar nach der Übernahme einer bestimmten, frei wählbaren Zeile aus der Bildzone in die Speicherzone die Shutter-Funktion zu aktivieren, was das Löschen des sich noch in der Bildzone befindenden Restbildes zur Folge hat. Der sich bereits in der Speicherzone befindende Teil des Bildes wird dabei in keiner Weise beeinträchtigt. Die Shutter-Funktion läßt sich damit zur Einstellung der Anzahl m auszulesender Zeilen benutzen (0<m<292 beim TH 786A).
Da die Ladung der (292-m) restlichen Bildzeilen vollständig beseitigt werden kann, müssen auch nur die Ladungen der ersten m Zeilen aus der Speicherzone über das Ausleseregister herausgeschoben werden. Der Zeitaufwand zum Verarbeiten der letzten (292-m) nichtrelevanten Zeilen entfällt also gänzlich. Wird insbesondere nur die erste Bildzeile benötigt, d.h. der Bildsensor wird als Zeilensensor genutzt, sind auf diese Weise Bildfolgen von bis zu 2500 Bildern pro Sekunde erreichbar. Der "Mißbrauch" der Anti-Blooming- Elektrode zum Löschen der Bildzone ist vom Hersteller nicht vorgesehen.
Figur 3.4 veranschaulicht den beschriebenen Auslesezyklus, bei dem beispielsweise nur die erste Hälfte des Bildes ausgelesen wird. Ausgehend von einem fertig belichteten Bild in der Bildzone (a) wird zunächst ein Vertikaltransfer der ersten 146 Zeilen in die Speicherzone durchgeführt (b). Sobald sich die letzte auszulesende Zeile in der Speicherzone befindet, werden die P-Takte angehalten und das restliche Teilbild in der Bildzone mit der Anti- Bloomin -Einheit gelöscht (c). Während des nur wenige Mikrosekunden dauernden
Löschvorgangs wird das auszulesende Teilbild weiter in Richtung Ausleseregister verschoben (d). Das Löschen trägt effektiv keinen Beitrag zur Gesamt- Auslesedauer bei. Nach erfolgtem Löschvorgang beginnt in der Bildzone bereits die Integration des nächsten Bildes. Dieser Vorgang läuft wiederum zeitgleich mit dem Auslesen der ersten Bildhälfte aus der Speicherzone (e, f).
Mit den bisher diskutierten Maßnahmen wäre das Auslesen von zwei beliebigen Bildzeilen auch mit dem TH 7864A in nur etwa drei bis sechs Millisekunden denkbar.
Der CCD-Bildsensor THX 7868A bietet als besonderes Merkmal eine sog. Windowing-Einheit (windowing device), mit der beliebige Bildzeilen einzeln und in nur typisch 2μs restlos gelöscht werden können. Das Auslesen einer Zeile dauert demgegenüber ca. 64μs.
Die Windowing-Einheit ist eine parallel zum Ausleseregister angeordnete Löschvorrichtung. Sie besteht im wesentlichen aus dem Windowing-Drain, das durch das Windowing-Gate vom Ausleseregister getrennt ist. Während des normalen Betriebs wird an das Windowing-Gate ein Potential angelegt, das eine für die im Ausleseregister enthaltenen Ladungen unüberwindbare Potentialbarriere erzeugt. Bei Absenkung der Potentialbarriere durch eine geeignete Spannungsansteuerung des Windowing-Gate strömen die Ladungen aus dem Ausleseregister in das Windowing-Drain ab, was einem Löschen der Zeileninformation gleichzusetzen ist. Eine gezielte Ansteuerung des Windowing-Gate erlaubt folglich das schnelle Löschen einzelner Bildzeilen und Bereiche, wodurch der hohe Zeitaufwand zum seriellen Auslesen der betreffenden Bildzeilen eingespart werden kann.
In Experimenten hat sich herausgestellt, daß mit der Windowing-Einheit das Löschen von Teilen einer Zeile sauber bewerkstelligt werden kann. Es ergibt sich somit die Möglichkeit, nur die ei sten n Pixel (0<n< 845) einer Zeile auszulesen, die relevante Informationen enthalten. Der nicht benötigte Teil der Zeile (die 845-n letzten Pixel) kann gelöscht werden, um eine weitere Zeitersparnis zu realisieren.
Als weitere Besonderheit verfügt der THX 7868 A über eine zweite Ausgangsstufe, die analog zur ersten Stufe aufgebaut ist, jedoch mit dem Unterschied, daß sie mit dem letzten anstatt mit dem ersten Bildelement des Ausleseregisters verbunden ist. Durch geeignete Ansteuerung der Schiebetakte am Ausleseregister läßt sich die horizontale Transferrichtung beeinflussen. Durch Umkehr der normalen Schieberichtung gelangen die Zeileninformationen in umgekehrter Reihenfolge an die zweite Ausgangsstufe. Ein über diesen Ausgang ausgelesenes Bild erscheint horizontal gespiegelt. Befinden sich die gewünschten Bildinhalte mehr in der linken Hälfte des Bildes, so werden die Zeilen normal ausgelesen. Sind die Informationen jedoch überwiegend rechts im Bild, werden die Zeilen gespiegelt ausgelesen.
In Kombination mit der Option zum Löschen von Teilen einer Zeile kann die Spiegelungsfunktion dazu benutzt werden, noch schneller an die gewünschten Informationen eines Bildes heranzukommen.
Da für eine schnelle Konturverfolgung nur wenige, jedoch weit auseinanderliegende Zeilen in sehr kurzer Zeit ausgelesen werden müssen, ist die Windowing-Funktion des Sensors für die vorgesehene Anwendung vorteilhaft.
Als Beispiel sei hier die sog. Tracking-Funktion genannt. Mit der Tracking-Funktion kann ein z. B. besonders heller Punkt aufgrund der schnellen erzielbaren Bildfolge mit einer hohen zeitlichen und räumlichen Auflösung verfolgt werden. Der Bildausschnitt kann - der Position des Punktes folgend - in Echtzeit nachgeführt werden, wobei die erförderliche Fenstergröße und Position in Abhängigkeit von der aktuellen Geschwindigkeit und Bewegungsrichtung gewählt werden können (Figur 3.6). Hierfür sind interessante Einsatzgebiete denkbar, beispielsweise die Motographie.
Da bei der geplanten Anwendung der Kamera aufgrund des selektiven Auslesens von Teilbildern nicht mehr die gesamte normalerweise zur Verfügung stehende Belichtungszeit für das jeweils nächste Bild verfügbar ist, kann eine stroboskopische Beleuchtung mit intensiven Lichtblitzen vorgesehen werden, um die Empfindlichkeit zu erhöhen.
Wird nur stroboskopartig beleuchtet, kann die Speicherzone entfallen.
Eine Übersicht über die Schaltungskomponenten einer alle features kombinierenden Kameraelektronik ist im Blockschaltbild Figur 4.1 gegeben. Zur technischen Realisierung des Kamera-Sequenzers sei angemerkt, daß die Ablaufsteuerwerke als einfache Mealy-Automaten entworfen wurden, die in insgesamt fünf PLD-Bausteinen vom Typ MACH210-15 der AMD untergebracht sind.
Die Kameraelektronik beinhaltet einen eigenen Mikrorechner auf Transputerbasis. Der IMS T222 ist über die Systemlogik in die hierarchische Struktur eines übergeordneten
Transputerknotens (Up-System) als untergeordneter Knoten (Down-System) eingebettet. Der Transputer empfängt über Link 0 Steuerkommandos von einem kontrollierenden Transputer. Das ist im allgemeinen der Transputer der Frame-Grabber-Baugruppe. Die Kamera kann aber auch von beliebigen anderen Transputerbaugruppen oder von einem PC mit Link-Adapter kontrolliert werden. Einzige Voraussetzung dazu ist, daß die Link- Verbindung differentiell ausgeführt sein muß, da die Link-Treiber gemäß der RS422-Norm spezifiziert sind. Die differentielle Übertragung wurde gewählt, da sie besonders robust gegenüber elektromagnetischen Störeinflüssen ist. Sie gewährleistet einen störungsfreien Betrieb in der stark gestörten Umgebung. Über den 2048- 16 Bit (4kByte) großen Zweitorspeicher und die vier 16-Bit-Register kann der Kamerasequenzer vom Transputer programmiert und kontrolliert werden. Für den praktischen Einsatz der Kamera bedeutet dies, daß das Auslesen eines jeden Bildes aus dem CCD-Sensor individuell programmiert werden kann. Die angesprochene Tracking-Funktion wird somit vom Sequenzer direkt unterstützt.
Die vom Sequenzer generierten digitalen Taktsignale für den CCD-Sensor werden über Koaxialkabel zur Kamera übertragen. Dort werden sie von dem Sensor-Interface auf die Spannungspegel umgesetzt, wie sie für die Sensoransteuerung im Datenblatt spezifiziert sind. Das Sensor-Interface sorgt insbesondere auch für die Einhaltung der geforderten Flankensteilheiten. Zur Generierung sämtlicher Taktsequenzen wurde ein Kamera-Sequenzer aufgebaut, der in drei Zeitebenen jeweils mehrere einfache Grundfunktionen ausführen kann, wobei deren Ablauf durch Programmierung modifiziert werden kann. Die drei Zeitebenen werden wie folgt begründet:
* Zyklen zum Verarbeiten einzelner Pixel (ca. 67ns)
* Zyklen zum Verarbeiten einzelner Bildzeilen (bis ca. 61μs)
* Zyklen zum Verarbeiten von Halbbildern (bis ca. 20ms)
Figur 4.4 gibt eine Übersicht über die Funktionsblöcke des Kamera-Sequenzers. Der
Sequenzer ist aus zwei Steuerwerken gebildet, die hierarchisch angeordnet sind, ansonsten aber weitgehend unabhängig voneinander arbeiten. Er generiert 16 verschiedene digitale Ansteuertakte zum zeitoptimalen Auslesen der relevanten Bildausschnitte und zum Löschen aller nicht benötigten Bildbereiche. Unterschiedliche Teilfunktionen der Steuerwerke werden in Abhängigkeit von programmierbaren Eingangsparametern und Eingangs-Flip-Flops generiert.
Die Shutter-Register
Die beiden Shutter-Register werden für eine elektronische Belichtungszeitsteuerung benutzt. Zu Beginn eines Bildzyklus wird der Belichtungszähler mit dem Inhalt eines Shutter-Registers geladen. Anschließend wird der Belichtungszähler mit einem Taktzyklus von ca. 533ns auf Null heruntergezählt. Solange der Zählerinhalt nicht Null ist, wird durch geeignete Ansteuerung der P-Takte die Ausbildung von Potentialtöpfen unterbunden, so daß alle generierten Ladungen in das Anti-Blooming-Drain abfließen und die Integration eines Bildes unterbunden wird (electronic shutter). Sobald der Wert Null erreicht ist, wird die Integration des Bildes freigegeben. Die Belichtungsfreigabe wird ferner als externes Signal zur Ansteuerung einer stroboskopischen Lichtquelle 7 genutzt, so daß das Blitzlicht exakt im richtigen Zeitpunkt - zu Beginn der Belichtung - gezündet werden kann. Die beiden Shutter-Register können unabhängig voneinander auf unterschiedlich lange Verzögerungszeiten programmiert werden. So ist es beispielsweise denkbar, eine Szene in jeweils zwei aufeinanderfolgenden Halbbildern unter anderen Lichtverhältnissen aufzunehmen. Wird z. B. ein Shutter-Register mit dem Wert Null initialisiert und das andere mit einem Wert, der zu einer Belichtungszeit von nur lOOμs führt, so wird die Bildszene in dem einen Bild bei Tages- oder Umgebungslicht aufgenommen, während die Szene im darauffolgenden Bild mit - eventuell strukturiertem - Blitzlicht aufgenommen wird. Der Einfluß des Tages- und Umgebungslichts ist bei der Blitzlichtaufnahme aufgrund der kurzen Belichtungszeit praktisch vollständig unterdrückt.
Die Bildparameter-Register
Über die beiden 16Bit breiten Bildparameter-Register lassen sich - abgesehen von der Belichtungsverzögerung - sämtliche Bildparameter programmieren. Figur 4.5 zeigt die Belegung der einzelnen Bits eines Bildparameter-Registers.
Start
Die Initialisierung des Sequenzers durch Setzen dieses Bits nach dem Einschalten der Kamera oder nach einem Reset gewährleistet einen definierten Start der Steuerwerke und dient zur Synchronisation mit dem Transputer.
Reset
Rücksetzen des Sequenzers. Das Ablauf Steuerwerk, das Taktsteuerwerk und sämtliche Zähler werden in den Grundzustand versetzt. Dabei werden alle Takte und andere Ausgangssignale auf ein definiertes, unkritisches Ruhepotential gesetzt. Nach dem Reset muß für einen definierten Start des Sequenzers das Start-Bit gesetzt werden.
Figur 4.5 zeigt die Belegung der Bits eines einzelnen Zeilenparameter-Registers.
Anzahl Pixel aus der Zeile (10 Bit) Mit den niederwertigsten 10 Bit wird der Pixelzähler geladen, der über die Anzahl der Pixel- Ausgabezyklen für die aktuelle Zeile entscheidet. Nach der Ausgabe der programmierten Pixelzahl wird die Windowing-Einheit aktiviert und der Rest der Zeile gelöscht.
Links Shift Jede Zeile kann wahlweise zum linken oder rechten Sensorausgang ausgegeben werden. Das Bit gibt dem Steuerwerk die gewünschte Schieberichtung bekannt. Ist das Bit gesetzt, wird die Zeile in normaler Richtung über VOS1 ausgelesen. Ist das Bit gelöscht, wird die Zeile in umgekehrter Richtung über VOS2 ausgelesen. Das Steuerwerk berücksichtigt automatisch die unterschiedliche Anzahl nichtrelevanter Pixel am Zeilenanfang und -ende. Eine Bildzeile setzt sich nämlich aus 845 Pixeln zusammen, wobei nur 768 Pixel Bildinformationen enthalten. Die restlichen Pixel werden als sog. Pre-Scan-, Post-Scan- und Dunkelreferenzpixel verwendet. In
Abhängigkeit von der Schieberichtung erscheinen sie in einer anderen Reihenfolge am
Sensorausgang:
Ausgang VOS 1 Ausgang VOS2
* 14 Post-Scan-Pixel * 13 Pre-Scan-Pixel
* 50 Dunkelreferenzpixel * 768 Bildpixel
* 768 Bildpixel * 50 Dunkelreferenzpixel
* 13 Pre-Scan-Pixel * 14 Post-Scan-Pixel
Über die Schnittstelle zum "Frame-Grabber" (Teilbild-Erfasser) signalisiert der Sequenzer nur die Ausgabe der relevanten Bildpixel. Die nichtrelevanten Pixel werden vom Frame-Grabber daher überhaupt nicht verarbeitet.
Letzte Zeile
Das Bit muß in der letzten zu verarbeitenden Zeile gesetzt sein, da es den Sequenzer anweist, den Bildzyklus zu beenden und mit dem nächsten Bildzyklus zu beginnen.
Auslesen Das Bit signalisiert dem Sequenzer, ob die Zeile ausgelesen oder gelöscht werden soll. Ist das Bit gesetzt, so wird die Bildzeile bis zu der programmierten Pixelzahl ausgelesen. Ansonsten wird die Zeile anstelle des Horizontaltransfers augenblicklich durch Aktivieren der Windowing-Einheit gelöscht. Anschließend wird die nächste Zeile abgearbeitet.
Das Bild wird vom Steuerwerk auf folgende Weise zeitoptimal aus dem CCD-Sensor ausgelesen:
* Ausschieben der Zeilen 1 bis 50 aus der Bildzone in die Speicherzone.
* Löschen der verbleibenden Zeilen in der Bildzone. Ab jetzt kann bereits parallel zu allen folgenden Ausleseoperationen die Belichtung des nächsten Bildes durchgeführt werden. * Verschieben der 50 Zeilen in der Speicherzone bis zum Ausgaberegister.
* Auslesen der Zeile 1.
* Löschen der Zeilen 2 bis 49 mit Hilfe der Windowing-Einheit.
* Auslesen der Zeile 50.
Nach dem letzten Schritt ist die Speicherzone vollständig leergeräumt. In der Bildzone wurde zwischenzeitlich bereits das nächste Bild belichtet und kann ausgelesen werden.
Nach der Programmierung des Sequenzers läuft der geschilderte Auslesevorgang periodisch ab. Der externe Synchronisationsmechanismus zum Antriggern des Auslesevorgangs (Signal Start Bildzyklus in Figur 4.1) und das Signal zur synchronen Ansteuerung einer stroboskopischen Beleuchtung können dafür genutzt werden, einen zum Abtast- und Regel- Takt der Robotersteuerung synchronisierten Betrieb zu realisieren.
Die beschriebenen Funktionen der flexiblen Kamera sind mit einem passend zugeschnittenen "Universal-Frame-Grabber" zur Digitalisierung der Bilddaten besonders wirksam. Ein derartiger Frame-Grabber muß in der Lage sein, abweichend vom "Grabben" eines Vollbildes auch die von der Kamera gelieferten und teilweise nicht zusammenhängenden Bildsegmente richtig zu verarbeiten. Um dieses Ziel zu erreichen wird eine geeignete Schnittstelle zwischen Kamera und Grabber ausgearbeitet. Die Schnittstelle zwischen Kamera und Grabber besteht aus sieben Signalleitungen (Figur 5.2). Neben dem eigentlichen Video-Signal werden fünf weitere Steuersignale von der Kamera zum Grabber übertragen, damit das Ablauf-Steuerwerk des Grabbers die Bildausgabe der Kamera bei allen möglichen Betriebsarten nachvollziehen kann. Die fünf Steuerleitungen haben folgende Funktionen:
(a) Neues Bild (Bild-Synchronsignal)
Zu Beginn eines jeden Bildzyklus (für ein Halbbild) wird ein Bild-Synchronsignal übertragen. Das Signal veranlaßt das Steuerwerk, mit dem "Grabben" eines neuen Bildes zu beginnen. Der Zeilenzähler des Steuerwerks wird zurückgesetzt.
(b) Halbbild 1
Das Signal wird benötigt, um zwischen den beiden aufeinanderfolgenden Halbbildern (mit geraden und ungeraden Bildzeilen im CCIR-TV-Modus) unterscheiden zu können. Ist Halbbild 1 aktiv, werden die digitalisierten Bilddaten in ungerade Zeilenpositionen des Bildspeichers geschrieben, ansonsten werden die geraden Zeilenpositionen beschrieben.
(c) Neue Zeile (Zeilen-Synchronsignal)
Zu Beginn eines jeden Zeilenzyklus wird ein Zeilen-Synchronsignal übertragen. Das Signal veranlaßt den Grabber, den Zeilenzähler zu inkrementieren und den Pixelzähler zurückzusetzen. Die nachfolgenden digitalisierten Bildpunkte werden somit in die nächste "Zeile" im Bildspeicher des Grabbers eingetragen.
(d) PHI (Pixel-Schiebetakt)
Um einen definierten Abtastzeitpunkt mit einem möglichst geringen Abtast- Jitter zu erhalten, wurde der Pixel-Schiebetakt PHI aus dem Signal F2L, das von der Kamera- Ansteuerelektronik generiert wird, abgeleitet. Dieses Synchronisationssignal wird direkt auf den Takteingang des A/D-Wandlers des Grabbers gelegt. Das Signal läßt sich in der Phasenlage variieren, um Laufzeiteffekte in der Übertragungsleitung von der Kamera zum Grabber zu kompensieren. Damit wird stets eine exakte pixelsynchrone Abtastung des Video-Signals gewährleistet. (e) Pixel gültig
Das Signal wird zur Unterscheidung zwischen gültigen Bildpunkten und Pre-, Post- bzw. Dunkelreferenz-Pixeln benötigt. Nur wenn dieses Signal aktiv ist, handelt es sich bei den ankommenden Pixeln um relevante Bildpunkte. Während der Ausgabe der Pre-, Post- und Dunkelreferenz-Pixel einer Zeile wird das Signal deaktiviert, so daß diese Pixel vom Grabber nicht digitalisiert bzw. in den Bildspeicher übertragen werden.
Ein weiteres Steuersignal wird vom Grabber zur Kamera übertragen: Kamera Start
Ist das Signal aktiv, kann der Kamera-Sequenzer den CCD-Bildsensor zyklisch auslesen. Wird das Signal inaktiv geschaltet, bleibt der Kamera-Sequenzer nach der Abarbeitung des momentan laufenden Bildzyklus stehen. Mit einem kurzen Impuls auf dieser Signalleitung läßt sich ein einzelner Bildzyklus der Kamera vom Grabber aus antriggern. Damit kann die Bildfrequenz der Kamera beliebig eingestellt werden, sofern die Periodendauer nicht kleiner gewählt wird als die vom Kamera-Sequenzer benötigte Zeit für die Ausgabe aller gewünschten Bildteile.
Die Bildfolge läßt sich über diese Signalleitung z. B. mit dem Abtast und Regeltakt der Robotersteuerung synchronisieren, oder es kann eine extrem kurze Bildfolge realisiert werden, z. B. für Zeitraffer- Aufnahmen.
Der Frame-Grabber beinhaltet ein programmierbares, autonom arbeitendes Ablauf Steuerwerk zum zyklischen Erfassen der vom Sensor gelieferten Bildinformationen. Das Videosignal wird hierbei in 256 Graustufen digitalisiert. Der Frame-Grabber bildet die physikalische Pixel- Matrix des CCD-Sensors als virtuelle Pixel-Matrix in einem 1 MByte großen Zweitorspeicher ab. Zu jedem Bildpunkt der Pixel-Matrix im CCD-Sensor korrespondiert somit ein Byte im Speicher des Frame-Grabbers. Der Grabber ist ferner ebenfalls mit einem Transputer (IMS T805) sowie 4 MByte Arbeitsspeicher ausgestattet, so daß er per Link die Kamerafunktionen programmieren und überwachen kann. Der Transputer hat über den Zweitorspeicher unmittelbaren Zugriff auf die digitalisierten Bilddaten. Er kann sie über mehrere Link- Verbindungen mit einer beachtlichen Übertragungsbandbreite in ein weiteres Transputer-Netz zur Echtzeit-Datenverarbeitung transferieren (Transputer 1, 2, n).
Das vollständige Einlesen eines Bildes wird dem Transputer mittels eines vom Ablaufsteuerwerk generierten Bild-Interrupts bekanntgegeben, um geringe Laufzeiten und somit kurze Antwortzeiten der Regelung zu erreichen.
Das Einlesen der Bilddaten in den Speicher des Frame-Grabbers ist mit dem Beschreiben einer Papierseite mit einem Drucker (z.B. Typenraddrucker) vergleichbar: * Der, Grabber positioniert nach Empfang des Bild-Synchronsignals Neues Bild den Schreibzeiger auf die erste Pixel-Position in der ersten Zeile der virtuellen Pixel-Matrix - und zwar abhängig von dem Signal Halbbild auf die erste ungerade oder auf die erste gerade Zeile. Dieser Schritt ist mit dem Papiereinzug in den Drucker sowie dem Ausrichten des Druckkopfes auf die erste Schreibposition vergleichbar.
* Digitalisierte Bildpunkte werden so lange sequentiell in aufeinanderfolgende Byte- Positionen geschrieben, bis ein Zeilen-Synchronsignal Neue Zeile (entsprechend einem Zeilenrücklauf beim Drucker) empfangen wird. Es muß also keinesfalls stets eine komplette Bildzeile übertragen werden. Vielmehr darf die ausgelesene Anzahl Pixel in jeder Bildzeile beliebig variieren.
* Treffen mehrere Zeilen-Synchronsignale unmittelbar nacheinander ein, werden die entsprechenden Bildzeilen im Zweitorspeicher des Grabbers übersprungen. Dabei wird lediglich der Zeilenzähler inkrementiert (entsprechend dem Einfügen von Leerzeilen bei einem Druckvorgang).
Im Gegensatz zu herkömmlichen Frame-Grabbern ist der hier vorgestellte "Universal-Frame- Grabber" in der Lage, beliebige Bildformate von einer l*l-Bildmatrix bis zu einer 1024*1024- Bildmatrix ohne Umprogrammierung des Steuerwerks korrekt einzulesen. Er unterstützt damit direkt unterschiedliche CCD-Sensoren, speziell also auch den THX 7868A mit 768*576 Bildpunkten. Aufeinanderfolgende Zeilen dürfen in der Länge beliebig variieren.
Die Bildinformationen werden vom Steuerwerk automatisch genau an die Positionen im Zweitorspeicher geschrieben, die den physikalischen Bildpunktpositionen im CCD-Bildauf¬ nehmer entsprechen.
Grabber und Kamera bilden in Verbindung mit der Schnittstelle eine besonders leistungsfähige Einheit für eine fortschrittliche Echtzeit-Bilddatenerfassung und -Bildverarbeitung.
Aus dem Testbild in Figur 6.1 geht hervor, daß jede Zeile individuell auf ungespiegeltes Auslesen über VOSl oder gespiegeltes Auslesen über VOS2 programmiert werden kann. Im obersten Bildabschnitt wurden alle Zeilen normal ausgelesen, im zweiten Fünftel des Bildes wurde jede gerade Zeile gespiegelt ausgelesen. In der Bildmitte wurden alle Zeilen, im darauf¬ folgenden Bildteil nur die ungeraden Zeilen spiegelverkehrt ausgelesen. Der unterste Abschnitt enthält schließlich wieder nur ungespiegelte Bildzeilen. Die Spiegelungsfunktion ist z.B. für die optimale Umsetzung der Tracking-Funktion von Interesse (vgl. Figur 3.6).
In Figur 6.2 ist die Funktion der Windowing-Einheit veranschaulicht. Die Ausschnittsvergrößerung eines Bildes zeigt den Übergangsbereich zwischen der komplett gelöschten Hälfte eines Kamerabildes und der sich daran anschließenden zweiten Bildhälfte, die ausgelesen wurde. Die erste ausgelesene Zeile ist nicht heller als die folgenden Zeilen, was darauf schließen läßt, daß sämtliche Ladungen aus den gelöschten Zeilen tatsächlich komplett gelöscht worden sind (vgl. Figur 3.3; Probleme mit dem TH 7864 ohne Windowing-Einheit). Die erste ausgelesene Zeile ist aber auch nicht dunkler als die folgenden Zeilen, was belegt, daß die Windowing-Funktion rechtzeitig zwischen Löschen und Auslesen umschaltet, so daß die Information in der ersten Nutzzeile durch das Löschen der vorangehenden Zeile nicht in Mitleidenschaft gezogen bzw. nicht teilweise mit gelöscht wird.
Figur 6.4 veranschaulicht, daß sich die auszulesende Pixel-Anzahl für jede Zeile individuell einstellen läßt. Die schwarzen Bereiche kennzeichnen Bildteile, die nicht aus dem CCD-Sensor ausgelesen sondern bereits im Sensor gelöscht wurden. Die eingesparten Auslesezeiten für jede unvollständig ausgelesene Zeile summieren sich auf, so daß die Auslesezeit um so kleiner ist, je größer die schwarzen Bereiche sind. Die interessierenden Bereiche eines Bildes können da¬ mit stets zeitoptimal ausgelesen werden. Insbesondere läßt sich die effektive Pixel-Matrix des Sensors je nach Aufgabe und Echtzeit- Anforderung beliebig zwischen 1*1 und 768*576 Bildpunkten programmieren.
Im Extremfall kann die Anzahl ausgelesener Zeilen Null betragen, was natürlich keinen Sinn ergibt. Das "Scannen" mit einer beliebigen Zeile - oder sogar nur mit einem Teil einer Zeile - ist hingegen eine sehr interessante Anwendung. Die Figur 6.5 entstand durch das Scannen mit (nur) der Zeile 147. Die Bildfolge wurde dabei durch Synchronisation mit einer Robotersteuerung auf 1000 Bildzyklen pro Sekunde - das entspricht dem Interpolationstakt der Robotersteuerung - eingestellt. Vor der Kamera wurde die Spielkarte zügig von oben nach unten durchgezogen. Als der Kartenrand die "sensitive" Zeile 147 erreichte, wurde der Helligkeitsreflex vom Grabber registriert und damit die Auswertung von 1024 aufeinanderfolgenden Bildzeilen im Millisekundentakt getriggert. Der Frame-Grabber digitalisierte die eintreffenden Bildzeilen und kopierte sie aus dem Bildspeicher in aufeinanderfolgende Zeilenpositionen im Arbeitsspeicher. Die Aneinanderreihung der 1024 Bildzeilen ergab das dargestellte Scan-Bild mit 1024*768 Bildpunkten.
Daß es sich tatsächlich um ein Scan-Bild handelt, ist daran zu erkennen, daß aufgrund der nicht konstanten Geschwindigkeit, mit der die Karte beim Scannen vor der sensitiven Bildzeile bewegt wurde, die obere Hälfte des Bildes gestaucht und die untere Hälfte gestreckt erscheint. Beim Scannen mit der ersten Bildzeile kann eine Scan-Frequenz von 2500 Hz erreicht werden, was in der Größenordnung gängiger CCD-Zeilensensoren liegt.
In Figur 6.6 ist der Zeitbedarf zum Auslesen von 1 bis 3 Bildzeilen dargestellt, in Abhängigkeit von der Nummer der letzten ausgelesenen Bildzeile. In Figur 6.7 ist der Zeitbedarf zum zeitoptimalen Auslesen von n beliebigen sowie der n ersten Zeilen dargestellt. Das auf der Kamera basierende Meßsystem nutzt im Beispiel nur drei frei wählbare Bildzeilen des zeilenorientierten Bildsensors (CCD-Sensors) für die Messung von fünf räumlichen Freiheitsgraden mit einer Meßrate von 1000 Messungen pro Sekunde (Abtastfreauenz von 1kHz).
(A) Aus einer vorlaufenden Bildzeile werden Daten für eine effiziente Bahnplanung und eine kartesische Vorsteuerung gewonnen werden.
(B) Die mittlere Zeile erfaßt die Ist-Position des Werkzeugbezugspunktes des Roboters, dessen Position relativ zu der Bahnlinie geregelt wird.
(C) Eine nachlaufende Zeile unterstützt schließlich die Messung einiger Parameter, wodurch die Meßgenauigkeit gesteigert werden kann.
Die Wahl der Vor- und der Nachlaufzeile kann dynamisch an den Bahnverlauf und an die momentane Bahngeschwindigkeit angepaßt werden.
Anhand der Figur 2.2 ist das Prinzip erläutert worden, wie ein Linienerkennungs-Algorithmus mit hoher Abtastfrequenz die Position der Bahnkurve B zwischen zwei Meßlinien I3 und I4 bestimmen kann obwohl nur eine einzige querverlaufende Scan-Zeile aus dem CCD ausgelesen und verarbeitet wird.
Dieses Leistungsergebnis wird potenziert duch eine Interpolation. Mit ihr wird der Abstand des in der Abtastzeile a liegenden Punktes Z der Bahnkurve B zwischen verschiedenen der anderen Meßlinien lj ~ > 1: gemessen und verarbeitet. Im Beispiel der Figur 2.2 bieten sich dazu gar 18 Möglichkeiten die Position von Z zu berechnen (von lj nach I4, von I2 nach I4, von I3 nach I4; von lj nach I5, von I2 nach I5, von I3 nach I5; usw.). Bildet man aus dieser Vielzahl von Meßwerten einen Mittelwert - interpoliert man - so kann die Position von Z sogar anhand des Mittelpunktes der Breite der Bahnkurve B angegeben werde. Selbst breite, sogar unregelmäßige Bahnlinien werden dadurch kompensiert. Einer (von vielen) Algorithmen zu Interpolation ist in Figur 1.1 angegeben.
Aufgrund ihrer enormen Flexibilität kann der Framegrabber auch für unterschiedlichste andere Aufgaben eingesetzt werden, vor allem für Aufgaben, bei denen es auf eine schnelle Bereitstellung der Daten aus selektierten Bildbereichen oder aus wenigen frei wählbaren Zeilen ankommt. Besonders für den Aufbau schneller und hochgenauer optischer Meßsysteme hat die Kamera aufgrund ihrer hohen Flexibilität entscheidende Vorteile gegenüber herkömmlichen CCD- Vollbild- und Zeilen-Kameras haben.

Claims

Ansprüche:
1. Autonome Erfassung von Bahnmarkierungen oder Objektkonturen räumlicher Oberflächen zur Steuerung von Robotern in kartesischen Koordinaten, bei dem (a) Meßlinien (l im wesentlichen senkrecht zur Abtastung eines Bildsensors, insbesondere CCD-Bildsensors, auf eine Oberfläche des räumlichen Objekts projiziert werden; (b) zwei Bildzeilen des Bildsensors ausgelesen und verarbeitet werden;
2. Verfahren nach Anspruch 1, bei dem nicht benötigte Bildzeilen des Bildsensors (bereits) im Sensor selbst gelöscht werden.
3. Verfahren nach Anspruch 1 oder 2, bei dem eine dritte Bildzeile ausgelesen und - zur Erhöhung der Meßgenauigkeit - ausgewertet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, bei dem die erste Bildzeile eine Vorlaufzeile und die dritte Bildzeile eine Nachlaufzeile ist, während die zweite Bildzeile zur Berechnung der Ist-Position des Werkzeug-Bezugspunktes des Roboters ausgeweitet wird, dessen Position relativ zur Bahnlinie zu steuern oder zu regeln ist.
5. Verfahren nach einem der erwähnten .Ansprüche, bei dem der Bildsensor abweichend vom CCIR-Fernsehstandard etwa im Zeitraster des Interpolation- oder Abtasttaktes des Robotersteuerung und/oder Roboterregelung angesteuert bzw. ausgelesen wird.
6. Verfahren nach Anspruch 5, bei dem der Bildsensor im Zeitraster der Interpolation oder des Abtastens der Regelung gelöscht wird.
7. Verfahren nach einem der erwähnten Ansprüche; bei dem der Abstand zwischen verschiedenen Meßlinien (lj) und der Bahnkurve (B) ermittelt wird, um mittels einer Interpolation das Zentrum (Z) der Bahnkurve (B) zu ermitteln.
8. Verfahren nach einem der erwähnten Ansprüche, bei dem die Meßlinien (lj) geradlinig, parallel und insbesondere äquidistant sind.
Verfahren nach einem der erwähnten Ansprüche, bei dem beidsetig der Bahnkurve (B) eine gleiche Anzahl von Meßlinien (lj) projiziert werden.
10. Verwendung der Anti-Blooming-Elektrode eines CCD-Sensors zum Löschen des CCD- Inhaltes (der darauf befindlichen Ladung), bevor der CCD-Inhalt (ganz) ausgelesen wurde.
11. Verwendung nach Anspruch 10, wobei das Ladungsbild mit der Anti-Blooming- Elektrode nach Auslesen einiger Zeilen gelöscht wird.
12. Verwendung nach Anspruch 10 oder 11 , wobei das Ladungsbild des Sensors gelöscht wird, nachdem (nur) eine Zeile ausgelesen wurde.
13. CCD-Bildsensor ohne Speicherzone und mit direkt an der (Ladungs-) Bildzone angeordnetem Seriell- Ausleseregister .
14. CCD-Bildsensor nach Anspruch 13, bei dem eine Fenster- Ausblendeinheit vorgesehen ist.
15. Meßeinrichtung für Handhabungssysteme, bei der
(a) ein mit der Roboterhand mitgeführter, zeilenorientierter Bildsensor, insbesondere ein CCD-Sensor, vorgesehen ist; (b) eine Ausleseeinrichtung für einzelne Zeilen des zeilenorientierten Bildsensors vorgesehen ist; (c) eine Ladungs-Löscheinrichtung den Gesamtinhalt des Sensors löscht, nachdem eine, zwei oder drei Zeilen ausgelesen wurde und bevor der gesamte Bildinhalt des Sensors (5) zeilenweise gelesen wurde.
16. Meßeinrichtung nach Anspruch 15, bei der eine Projektionseinrichtung dünne, im wesentliche gerade Meßlinien auf das vom Handhabungssystem zu bearbeitende oder zu ergreifende räumliche Objekt projiziert.
17. Meßeinrichtung nach Anspruch 15 oder 16, bei der die Meßlinien (l impulsartig auf das Objekt projiziert werden.
18. Meßeinrichtung nach einem der Ansprüche 15 bis 17, bei der die Projektion der Meßlinien und die "Belichtung" des CCD-Chips (Freigeben und Herausschieben) von einer Synchroneinheit synchronisiert werden.
19. Meßeinrichtung nach Anspruch 18, bei der die Synchroneinheit zwei Schieberegister zur Steuerung der Verzögerung und des Zeitpunktes des Herausschiebens des Ladungsbildes aufweist.
20. Verfahren zum zeitoptimalen Auslesen beliebig wählbarer Bildausschnitte auf einem zeilenorientierten Chip ohne ein Auslesen des Gesamt-Bildes aus der Bildzone des Chips, bei dem
(a) eine oder mehrere Zeilen ganz oder teilweise ausgelesen werden;
(b) die ausgelesenen Analogwerte der Zeilen digitalisiert werden und die digitalisierten Werte in einem Digital-Bildspeicher in den Adressenbereich gespeichert werden, der dem Ladungsbild-Bildausschnitt entspricht, das ausgelesen wurde;
(c) das Rest- oder Gesamt-Ladungsbild unmittelbar auf dem Chip gelöscht wird.
21. Verfahren insbesondere nach Anspruch 20, bei dem das Auslesen und das Aufintegrieren in einem CCD-Chip verschachtelt wird, wobei
(a) das in die Speicherzone des CCD-Chips verschobene Teilbild (weiter) zum Ausleseregister verschoben wird;
(b) das (noch) in der Bildzone des CCD-Chips befindliche Ladungsbild über das "Anti-Blooming-Drain" des CCD-Chips gelöscht wird; (c) (schon) während des Verschiebens oder Auslesens gemäß (a) ein neues
Ladungsbild in der Bildzone des CCD-Chips aufgebaut wird.
22. Verfahren nach Anspruch 20 oder 21, bei dem der beliebig wählbare Bildausschnitt in seiner Größe und/oder seiner Lage auf der Bildzone des CCD-Chip verändert wird.
23. Verfahren nach einem der Ansprüche 20 bis 22, bei dem die Veränderung abhängig von der Bewegung einer markanten - insbesondere hellen - Stelle im Bildausschnitt erfolgt.
24. Verfahren nach Anspruch 20 bis 23, bei dem das Ausleseregister abhängig von der Lage des Teilbildes in Ausleserichtung nach der einen oder anderen Seite aus dem Ausleseregister ausgelesen wird (Bild 3.6).
PCT/DE1995/000230 1994-02-23 1995-02-22 Ccd-sensorsystem für bahnverfolgung von handhabungssystemen WO1995023364A2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE4405865A DE4405865C2 (de) 1994-02-23 1994-02-23 Verfahren zur Erfassung von Bildinhalten eines zeilenorientierten Bildsensors und zugehörige Einrichtung für Handhabungssysteme
DEP4405865.9 1994-02-23

Publications (2)

Publication Number Publication Date
WO1995023364A2 true WO1995023364A2 (de) 1995-08-31
WO1995023364A3 WO1995023364A3 (de) 1995-12-28

Family

ID=6511019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE1995/000230 WO1995023364A2 (de) 1994-02-23 1995-02-22 Ccd-sensorsystem für bahnverfolgung von handhabungssystemen

Country Status (2)

Country Link
DE (1) DE4447434A1 (de)
WO (1) WO1995023364A2 (de)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954773B1 (de) * 1997-01-22 2002-09-04 Siemens Aktiengesellschaft Verfahren und anordnung zur andockpositionierung einer autonomen mobilen einheit
WO2010130401A3 (de) * 2009-05-13 2011-01-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Regelvorrichtung zur erzeugung eines steuer- und/oder regelsignals für eine stellgrösse eines umformprozesses des messobjekts
CN106985142A (zh) * 2017-04-28 2017-07-28 东南大学 一种用于全向移动机器人的双视觉循迹装置和方法
US20230154071A1 (en) * 2021-11-12 2023-05-18 Rockwell Collins, Inc. Conversion of filled areas to run length encoded vectors
US11842429B2 (en) 2021-11-12 2023-12-12 Rockwell Collins, Inc. System and method for machine code subroutine creation and execution with indeterminate addresses
US11854110B2 (en) 2021-11-12 2023-12-26 Rockwell Collins, Inc. System and method for determining geographic information of airport terminal chart and converting graphical image file to hardware directives for display unit
US11915389B2 (en) 2021-11-12 2024-02-27 Rockwell Collins, Inc. System and method for recreating image with repeating patterns of graphical image file to reduce storage space
US11954770B2 (en) 2021-11-12 2024-04-09 Rockwell Collins, Inc. System and method for recreating graphical image using character recognition to reduce storage space
US12002369B2 (en) 2021-11-12 2024-06-04 Rockwell Collins, Inc. Graphical user interface (GUI) for selection and display of enroute charts in an avionics chart display system
US12254282B2 (en) 2021-11-12 2025-03-18 Rockwell Collins, Inc. Method for automatically matching chart names
US12306007B2 (en) 2021-11-12 2025-05-20 Rockwell Collins, Inc. System and method for chart thumbnail image generation
US12304648B2 (en) 2021-11-12 2025-05-20 Rockwell Collins, Inc. System and method for separating avionics charts into a plurality of display panels

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4265851B2 (ja) * 2000-02-07 2009-05-20 富士フイルム株式会社 蛍光撮像装置
AU2002328316A1 (en) * 2001-07-16 2003-03-03 Werth Messtechnik Gmbh Method for measuring an object by means of a co-ordinate measuring device with an image processing sensor
CN108032315A (zh) * 2017-12-06 2018-05-15 珠海佳影科技发展有限公司 自动取货机器人控制系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4369468A (en) * 1979-05-29 1983-01-18 Texas Instruments Incorporated Block output CCD imager
US4954962A (en) * 1988-09-06 1990-09-04 Transitions Research Corporation Visual navigation and obstacle avoidance structured light system
CA2021052C (en) * 1990-07-12 1995-08-29 Clifford D. Anger Pushbroom spectrographic imager

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0954773B1 (de) * 1997-01-22 2002-09-04 Siemens Aktiengesellschaft Verfahren und anordnung zur andockpositionierung einer autonomen mobilen einheit
WO2010130401A3 (de) * 2009-05-13 2011-01-27 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Regelvorrichtung zur erzeugung eines steuer- und/oder regelsignals für eine stellgrösse eines umformprozesses des messobjekts
CN106985142A (zh) * 2017-04-28 2017-07-28 东南大学 一种用于全向移动机器人的双视觉循迹装置和方法
US20230154071A1 (en) * 2021-11-12 2023-05-18 Rockwell Collins, Inc. Conversion of filled areas to run length encoded vectors
US11842429B2 (en) 2021-11-12 2023-12-12 Rockwell Collins, Inc. System and method for machine code subroutine creation and execution with indeterminate addresses
US11854110B2 (en) 2021-11-12 2023-12-26 Rockwell Collins, Inc. System and method for determining geographic information of airport terminal chart and converting graphical image file to hardware directives for display unit
US11887222B2 (en) * 2021-11-12 2024-01-30 Rockwell Collins, Inc. Conversion of filled areas to run length encoded vectors
US11915389B2 (en) 2021-11-12 2024-02-27 Rockwell Collins, Inc. System and method for recreating image with repeating patterns of graphical image file to reduce storage space
US11954770B2 (en) 2021-11-12 2024-04-09 Rockwell Collins, Inc. System and method for recreating graphical image using character recognition to reduce storage space
US12002369B2 (en) 2021-11-12 2024-06-04 Rockwell Collins, Inc. Graphical user interface (GUI) for selection and display of enroute charts in an avionics chart display system
US12254282B2 (en) 2021-11-12 2025-03-18 Rockwell Collins, Inc. Method for automatically matching chart names
US12306007B2 (en) 2021-11-12 2025-05-20 Rockwell Collins, Inc. System and method for chart thumbnail image generation
US12304648B2 (en) 2021-11-12 2025-05-20 Rockwell Collins, Inc. System and method for separating avionics charts into a plurality of display panels

Also Published As

Publication number Publication date
DE4447434A1 (de) 1995-08-31
WO1995023364A3 (de) 1995-12-28

Similar Documents

Publication Publication Date Title
WO1995023364A2 (de) Ccd-sensorsystem für bahnverfolgung von handhabungssystemen
DE69020033T2 (de) Apparat für das Messen dreidimensionaler gekrümmter Formen.
DE60127644T2 (de) Lehrvorrichtung für einen Roboter
DE3841387C2 (de)
DE102010062496B4 (de) Verfahren und Vorrichtung zum Verarbeiten von Bildinformationen zweier zur Bilderfassung geeigneter Sensoren eines Stereo-Sensor-Systems
DE3782975T2 (de) Automatische fokussierungsschaltung.
DE3013282C2 (de) Detektoranordnung für ein automatisches Fokussiersystem
EP2710794A2 (de) Verfahren zur erzeugung und auswertung eines bilds
DE4335088A1 (de) Bildaufnahmegerät
EP0095660A2 (de) Stereophotogrammetrisches Aufnahme- und Auswerteverfahren
DE2643809B2 (de) Verfahren zum Einjustieren eines Körpers
DE3635687C2 (de)
DE4405865C2 (de) Verfahren zur Erfassung von Bildinhalten eines zeilenorientierten Bildsensors und zugehörige Einrichtung für Handhabungssysteme
DE69721520T2 (de) System mit einem Photosensor, insbesonder zur Zeitmessung bei Wettkämpfen, und Einstellverfahren zum Ausrichten eines solchen Systems auf eine Ziellinie
WO2020125877A2 (de) Synchronisiertes kamerasystem mit zwei unterschiedlichen kameras
DE2506325A1 (de) Anordnung zur steuerung von luftbildaufnahmekameras
DE3225467A1 (de) Verfahren und anordung zur steuerung der akkumulati onszeit fuer ein mit signalakkumulation arbeitendes strahlungsfuehlgeraet
DE3110828C2 (de) Verfahren und Anordnung zur Erzeugung von miteinander zu korrelierenden Signalen, insbesondere zur berührungslosen Geschwindigkeitsmessung
EP0157148A1 (de) Verfahren zur berührungslosen Messung der Länge eines bewegten Gegenstandes und Messvorrichtung zur Durchführung des Verfahrens
DD241471A1 (de) Verfahren und anordnung zur automatischen steuerung von luftbildkameras
DE10017333A1 (de) Schutzvorrichtung zum Absichern eines Gefahrenbereichs sowie Verfahren zum Überprüfen der Funktionssicherheit einer solchen
DE4120623C2 (de)
DE4309353C2 (de) Verwendung einer Videokamera und Vorrichtung zur stroboskopischen Aufzeichnung von Vorgängen
DE4032193C2 (de)
DE102005060048B4 (de) Vorrichtung und Verfahren zur Aufnahme und Verarbeitung mindestens einer getakteten Bildfolge

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A2

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A2

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LU MC NL PT SE

121 Ep: the epo has been informed by wipo that ep was designated in this application
DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
AK Designated states

Kind code of ref document: A3

Designated state(s): JP US

AL Designated countries for regional patents

Kind code of ref document: A3

Designated state(s): AT BE CH DE DK ES FR GB GR IE IT LU MC NL PT SE

ENP Entry into the national phase

Ref country code: US

Ref document number: 1997 700392

Date of ref document: 19970228

Kind code of ref document: A

Format of ref document f/p: F

122 Ep: pct application non-entry in european phase