DE102023000706A1

DE102023000706A1 - Multimodal vehicle operating system with adaptive feedback

Info

Publication number: DE102023000706A1
Application number: DE102023000706.4A
Authority: DE
Inventors: Jonas David Glimmann; Julian Gruber; Felix Schüssel
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-02-28
Filing date: 2023-02-28
Publication date: 2024-08-29
Also published as: WO2024179862A1

Abstract

Die Erfindung betrifft ein Bediensystem für ein Fahrzeug, aufweisend eine Steuereinheit (1) und eine Bedienschnittstelle (3), die Anwender-Eingaben erfasst und graphisch ein oder mehrere Objekte (5) auf einer Anzeigeoberfläche darstellt, wobei Eingaben als Sprachbefehl und als eine von einem Sprachbefehl verschiedene Eingabe vorgenommen werden können, wobei die Steuereinheit (1) dazu ausgeführt ist, abhängig von einer vom Sprachbefehl verschiedenen Eingabe ein bestimmtes Objekt (5) der Anzeigeoberfläche auszuwählen, sowie einen Sprachbefehl durch Inhaltsanalyse auf inhaltlichen Bezug zum ausgewählten Objekt (5) zu überprüfen, und die Anzeigeoberfläche zum Ausgeben einer zu allen Objekten (5) der Anzeigeoberfläche bezugslosen ersten Rückmeldungsvisualisierung (7) bezüglich des Sprachbefehls anzusteuern, wenn kein inhaltlicher Bezug festgestellt wird, und die Anzeigeoberfläche zum Ausgeben einer dem ausgewählten Objekt (5) zugeordneten zweiten Rückmeldungsvisualisierung (9) bezüglich des Sprachbefehls mit Kennzeichnung des ausgewählten Objekts (5) auf der Anzeigeoberfläche auszugeben, wenn ein inhaltlicher Bezug festgestellt wird.The invention relates to an operating system for a vehicle, having a control unit (1) and an operating interface (3) which records user inputs and graphically displays one or more objects (5) on a display surface, wherein inputs can be made as a voice command and as an input different from a voice command, wherein the control unit (1) is designed to select a specific object (5) of the display surface depending on an input different from the voice command, and to check a voice command for content-related reference to the selected object (5) by means of content analysis, and to control the display surface to output a first feedback visualization (7) relating to the voice command that is unrelated to all objects (5) of the display surface if no content-related reference is determined, and to control the display surface to output a second feedback visualization (9) relating to the voice command that is associated with the selected object (5) and identifies the selected object (5) on the display surface if a content-related reference is determined.

Description

Die Erfindung betrifft ein Bediensystem für ein Fahrzeug, sowie ein Fahrzeug mit einem solchen Bediensystem.The invention relates to an operating system for a vehicle, as well as a vehicle with such an operating system.

Die zunehmende Vielfalt und Komplexität von Fahrzeugsubsystemen, insbesondere Komfortsystemen, Unterhaltungssystemen und Navigationssystemen, erfordert ein passendes Bedienkonzept, so dass für den Anwender im Fahrzeug nachvollziehbare und leicht verständliche Bedienmöglichkeiten zur Verfügung stehen. Aus der Praxis sind verschiedene Möglichkeiten zum Vornehmen einer Eingabe bekannt, beispielsweise über eine berührende Eingabe an mechanischen Schaltern und Knöpfen oder an digitalen Schaltern und Knöpfen beispielsweise eines Touchscreens. Auch Spracheingaben sind etablierte Eingabemethoden. Eine Erweiterung dieser Möglichkeiten der Mensch-Maschine-Interaktion bilden multimodale Bedienungen. Dabei werden elementare Eingabemöglichkeiten wie die oben genannten kombiniert, sodass beispielsweise vom Anwender ein erster Teil der vollständigen zu übermittelnden Information per Spracheingabe und ein anderer Teil per Geste an ein Bediensystem übermittelt wird. Im Stand der Technik ist es bekannt, einen während oder nach einer erfassten Geste eines Fahrzeuginsassen eines Kraftfahrzeugs ausgeführten Sprachbefehl zu erfassen und Geste und Sprachbefehl funktional miteinander in Verbindung zu setzen:

Die DE 10 2012 013 503 A1 betrifft hierzu ein Verfahren zum Betreiben eines Kraftwagens, mit den Schritten: Erfassen einer auf ein Objekt gerichteten Geste eines Fahrzeuginsassen mittels einer Gestenerkennungseinheit; Interpretieren der Geste und Identifizieren des Objekts mittels einer Datenverarbeitungseinheit; Generieren eines entsprechenden Steuerbefehls in Abhängigkeit von der interpretierten Geste und des identifizierten Objekts und Ansteuern eines Assistenzsystems des Kraftwagens gemäß dem Steuerbefehl mittels der Datenverarbeitungseinheit; Erfassen eines vor, während oder nach dem Erfassen der Geste geäußerten Sprachbefehls des Fahrzeuginsassen mittels einer Spracherkennungseinheit; kombiniertes Interpretieren der Geste, des identifizierten Objekts und des Sprachbefehls sowie Generieren des Steuerbefehls in Abhängigkeit von der kombinierten Interpretation mittels der Datenverarbeitungseinheit.

The increasing variety and complexity of vehicle subsystems, in particular comfort systems, entertainment systems and navigation systems, requires a suitable operating concept so that the user in the vehicle has comprehensible and easily understandable operating options available. Various options for making an input are known from practice, for example via touch input on mechanical switches and buttons or on digital switches and buttons, for example on a touchscreen. Voice input is also an established input method. Multimodal operations represent an extension of these options for human-machine interaction. Elementary input options such as those mentioned above are combined so that, for example, the user transmits a first part of the complete information to be transmitted via voice input and another part via gesture to an operating system. In the prior art, it is known to record a voice command executed during or after a recorded gesture by a vehicle occupant of a motor vehicle and to functionally link the gesture and voice command:

The EN 10 2012 013 503 A1 relates to a method for operating a motor vehicle, comprising the steps of: detecting a gesture of a vehicle occupant directed at an object by means of a gesture recognition unit; interpreting the gesture and identifying the object by means of a data processing unit; generating a corresponding control command depending on the interpreted gesture and the identified object and controlling an assistance system of the motor vehicle in accordance with the control command by means of the data processing unit; detecting a voice command uttered by the vehicle occupant before, during or after detecting the gesture by means of a voice recognition unit; combined interpretation of the gesture, the identified object and the voice command and generating the control command depending on the combined interpretation by means of the data processing unit.

Aufgabe der Erfindung ist es, eine multimodale Bedienung eines Bediensystems für ein Fahrzeug zu verbessern, welches insbesondere die Möglichkeit einer Sprachsteuerung und eine von einer Sprachsteuerung verschiedene Eingabe erlaubt.The object of the invention is to improve a multimodal operation of an operating system for a vehicle, which in particular allows the possibility of voice control and an input other than voice control.

Die Erfindung ergibt sich aus den Merkmalen der unabhängigen Ansprüche. Vorteilhafte Weiterbildungen und Ausgestaltungen sind Gegenstand der abhängigen Ansprüche.The invention results from the features of the independent claims. Advantageous further developments and embodiments are the subject of the dependent claims.

Ein erster Aspekt der Erfindung betrifft ein Bediensystem für ein Fahrzeug, aufweisend eine Steuereinheit und eine Bedienschnittstelle, die dazu ausgeführt ist, durch einen Anwender vorgenommene Eingaben zu erfassen und auf Ansteuerung durch die Steuereinheit hin graphisch ein oder mehrere Objekte auf einer Anzeigeoberfläche darzustellen, wobei Eingaben als Sprachbefehl und als eine von einem Sprachbefehl verschiedene Eingabe an der Bedienschnittstelle vorgenommen werden können, wobei die Steuereinheit dazu ausgeführt ist, abhängig von einer vom Sprachbefehl verschiedenen Eingabe ein bestimmtes Objekt der Anzeigeoberfläche auszuwählen, sowie einen Sprachbefehl durch Inhaltsanalyse auf inhaltlichen Bezug zum ausgewählten Objekt zu überprüfen, und

- die Anzeigeoberfläche zum Ausgeben einer zu allen Objekten der Anzeigeoberfläche bezugslosen ersten Rückmeldungsvisualisierung bezüglich des Sprachbefehls anzusteuern, wenn kein inhaltlicher Bezug festgestellt wird, und
- die Anzeigeoberfläche zum Ausgeben einer dem ausgewählten Objekt zugeordneten zweiten Rückmeldungsvisualisierung bezüglich des Sprachbefehls mit Kennzeichnung des ausgewählten Objekts auf der Anzeigeoberfläche auszugeben, wenn ein inhaltlicher Bezug festgestellt wird.

A first aspect of the invention relates to an operating system for a vehicle, comprising a control unit and an operating interface, which is designed to record inputs made by a user and, when controlled by the control unit, to graphically display one or more objects on a display surface, wherein inputs can be made as a voice command and as an input other than a voice command on the operating interface, wherein the control unit is designed to select a specific object of the display surface depending on an input other than the voice command, and to check a voice command for content-related reference to the selected object by means of content analysis, and

- to control the display surface to output a first feedback visualization with respect to the voice command that is unrelated to all objects on the display surface if no content-related reference is detected, and
- the display surface for outputting a second feedback visualization associated with the selected object with respect to the voice command, with identification of the selected object on the display surface, when a content reference is detected.

Durch das erfindungsgemäße Bediensystem wird insbesondere die Problematik gelöst, dass grundsätzlich auf jede Eingabe eines Anwenders an einer Mensch-Maschine-Schnittstelle hin idealerweise auch eine adäquate Rückmeldung über die Vornahme der Eingabe und den Erhalt der Eingabe an der Maschine erfolgt. Indem durch das erfindungsgemäße Bediensystem eine Unterscheidung getroffen wird, ob ein vorgenommener Sprachbefehl und eine zweite, davon verschiedene Eingabe des Anwenders inhaltlich miteinander zusammengehören oder nicht, kann eine für beide Fälle jeweils passende Rückmeldung für den Anwender erfolgen.The operating system according to the invention solves the problem in particular that, in principle, every input made by a user at a human-machine interface ideally also requires adequate feedback about the input being made and the input being received by the machine. By making a distinction through the operating system according to the invention as to whether a voice command made and a second, different input made by the user belong together in terms of content or not, the user can receive appropriate feedback for both cases.

Es wird damit insbesondere berücksichtigt, wenn eine Spracheingabe und eine zweite von der Spracheingabe verschiedene Eingabe vom Anwender vorgenommen wird, sodass die eingegebenen Informationen dementsprechend zwar mittels unterschiedlicher Modalitäten (Sprache und nicht Sprache) übertragen werden, beide Eingaben mit zueinander unterschiedlichen Modalitäten sich jedoch auf die gleiche Absicht beziehen und demnach inhaltlich miteinander verkoppelt sind. Liegt ein solcher Fall vor, wird gezielt eine zweite Rückmeldungsvisualisierung ausgegeben, die sich von einer ersten Rückmeldung unterscheidet, wobei Letztere nur dann angewendet wird, wenn kein inhaltlicher Zusammenhang feststellbar ist. Liegt der Fall vor, dass kein inhaltlicher Zusammenhang zwischen einer Spracheingabe und einer von der Spracheingabe verschiedenen Eingabe feststellbar ist, so wird mithilfe der ersten Rückmeldungsvisualisierung bezüglich des Sprachbefehls ein generelles Feedback zum Erhalt, Verarbeitung oder Ähnliches des Sprachbefehls selbst gegeben, ohne dass dabei auf die sich vom Sprachbefehl unterscheidende weitere Eingabe des Anwenders oder dessen Ergebnis durch die erste Rückmeldungsvisualisierung Bezug genommen wird. Dies schließt nicht aus, dass in einem solchen Fall eine weitere Rückmeldung in Bezug auf die sich vom Sprachbefehl verschiedene Eingabe erfolgt.This takes into account in particular when a voice input and a second input different from the voice input are made by the user, so that the information entered is transmitted using different modalities (voice and non-voice), but both inputs with different modalities relate to the same intention and are therefore linked in terms of content. If such a case occurs, a second feedback is specifically provided. visualization is issued that differs from a first feedback, the latter only being used if no substantive connection can be determined. If no substantive connection can be determined between a voice input and an input that differs from the voice input, the first feedback visualization with respect to the voice command is used to provide general feedback on the receipt, processing or similar of the voice command itself, without reference being made to the further input by the user that differs from the voice command or its result through the first feedback visualization. This does not rule out the possibility of further feedback being given in such a case with respect to the input that differs from the voice command.

Der Begriff des Sprachbefehl ist im weiteren Sinne auch als eine an das Bediensystem gestellte Frage zu verstehen, da eine menschliche Anfrage an ein maschinelles Bediensystem immer die Aufforderung zum Ausführen einer Funktion, insbesondere zum Ausgeben einer Antwort umfasst. Das Steuergerät ermittelt die Bedeutung des Sprachbefehls vorzugsweise mittels einer semantischen Analyse. Nach einer beispielhaften Ausführungsform kann des Weiteren ein Sprachbefehl vorgegeben werden, der sich auf ein erstes Fahrzeugsubsystem bezieht, und eine vom Sprachbefehl verschiedene Eingabe durch Gestensteuerung wie einer Berührung eines Objekts aus einer Vielzahl von Objekten, die an der Anzeigeoberfläche dargestellt werden und sich auf Parameter eines anderen Fahrzeugsubsystems beziehen. In diesem Fall kann die generische erste Rückmeldungsvisualisierung bezüglich des Sprachbefehls auf der Anzeigeoberfläche dargestellt werden, während das berührte Objekt als solches markiert wird, die Rückmeldungsvisualisierung aber keinen Bezug zum markierten Objekt aufweist. Dem Anwender ist in diesem Fall eine Rückmeldung gegeben, dass auch die Mensch-Maschine-Schnittstelle seinen Sprachbefehl und seine Geste als voneinander unabhängige Befehle verstanden hat. Wird demgegenüber ein inhaltlicher Bezug festgestellt, so wird durch die Darstellung der zweiten Rückmeldungsvisualisierung explizit ein Bezug zwischen dem erfassten Sprachbefehl und zu der vom Sprachbefehl verschiedenen Eingabe hergestellt. Dies erfolgt insbesondere dadurch, dass das ausgewählte Objekt auf der Anzeigefläche markiert wird und die zweite Rückmeldungsvisualisierung dem ausgewählten Objekt mittels Visualisierung zugeordnet wird, sodass der Anwender versteht, dass vom Bediensystem der gewünschte Zusammenhang zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe berücksichtigt wird. Vorteilhaft wird in diesem Fall das ausgewählte Objekt mit einer solchen Visualisierung markiert, die es dem Anwender intuitiv verständlich macht, dass ein dem Objekt zugeordneter Sprachbefehl erfasst wird. Insbesondere erfolgt dies vorteilhaft mit entsprechenden Symbolen oder Animationen mit Darstellungen zu menschlichen Ohren, Schallwellen, Tonmuster, Musiknoten, oder andern leicht verständlichen Symbolen für den Anwender.The term voice command is also to be understood in a broader sense as a question posed to the operating system, since a human request to a machine operating system always includes the request to carry out a function, in particular to output a response. The control unit determines the meaning of the voice command preferably by means of a semantic analysis. According to an exemplary embodiment, a voice command can also be specified that relates to a first vehicle subsystem, and an input that is different from the voice command can be provided by gesture control, such as touching an object from a plurality of objects that are displayed on the display surface and relate to parameters of another vehicle subsystem. In this case, the generic first feedback visualization relating to the voice command can be displayed on the display surface, while the touched object is marked as such, but the feedback visualization has no reference to the marked object. In this case, the user is given feedback that the human-machine interface has also understood his voice command and his gesture as independent commands. If, on the other hand, a content-related reference is established, the display of the second feedback visualization explicitly establishes a reference between the recorded voice command and the input that is different from the voice command. This is done in particular by marking the selected object on the display area and assigning the second feedback visualization to the selected object by means of visualization, so that the user understands that the operating system takes into account the desired connection between the voice command and the input that is different from the voice command. In this case, the selected object is advantageously marked with a visualization that makes it intuitively understandable to the user that a voice command assigned to the object is being recorded. In particular, this is advantageously done with corresponding symbols or animations with representations of human ears, sound waves, sound patterns, musical notes, or other easily understandable symbols for the user.

Die Steuereinheit ist dabei ein Hardwaregerät mit einem mit vorzugsweise als integrierte Schaltung ausgeführten Prozessor, der mit Hilfe von beispielsweise in einem ROM-(Read Only Memory), RAM- (Random Access Memory) und/oder FlashROM -Speicher gespeicherten Daten und/oder Programmen Rechenoperationen durchführt. Der von dem Mikrofon empfangen Sprachbefehl und die vom Sprachbefehl verschiedene Eingaben zur Bestimmung des Objekts werden nach Bedarf in einem Speicher des Steuergerätes zwischengespeichert und über ein internes Bussystem vom Prozessor abgerufen und verarbeitet. Die von dem Prozessor bestimmten Ausgangsdaten werden zur Ansteuerung des Bedienfeldes ausgegeben.The control unit is a hardware device with a processor, preferably implemented as an integrated circuit, which carries out arithmetic operations with the help of data and/or programs stored in a ROM (Read Only Memory), RAM (Random Access Memory) and/or FlashROM memory, for example. The voice command received by the microphone and the various inputs for determining the object, which are different from the voice command, are temporarily stored in a memory of the control unit as required and are called up and processed by the processor via an internal bus system. The output data determined by the processor are output to control the control panel.

Die Steuereinheit ist dabei eingerichtet einen inhaltlichen Bezug zwischen dem Sprachbefehl und dem ausgewählten Objekt herzustellen. Die Steuereinheit umfasst hierzu vorzugweise eine Recheneinheit oder ein Rechenmodul, das insbesondere eine entsprechende Rechenleistung und/oder abgespeicherte Daten aus Vorwissen aufweist, um auf inhaltlichen Bezug zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe analysieren zu können. Die Prüfung auf inhaltlichen Bezug erfolgt bevorzugt mittels vorab gespeicherter tabellarischer Informationen, besonders bevorzugt durch die Anwendung eines vorab trainierten künstlichen neuronalen Netzes. Durch die leichtere Verfügbarkeit von Rechenleistung und Speicherkapazität wird es zunehmend leichter, sehr große und komplexe künstliche neuronale Netze mit einer Vielzahl von Eingaben zu trainieren, sodass der Befehlsraum für Sprachbefehle und deren inhaltliches Verständnis für eine Steuereinheit ausreichend groß aufgebaut werden kann, sodass für den Anwender eine intuitive Interaktion zwischen dem Bediensystem und ihm möglich ist.The control unit is designed to establish a content-related relationship between the voice command and the selected object. For this purpose, the control unit preferably comprises a computing unit or a computing module, which in particular has appropriate computing power and/or stored data from prior knowledge in order to be able to analyze the content-related relationship between the voice command and the input that is different from the voice command. The check for content-related relationship is preferably carried out using previously stored tabular information, particularly preferably by using a previously trained artificial neural network. Due to the easier availability of computing power and storage capacity, it is becoming increasingly easier to train very large and complex artificial neural networks with a large number of inputs, so that the command space for voice commands and their content-related understanding can be built up sufficiently large for a control unit, so that the user can interact intuitively between the operating system and himself.

Ein weiterer Zweck der Steuereinheit ist es, die Inhalte der Anzeigeoberfläche zu bestimmen. Dazu verwendet die Steuereinheit entsprechende Software, um insbesondere eine grafische Oberfläche auf der Anzeigeoberfläche auszugeben, und ein oder mehrere Objekte auf der Anzeigeoberfläche darzustellen. Die Objekte sind bevorzugt Symbole, Icons, Menüs, Menüleisten, Sucheingabe-Flächen, oder andere GUI- Elemente. Die verschiedenen Objekte können sich einerseits auf verschiedene Fahrzeugsubsysteme beziehen, können jedoch auch Elemente von Inhalten darstellen, wie verschiedene Kartenelemente einer digitalen Karte.Another purpose of the control unit is to determine the contents of the display surface. To do this, the control unit uses appropriate software to display a graphical interface on the display surface and to display one or more objects on the display surface. The objects are preferably symbols, icons, menus, menu bars, search input areas, or other GUI elements. The various objects can refer to different vehicle subsystems, but can also also represent elements of content, such as different map elements of a digital map.

Ein inhaltlicher Bezug bedeutet insbesondere, dass der Sprachbefehl ohne die vom Sprachbefehl verschiedene Eingabe, sowie die vom Sprachbefehl verschiedene Eingabe ohne den Sprachbefehl, eine jeweilige unvollständige Eingabe darstellt und die Paare erst in Kombination miteinander zu einer vollständigen Eingabe (auch im Sinne einer Anfrage an das Bediensystem) werden. Der inhaltliche Bezug verknüpft somit insbesondere semantisch den Sprachbefehl und die vom Sprachbefehl verschiedene Eingabe. Beispielsweise wird das Antippen eines bestimmten Objekts einer digitalen Karte mit mehreren Kartenelementen in Kombination mit dem gleichzeitigen (oder kurz vorher oder kurz nachher stattfindenden) Aussprechen einer Frage zu einer vollständigen Eingabe für das Bediensystem. Die Steuereinheit ist zur Erkennung eines solchen inhaltlichen Bezugs ausgeführt. Im oben beispielhaft erläuterten Fall des Antippens eines Objekts auf einer digitalen Karte kann beispielsweise der zeitgleich oder zeitnah in Verbindung damit ausgeführte Sprachbefehl analysiert werden, und geprüft werden, ob insbesondere ein Stichwort im Sprachbefehl zu allen verfügbaren zum Objekt zugeordneten Optionen oder möglichen Informationsausgaben passend ist, oder in einer weitergehenden Ausführungsform, ob der Sprachbefehl als Ganzes und damit über das Stichwort alleine hinausgehend syntaktisch und/oder semantisch einen sinnhaften Bezug zu irgendeiner von mit dem Objekt der Karte verknüpften Interaktionsoptionen oder Informationsmöglichkeiten für den Anwender durch das Bediensystem aufweist. A content-related reference means in particular that the voice command without the input that differs from the voice command, as well as the input that differs from the voice command without the voice command, represents an incomplete input in each case, and the pairs only become a complete input (also in the sense of a query to the operating system) when combined with one another. The content-related reference thus semantically links the voice command and the input that differs from the voice command. For example, tapping a specific object on a digital map with multiple map elements in combination with the simultaneous (or shortly before or shortly after) uttering of a question becomes a complete input for the operating system. The control unit is designed to recognize such a content-related reference. In the above-explained example of tapping an object on a digital map, the voice command executed at the same time or in a timely manner in connection with it can be analyzed, for example, and it can be checked whether a keyword in the voice command in particular matches all available options or possible information outputs associated with the object, or in a more extensive embodiment, whether the voice command as a whole and thus beyond the keyword alone has a syntactical and/or semantical meaningful reference to any of the interaction options or information options for the user linked to the object on the map through the operating system.

Abhängig von diesem inhaltlichen Bezug erfolgt entsprechend die Reaktion auf die vollständige Eingabe durch das Bediensystem, und, was entscheidend für die Benutzererfahrung und das Verständnis des Anwenders über die Vorgänge und die Interaktion mit dem Bediensystem im Sinne einer Mensch-Maschine-Schnittstelle ist, eine adaptive Rückmeldungsvisualisierung. So wird auch dem Anwender unmittelbar bewusst, ob sein intendierter Zusammenhang zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe auch als zusammenhängend vom Bediensystem erkannt wird.Depending on this content reference, the operating system reacts accordingly to the complete input and, what is crucial for the user experience and the user's understanding of the processes and interaction with the operating system in the sense of a human-machine interface, an adaptive feedback visualization. In this way, the user also becomes immediately aware of whether his intended connection between the voice command and the input that is different from the voice command is also recognized as connected by the operating system.

Die jeweilige Rückmeldungsvisualisierung ist eine grafisch dargestellte Rückmeldung, auch genannt Feedback, für den Anwender und kann ausgestaltet sein als statisches Symbol oder als dynamisches Symbol (Animation), insbesondere mit bewegten Elementen, dynamischen Farbänderungen, Größenänderungen etc.; in jedem Fall unterscheiden sich die erste Rückmeldungsvisualisierung und die zweite Rückmeldungsvisualisierung optisch voneinander.The respective feedback visualization is a graphically displayed feedback for the user and can be designed as a static symbol or as a dynamic symbol (animation), in particular with moving elements, dynamic color changes, size changes, etc.; in any case, the first feedback visualization and the second feedback visualization differ visually from each other.

Es ist daher eine vorteilhafte Wirkung der Erfindung, dass eine missverständnisfreie Eingabe ermöglicht wird. Dem Anwender ist dabei vorteilhaft klar, ob das Bediensystem die sprachliche Eingabe global verarbeitet oder bezogen auf ein Objekt verarbeitet. Die Informationsaufnahme des Anwenders während der Systemantwort des Bediensystems wird zudem verbessert. Der Anwender kann mit einem kurzen Blick erfassen, auf welches Objekt sich eine eventuelle akustische Antwort des Bediensystems bezieht bzw. ob sich die akustische Antwort überhaupt auf ein Objekt auf der Anzeigeoberfläche bezieht. Das Systemverständnis für einen neuen Anwender und/oder Beobachter kann erhöht werden. Durch dieses adaptive Feedback in Form der verschiedenen Rückmeldungsvisualisierungen kann dem Anwender die Möglichkeit einer multimodalen Eingabe erst bewusst werden. Das Bediensystem erscheint daher dem Anwender intelligenter, da die Fähigkeit der inhaltlichen Deutung von Spracheingaben noch mehr hervorgehoben wird.It is therefore an advantageous effect of the invention that misunderstanding-free input is made possible. The user is thus advantageously clear whether the operating system processes the voice input globally or in relation to an object. The user's information absorption during the system response of the operating system is also improved. The user can see at a glance which object a possible acoustic response from the operating system refers to or whether the acoustic response refers to an object on the display surface at all. The system understanding for a new user and/or observer can be increased. This adaptive feedback in the form of the various feedback visualizations can make the user aware of the possibility of multimodal input. The operating system therefore appears more intelligent to the user, as the ability to interpret the content of voice input is emphasized even more.

Gemäß einer vorteilhaften Ausführungsform ist die vom Sprachbefehl verschiedene Eingabe eine Geste des Anwenders, wobei die Steuereinheit dazu ausgeführt ist, abhängig von der Geste des Anwenders ein bestimmtes Objekt der Anzeigeoberfläche auszuwählen, wobei die Geste insbesondere zumindest eine aus den folgenden ist: Eine mit einem Finger des Anwenders die Anzeigeoberfläche berührende Geste, eine Blick-Geste, eine Wischgeste oder Zeigegeste mit einer Hand oder einem Finger des Anwenders im Raum mit einem Abstand zur Anzeigeoberfläche, eine Zeigersteuerung durch ein physisches Eingabeelement.According to an advantageous embodiment, the input other than the voice command is a gesture of the user, wherein the control unit is designed to select a specific object of the display surface depending on the gesture of the user, wherein the gesture is in particular at least one of the following: a gesture touching the display surface with a finger of the user, a look gesture, a swipe gesture or pointing gesture with a hand or a finger of the user in space at a distance from the display surface, a pointer control by a physical input element.

Ist die Geste eine Berührung der Anzeigeoberfläche durch den Anwender mit einem seiner Finger, wird als Anzeigeoberfläche bevorzugt ein berührungsempfindlicher Bildschirm verwendet, der beispielsweise resistiv und damit druckempfindlich, besonders bevorzugt jedoch kapazitiv ausgeführt ist. Gerade bei kapazitiver Ausführung reicht unter Umständen eine leicht schwebende Annäherung des Fingers an die Anzeigeoberfläche, die jedoch wegen ihrer großen Nähe zur Anzeigeoberfläche auch als Berührung gewertet werden kann.If the gesture is a touch of the display surface by the user with one of his fingers, a touch-sensitive screen is preferably used as the display surface, which is, for example, resistive and thus pressure-sensitive, but particularly preferably capacitive. Especially with capacitive designs, a slightly hovering approach of the finger to the display surface may be sufficient, but this can also be considered a touch due to its close proximity to the display surface.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die Anzeigeoberfläche zum Ausgeben der zweiten Rückmeldungsvisualisierung mit Kennzeichnung des ausgewählten Objekts nur dann anzusteuern, wenn die vom Sprachbefehl verschiedene Eingabe innerhalb einer vorgegebenen Zeitspanne und/oder zu einem vorgegebenem Zeitpunkt jeweils relativ zum Sprachbefehl erfolgt.According to a further advantageous embodiment, the control unit is designed to control the display surface for outputting the second feedback visualization with identification of the selected object only if the input different from the voice command occurs within a predetermined time period and/or at a predetermined point in time relative to the voice command.

Die Steuereinheit weist gemäß dieser Ausführungsform eine vorgegebene Relation auf, die den zeitlichen Bezug zwischen Sprachbefehl und der vom Sprachbefehl verschiedenen Eingabe zur Prüfung des inhaltlichen Bezugs vorgibt. Diese Relation gibt bevorzugt die Dauer einer vorgegebenen Zeitspanne an sowie einen Bezugspunkt zur Spracheingabe. So kann festgelegt werden, dass die Zeitspanne einen gewissen Betrag vor dem Beginn der Sprachnachricht beginnt, und einen gewissen Betrag nach dem Beginn oder dem Ende der Sprachnachricht endet. Wird innerhalb dieser festgelegten Zeitspanne die vom Sprachbefehl verschiedene Eingabe vorgenommen, wird sie von der Steuereinheit als zur Spracheingabe zugehörig festgelegt. Die Relation dieser Bezugspunkte wird durch den vorgegebenen Zeitpunkt ausgedrückt. Die Zeitspanne an sich beschreibt eine Zeitdauer, die durch die vorgegebenen Bezugspunkte relativ zur Spracheingabe definiert werden kann.According to this embodiment, the control unit has a predetermined relation that specifies the temporal relationship between the voice command and the input that differs from the voice command in order to check the content-related relationship. This relation preferably specifies the duration of a predetermined time period and a reference point for the voice input. It can thus be specified that the time period begins a certain amount before the start of the voice message and ends a certain amount after the start or end of the voice message. If the input that differs from the voice command is made within this specified time period, the control unit specifies it as belonging to the voice input. The relationship between these reference points is expressed by the predetermined time. The time period itself describes a period of time that can be defined by the predetermined reference points relative to the voice input.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die vorgegebene Zeitspanne und/oder den vorgegebenen Zeitpunkt jeweils relativ zum Sprachbefehl abhängig von einer aktuell sensorisch erfassten Fahrsituation des Fahrzeugs anzupassen.According to a further advantageous embodiment, the control unit is designed to adapt the predetermined time period and/or the predetermined point in time relative to the voice command depending on a currently sensor-detected driving situation of the vehicle.

Die Fahrsituation bestimmt maßgeblich die durchschnittliche Reaktionsdauer des Anwenders, insbesondere wenn der Anwender ein Fahrer des Fahrzeugs ist. Schwierige Fahrsituationen wie Kreuzungen, potentielle Kollisionsobjekte in der Umgebung des Fahrzeugs, etc. führen typischerweise dazu, dass der Anwender bzw. Fahrer des Fahrzeugs multimodale Eingaben über eine längere Zeitspanne gestreckt vornimmt. Dieser Umstand wird durch diese Ausführungsform berücksichtigt, indem bevorzugt mit zunehmender Schwierigkeit der Fahrsituationen, die eine höhere Konzentration auf das Verkehrsgeschehen erfordert, eine längere Zeitspanne definiert wird, innerhalb derer die von der Spracheingabe verschiedene Eingabe erfolgen muss, sodass beide Eingaben als zusammengehörig gewertet werden.The driving situation largely determines the average reaction time of the user, especially if the user is a driver of the vehicle. Difficult driving situations such as intersections, potential collision objects in the vicinity of the vehicle, etc. typically result in the user or driver of the vehicle making multimodal inputs over a longer period of time. This circumstance is taken into account by this embodiment by defining a longer period of time within which the input other than the voice input must be made, preferably as the driving situation becomes more difficult, requiring greater concentration on the traffic situation, so that both inputs are considered to belong together.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die vorgegebene Zeitspanne und/oder den vorgegebenen Zeitpunkt jeweils relativ zum Sprachbefehl abhängig von einem aktuell sensorisch erfassten physischen Zustand des Fahrers des Fahrzeugs anzupassen.According to a further advantageous embodiment, the control unit is designed to adapt the predetermined time period and/or the predetermined point in time relative to the voice command depending on a currently sensor-detected physical state of the driver of the vehicle.

Im Gegensatz zur vorherigen Ausführungsform wird mithilfe dieser Ausführungsform nicht die objektive Verkehrssituation und Fahrsituation berücksichtigt, sondern die tatsächliche Reaktion und damit der tatsächliche Zustand des Fahrers des Fahrzeugs. Dies weist den Vorteil auf, dass auf individuelle Verhalten und Reaktionen, die individuell sehr unterschiedlich ausfallen können, Rücksicht genommen wird, sodass sich Fahrer mit unterschiedlichen Reaktionsweisen und Verhaltensmustern konsistent verstanden fühlen.In contrast to the previous embodiment, this embodiment does not take into account the objective traffic and driving situation, but rather the actual reaction and thus the actual state of the driver of the vehicle. This has the advantage that individual behavior and reactions, which can vary greatly from individual to individual, are taken into account, so that drivers with different reaction patterns and behavior patterns feel consistently understood.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, die Anzeigeoberfläche zur Darstellung der ersten Rückmeldungsvisualisierung an einer immer gleichen vorgegebenen Position auf der Anzeigeoberfläche anzusteuern.According to a further advantageous embodiment, the control unit is designed to control the display surface for displaying the first feedback visualization at an always identical predetermined position on the display surface.

Die Verwendung einer konstant gleichen Position auf der Anzeigeoberfläche zur Darstellung der ersten Rückmeldungsvisualisierung bietet dem Anwender die Möglichkeit zur schnellen Gewöhnung an die Erkennung, dass von der Steuereinheit kein inhaltlicher Zusammenhang zwischen dem Sprachbefehl und der von dem Sprachbefehl verschiedenen Eingabe erkannt wird. Indem immer die gleiche Position in diesem Fall zur Darstellung der ersten Rückmeldungsvisualisierung verwendet wird, ist dem Anwender augenblicklich klar, dass der Sprachbefehl isoliert von weiteren vom Sprachbefehl verschiedenen Eingaben von der Steuereinheit interpretiert wird.Using a constant position on the display surface to show the first feedback visualization offers the user the opportunity to quickly get used to the fact that the control unit does not recognize any substantive connection between the voice command and the input that is different from the voice command. By always using the same position in this case to show the first feedback visualization, it is immediately clear to the user that the voice command is interpreted by the control unit in isolation from other inputs that are different from the voice command.

Gemäß einer weiteren vorteilhaften Ausführungsform ist das Aussehen der zweiten Rückmeldungsvisualisierung abhängig von einem Status einer Sprachverarbeitungsfunktion der Steuereinheit, wobei der Status zumindest einen der folgenden umfasst: Erfassen einer Sprachnachricht, Verarbeiten oder Analyse der Sprachnachricht, Ausgeben einer sprachlichen Rückmeldung durch die Bedienschnittstelle über das Ergebnis der Verarbeitung der Sprachnachricht. Die Sprachverarbeitungsfunktion ist in der Steuereinheit implementiert, wobei die in der Steuereinheit die vorab genannten Bearbeitungsschritte zur Verarbeitung der über das Mikrofon empfangenen Spracheingabe ausführt.According to a further advantageous embodiment, the appearance of the second feedback visualization depends on a status of a voice processing function of the control unit, wherein the status comprises at least one of the following: detecting a voice message, processing or analyzing the voice message, outputting a voice feedback through the user interface about the result of the processing of the voice message. The voice processing function is implemented in the control unit, wherein the control unit carries out the previously mentioned processing steps for processing the voice input received via the microphone.

Die Steuereinheit des Bediensystems ist eingerichtet das Aussehen der zweiten Rückmeldungsvisualisierung bevorzugt durch eine Farbänderung und/oder Formänderung und/oder Bewegungsänderung einer Animation der zweiten Rückmeldungsvisualisierung zu verändern. Besonders bevorzugt wird jedem Status eine für ihn eindeutige Farbe zugewiesen und die zweite Rückmeldungsvisualisierung entsprechend dargestellt.The control unit of the operating system is configured to change the appearance of the second feedback visualization, preferably by changing the color and/or shape and/or movement of an animation of the second feedback visualization. Particularly preferably, each status is assigned a color that is unique to it and the second feedback visualization is displayed accordingly.

Gemäß einer weiteren vorteilhaften Ausführungsform weist die Anzeigeoberfläche eine berührungssensitive Oberfläche auf, wobei die von einer vom Sprachbefehl verschiedene Eingabe eine Berührung der Anzeigeoberfläche durch den Anwender ist, und die Steuereinheit dazu ausgeführt ist, aufgrund einer Berührung eines bestimmten Objekts das berührte Objekt der Anzeigeoberfläche auszuwählen, wobei die Anzeigeoberfläche dazu ausgeführt ist, am berührten und ausgewählten Objekt eine haptische Rückmeldung zu erzeugen.According to a further advantageous embodiment, the display surface has a touch-sensitive surface, wherein the input other than the voice command is a touch of the display surface by the user, and the control unit is designed to, based on a touch of a specific object to select the touched object of the display surface, wherein the display surface is designed to generate haptic feedback on the touched and selected object.

Gemäß einer weiteren vorteilhaften Ausführungsform ist die Steuereinheit dazu ausgeführt, eine Sprachverarbeitungsfunktion der Steuereinheit erst zu aktivieren und Sprachbefehle zu verarbeiten, wenn ein Objekt mittels der vom Sprachbefehl verschiedenen Eingabe ausgewählt wurde.According to a further advantageous embodiment, the control unit is designed to activate a speech processing function of the control unit and to process voice commands only when an object has been selected by means of the input different from the voice command.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug mit einem Bediensystem wie oben und im Folgenden beschrieben.A further aspect of the invention relates to a vehicle with an operating system as described above and below.

Vorteile und bevorzugte Weiterbildungen des vorgeschlagenen Fahrzeugs ergeben sich durch eine analoge und sinngemäße Übertragung der im Zusammenhang mit dem vorgeschlagenen Bediensystem vorstehend gemachten Ausführungen.Advantages and preferred further developments of the proposed vehicle result from an analogous and analogous transfer of the statements made above in connection with the proposed operating system.

Weitere Vorteile, Merkmale und Einzelheiten ergeben sich aus der nachfolgenden Beschreibung, in der - gegebenenfalls unter Bezug auf die Zeichnung - zumindest ein Ausführungsbeispiel im Einzelnen beschrieben ist. Gleiche, ähnliche und/oder funktionsgleiche Teile sind mit gleichen Bezugszeichen versehen.Further advantages, features and details emerge from the following description, in which - if necessary with reference to the drawing - at least one embodiment is described in detail. Identical, similar and/or functionally identical parts are provided with the same reference numerals.

Es zeigen:

1: Ein Bediensystem für ein Fahrzeug gemäß einem Ausführungsbeispiel der Erfindung und in skizzenhaft dargestellten zwei verschiedenen Zuständen.
2: Ein Ablaufdiagramm zur Schaltlogik des Bediensystems der 1 gemäß einem Ausführungsbeispiel der Erfindung.

They show:

1 : An operating system for a vehicle according to an embodiment of the invention and in two different states shown in sketches.
2 : A flow chart of the switching logic of the operating system of the 1 according to an embodiment of the invention.

Die Darstellungen in den Figuren sind schematisch und nicht maßstäblich.The representations in the figures are schematic and not to scale.

1 zeigt ein Bediensystem für ein Fahrzeug. Das Bediensystem weist eine Bedienschnittstelle 3 auf, welche zum einen berührungsempfindlichen Bildschirm mit einer Anzeigeoberfläche aufweist, zum anderen ein Mikrofon zum Empfang von Sprachbefehlen des Anwenders. So kann ein Anwender einerseits nur eine Spracheingabe vornehmen, nur eine berührende Eingabe an der Anzeigeoberfläche des berührungsempfindlichen Bildschirms, oder eine multimodale Eingabe durch inhaltliche Kombination der Berührung mit einer vorgenommenen Spracheingabe. Die am berührungsempfindlichen Bildschirm sowie am Mikrofon erfassten Signale werden an eine Steuereinheit 1 weitergeleitet, um sie dort verarbeiten zu können. Die Steuereinheit 1 weist einen Rechner auf, der außerdem zur Komposition einer grafischen Benutzeroberfläche, eines sogenannten GUls (Abkürzung für „graphical user interface“), dient. Die grafische Benutzeroberfläche umfasst eine Vielzahl von Objekten 5, wovon in der 1 jeweils sechs symbolische dargestellt sind, die beispielsweise Kartenelemente einer digitalen Karte sind. Entsprechend der Berührung eines bestimmten der Objekte 5 durch den Anwender wird von der Steuereinheit 1 das entsprechende Objekt 5 als das ausgewählte definiert. Gleichzeitig findet von der Steuereinheit 1 eine fortwährende Überprüfung statt, ob im vorgegebenen zeitlichen Zusammenhang ein Sprachbefehl stattfindet. Hierfür wird der Beginn des Sprachbefehls als Referenz verwendet und untersucht, ob die Berührung eines bestimmten Objekts 5 in einem vorgegebenen ersten Zeitabschnitt vor Beginn des Sprachbefehls, gleichzeitig mit Beginn des Sprachbefehls, oder in einem vorgegebenen zweiten Zeitabschnitt nach Beginn des Sprachbefehls, erfolgt. Liegt kein zeitlicher Bezug zwischen dem Sprachbefehl und der berührenden Auswahl eines bestimmten Objekts 5 vor, wird eine animierte erste Rückmeldungsvisualisierung 7 am oberen Rand der Anzeigeoberfläche dargestellt, um eine Rückmeldung für den Anwender auszugeben, dass ein Sprachbefehl erfasst wird, wobei die erste Rückmeldungsvisualisierung 7 ohne Bezug zu irgendeinem der Objekte 5 ist - dies ist beispielhaft in Teilbild (A) der 1 dargestellt. Liegt dagegen eine solche Situation vor, erfolgt eine durch die Steuereinheit 1 ausgeführte Inhaltsanalyse, die auf inhaltlichen Bezug des Sprachbefehls zum ausgewählten Objekt 5 prüft. Liegt kein inhaltlicher Zusammenhang vor, wird die erste Rückmeldungsvisualisierung 7 ausgegeben, andernfalls eine dem ausgewählten Objekt 5 zugeordnete zweite Rückmeldungsvisualisierung 9 bezüglich des Sprachbefehls mit Kennzeichnung des ausgewählten Objekts 5 auf der Anzeigeoberfläche. Die zweite Rückmeldungsvisualisierung 9 unterscheidet sich von der Hervorhebung eines angewählten Objekts 5 bei alleiniger berührender Eingabe ohne multimodalen Zusammenhang zu einem Sprachbefehl. Trotzdem erfolgt eine Kennzeichnung des angewählten Objekts 5 durch eine entsprechende Animation, die kennzeichnend für die zusammenhängende Auswahl eines bestimmten Objekts 5 mit einem verkoppelten Sprachbefehl ist. Dieser Fall ist im Teilbild (B) dargestellt. 1 shows an operating system for a vehicle. The operating system has an operating interface 3, which on the one hand has a touch-sensitive screen with a display surface, and on the other hand a microphone for receiving voice commands from the user. A user can thus either make a voice input, a touch input on the display surface of the touch-sensitive screen, or a multimodal input by combining the content of the touch with a voice input. The signals recorded on the touch-sensitive screen and the microphone are forwarded to a control unit 1 in order to be able to process them there. The control unit 1 has a computer, which is also used to compose a graphical user interface, a so-called GUls (abbreviation for "graphical user interface"). The graphical user interface comprises a large number of objects 5, of which in the 1 six symbols are shown, which are, for example, map elements of a digital map. According to the touch of a certain of the objects 5 by the user, the control unit 1 defines the corresponding object 5 as the selected one. At the same time, the control unit 1 continuously checks whether a voice command takes place in the specified temporal context. For this purpose, the start of the voice command is used as a reference and examines whether the touch of a certain object 5 takes place in a specified first time period before the start of the voice command, at the same time as the start of the voice command, or in a specified second time period after the start of the voice command. If there is no temporal relationship between the voice command and the touching selection of a certain object 5, an animated first feedback visualization 7 is shown at the top of the display surface in order to output feedback to the user that a voice command is being detected, wherein the first feedback visualization 7 is without reference to any of the objects 5 - this is shown by way of example in partial image (A) of the 1 shown. If, however, such a situation exists, a content analysis is carried out by the control unit 1, which checks for a content-related connection between the voice command and the selected object 5. If there is no content-related connection, the first feedback visualization 7 is output, otherwise a second feedback visualization 9 is assigned to the selected object 5 with respect to the voice command and the selected object 5 is identified on the display surface. The second feedback visualization 9 differs from the highlighting of a selected object 5 with only touch input without a multimodal connection to a voice command. Nevertheless, the selected object 5 is identified by a corresponding animation, which is characteristic of the related selection of a specific object 5 with a linked voice command. This case is shown in the partial image (B).

2 zeigt ein mögliches Ablaufdiagramm zur Schaltlogik des Bediensystems der 1, welches in der Steuereinheit 1 implementiert werden kann. Die Schritte sind dabei wie folgt, wobei nach jedem Entscheidungsblock „y” für „ja“ steht, und „n” für „nein“: Mit S1 wird ein Sprachbefehl an der Bedienschnittstelle erhalten. Mit S3 wird außerdem eine berührende Eingabe erhalten. Im Entscheidungsblock D1 wird überprüft, ob die berührende Eingabe kurz vor dem Sprachbefehl erfolgt ist. Wenn ja, wird eine mit der berührenden Eingabe berührtes Objekt durch ein dem Symbol der zweiten Rückmeldungsvisualisierung entsprechendes, jedoch in einer anderen Farbe als die zweite Rückmeldungsvisualisierung (vergleiche weiter unten V4) aufweist markiert, dies erfolgt in V2. Wenn nein, wird mit V1 die erste Rückmeldungsvisualisierung ausgegeben. Nachgelagert hinter V1 wird jedoch weiterhin auf das Vorliegen einer berührenden Eingabe überprüft wiederum durch Ausführung von S3. Erfolgt eine Erkennung einer berührenden Eingabe kurz nach dem Sprachbefehl, so wird nach dem Entscheidungsblock D2 weiter im Entscheidungsblock D3 fortgefahren. Erfolgt keine Erkennung der berührenden Eingabe kurz nach dem Sprachbefehl nach Überprüfung in D2, so wird mit V3 ein visuelles Feedback für die akustische Systemantwort im Sinne der ersten Rückmeldungsvisualisierung aber in einer anderen Farbe als die erste Rückmeldungsvisualisierung aufweist ausgegeben. Wird die Überprüfung in D2 positiv beantwortet, wird mit D3 fortgefahren. Eine registrierter Sprachbefehl wird in S2 außerdem durch ein Spracherkennungsmodul inhaltlich analysiert. In Entscheidungsblock D3 wird darin überprüft, ob ein inhaltlicher Bezug zwischen dem Sprachbefehl und der berührenden Eingabe vorliegt. Wenn nein wird zu V3 gewechselt, wenn ja wird mit V4 die zweite Rückmeldungsvisualisierung als visuelles Feedback bei akustischer Systemantwort ausgegeben. Zusammengefasst sind V1 und V2 jeweils eine visuelle Rückmeldung bei der Erfassung der Nutzer-Spracheingabe in Form eines Sprachbefehls, V3 und V4 jedoch eine visuelle Rückmeldung bei akustischer Systemantwort des Bediensystems, wenn das Bediensystem nicht nur auf der Anzeigeoberfläche eine visuelle Rückmeldung gibt, sondern auch noch eine akustische Sprachform. 2 shows a possible flow chart for the switching logic of the operating system of the 1 , which can be implemented in the control unit 1. The steps are as follows, where after each decision block “y” stands for “yes” and “n” for “no”: With S1, a voice command is received on the user interface. With S3, a touch input is also received. In decision block D1, it is checked whether the touch input was made shortly before the voice command. If yes, a command is sent with the touch input. touched object is marked with a symbol corresponding to the symbol of the second feedback visualization, but in a different color than the second feedback visualization (see V4 below); this is done in V2. If not, the first feedback visualization is output with V1. Downstream from V1, however, a check is still carried out for the presence of a touch input, again by executing S3. If a touch input is detected shortly after the voice command, the process continues with decision block D3 after decision block D2. If the touch input is not detected shortly after the voice command after checking in D2, V3 is used to output visual feedback for the acoustic system response in the sense of the first feedback visualization, but in a different color than the first feedback visualization. If the check in D2 is answered positively, the process continues with D3. A registered voice command is also analyzed in terms of content in S2 by a speech recognition module. Decision block D3 checks whether there is a content connection between the voice command and the touch input. If no, the system switches to V3, and if yes, the second feedback visualization is V4, which is a visual feedback when the system responds acoustically. In summary, V1 and V2 are each a visual feedback when the user's voice input is recorded in the form of a voice command, but V3 and V4 are a visual feedback when the operating system responds acoustically when the operating system not only provides visual feedback on the display surface, but also an acoustic form of speech.

Obwohl die Erfindung im Detail durch bevorzugte Ausführungsbeispiele näher illustriert und erläutert wurde, ist die Erfindung nicht durch die offenbarten Beispiele eingeschränkt und andere Variationen können vom Fachmann hieraus abgeleitet werden, ohne den Schutzumfang der Erfindung zu verlassen. Es ist daher klar, dass eine Vielzahl von Variationsmöglichkeiten existiert. Es ist ebenfalls klar, dass beispielhaft genannte Ausführungsformen wirklich nur Beispiele darstellen, die nicht in irgendeiner Weise als Begrenzung etwa des Schutzbereichs, der Anwendungsmöglichkeiten oder der Konfiguration der Erfindung aufzufassen sind. Vielmehr versetzen die vorhergehende Beschreibung und die Figurenbeschreibung den Fachmann in die Lage, die beispielhaften Ausführungsformen konkret umzusetzen, wobei der Fachmann in Kenntnis des offenbarten Erfindungsgedankens vielfältige Änderungen, beispielsweise hinsichtlich der Funktion oder der Anordnung einzelner, in einer beispielhaften Ausführungsform genannter Elemente, vornehmen kann, ohne den Schutzbereich zu verlassen, der durch die Ansprüche und deren rechtliche Entsprechungen, wie etwa weitergehende Erläuterungen in der Beschreibung, definiert wird.Although the invention has been illustrated and explained in detail by preferred embodiments, the invention is not limited by the disclosed examples and other variations can be derived therefrom by the person skilled in the art without departing from the scope of the invention. It is therefore clear that a multitude of possible variations exist. It is also clear that embodiments mentioned by way of example really only represent examples that are not to be understood in any way as a limitation of the scope of protection, the possible applications or the configuration of the invention. Rather, the preceding description and the description of the figures enable the person skilled in the art to implement the exemplary embodiments in concrete terms, whereby the person skilled in the art, with knowledge of the disclosed inventive concept, can make various changes, for example with regard to the function or the arrangement of individual elements mentioned in an exemplary embodiment, without departing from the scope of protection defined by the claims and their legal equivalents, such as further explanations in the description.

BezugszeichenlisteList of reference symbols

11: SteuereinheitControl unit
33: BedienschnittstelleUser interface
55: Objekte der AnzeigeoberflächeObjects of the display surface
77: erste Rückmeldungsvisualisierungfirst feedback visualization
99: zweite Rückmeldungsvisualisierungsecond feedback visualization

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012013503 A1 [0002]

Claims

Operating system for a vehicle, comprising a control unit (1) and an operating interface (3) which is designed to record inputs made by a user and, when controlled by the control unit (1), to graphically display one or more objects (5) on a display surface, wherein inputs can be made as a voice command and as an input other than a voice command on the operating interface (3), wherein the control unit (1) is designed to select a specific object (5) of the display surface depending on an input other than the voice command, and to check a voice command for content-related reference to the selected object (5) by means of content analysis, and - to control the display surface to output a first feedback visualization (7) with respect to the voice command that is unrelated to all objects (5) of the display surface if no content-related reference is determined, and - to output the display surface to output a second feedback visualization (9) associated with the selected object (5) with respect to the voice command with identification of the selected object (5) on the display surface if a content-related reference is detected.

Operating system according to Claim 1 , wherein the input other than the voice command is a gesture of the user, wherein the control unit (1) is designed to select a specific object (5) of the display surface depending on the gesture of the user, wherein the gesture is in particular at least one of the following: a gesture touching the display surface with a finger of the user, a look gesture, a swipe gesture or pointing gesture with a hand or a finger of the user in space at a distance from the display surface, a pointer control by a physical input element.

Operating system according to one of the preceding claims, wherein the control unit (1) is designed to control the display surface for outputting the second feedback visualization (9) with identification of the selected object (5) only if the input different from the voice command occurs within a predetermined time period and/or at a predetermined point in time relative to the voice command.

Operating system according to Claim 3 , wherein the control unit (1) is designed to adapt the predetermined time period and/or the predetermined point in time relative to the voice command depending on a currently sensor-detected driving situation of the vehicle.

Operating system according to one of the Claims 3 until 4 , wherein the control unit (1) is designed to adapt the predetermined time period and/or the predetermined point in time relative to the voice command depending on a currently sensory-detected physical state of the driver of the vehicle.

Operating system according to one of the preceding claims, wherein the control unit (1) is designed to control the display surface for displaying the first feedback visualization (7) at an always identical predetermined position on the display surface.

Operating system according to one of the preceding claims, wherein the control unit (1) is designed to change the appearance of the second feedback visualization (9) depending on a status of a speech processing function, wherein the status comprises at least one of the following: detecting a voice message, processing the voice message, outputting a linguistic feedback through the operating interface (3) about the result of the processing of the voice message.

Operating system according to one of the preceding claims, wherein the display surface has a touch-sensitive surface, wherein the input other than the voice command is a touch of the display surface by the user, and the control unit (1) is designed to select the touched object (5) of the display surface based on a touch of a specific object (5), wherein the display surface is designed to generate haptic feedback on the touched and selected object (5).

Operating system according to one of the preceding claims, wherein the control unit (1) is designed to activate a voice processing function of the control unit (1) and to process voice commands only when an object (5) has been selected.

Vehicle with an operating system according to one of the preceding claims.