KR20220013348A

KR20220013348A - Apparatus and method for providing haptic control signal

Info

Publication number: KR20220013348A
Application number: KR1020210173102A
Authority: KR
Inventors: 김형준; 손기석; 이종훈
Original assignee: 주식회사 씨케이머티리얼즈랩
Priority date: 2018-09-11
Filing date: 2021-12-06
Publication date: 2022-02-04
Also published as: KR20230113244A; KR102663844B1

Abstract

햅틱 장치의 햅틱 제어 신호 제공 장치 및 방법이 개시된다. 햅틱 장치의 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 진동 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 전송부를 포함할 수 있다.An apparatus and method for providing a haptic control signal of a haptic device are disclosed. An apparatus for providing a haptic control signal of a haptic device includes: a haptic pattern data determiner configured to determine haptic pattern data based on at least one of an audio signal and an additional effect signal; a haptic control signal generator configured to generate a haptic control signal for controlling a vibration operation of a haptic device based on the haptic pattern data; and a transmitter configured to transmit the haptic control signal to the haptic device.

Description

Apparatus and method for providing haptic control signal {APPARATUS AND METHOD FOR PROVIDING HAPTIC CONTROL SIGNAL}

아래의 설명은 햅틱 제어 신호 제공 장치 및 방법에 관한 것이다.The following description relates to an apparatus and method for providing a haptic control signal.

문화 산업이 발달함에 따라 콘서트, 비디오 게임 등 소비자가 즐길 수 있는 컨텐츠의 종류가 다양화되고 있고, VR(Virtual Reality), 3D 영상과 같은 시각적으로 몰입감이 높은 컨텐츠 제공 방법에 대한 소비자의 수요가 증대되고 있다. 이와 더불어 촉각적으로도 더 실감나는 경험을 하고자 하는 소비자의 수요도 증대되고 있다. 이러한 경향에 따라 소비자에게 햅틱 피드백을 제공하는 햅틱 장치에 대한 관심도 나날이 증가하고 있다. 햅틱 장치는 햅틱 장치에 흐르는 전류량, 햅틱 장치에 인가되는 전압의 크기를 조절하여 햅틱 장치가 제공하는 햅틱 자극을 조절할 수 있다. 햅틱 장치와 함께 제공되는 컨텐츠에 대하여 더 높은 차원의 몰입감을 제공하기 위해서는 스침, 조임 때림, 누름, 비트감 등 다양한 형태의 촉감을 전달할 수 있는 기술적 수단의 발전이 요구된다.As the cultural industry develops, the types of content that consumers can enjoy such as concerts and video games are diversifying, and consumer demand for a method of providing highly immersive content such as VR (Virtual Reality) and 3D video is increasing. is becoming In addition, the demand of consumers for a more tactile and realistic experience is increasing. According to this trend, interest in haptic devices that provide haptic feedback to consumers is also increasing day by day. The haptic device may adjust a haptic stimulus provided by the haptic device by adjusting an amount of current flowing through the haptic device and a voltage applied to the haptic device. In order to provide a higher level of immersion to the content provided with the haptic device, the development of technical means capable of delivering various types of tactile sensations such as swiping, squeezing, pressing, and biting is required.

본 발명은 햅틱 장치와 함께 제공되는 컨텐츠에 대하여 더 높은 차원의 몰입감을 제공하기 위해서는 스침, 조임 때림, 누름, 비트감 등 다양한 형태의 촉감을 전달할 수 있는 햅틱 제어 신호 제공 장치 및 방법을 제공하는 것을 목적으로 한다.The present invention provides an apparatus and method for providing a haptic control signal capable of delivering various types of tactile sensations, such as swiping, squeezing, pressing, and biting, in order to provide a higher level of immersion in content provided with the haptic device. The purpose.

일 실시예에 따른 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 전송부를 포함할 수 있다.An apparatus for providing a haptic control signal according to an embodiment includes: a haptic pattern data determiner configured to determine haptic pattern data based on at least one of an audio signal and an additional effect signal; a haptic control signal generator configured to generate a haptic control signal for controlling an operation of a haptic device based on the haptic pattern data; and a transmitter configured to transmit the haptic control signal to the haptic device.

상기 햅틱 패턴 데이터 결정부는, 상기 오디오 신호로부터 오디오 비트 패턴을 추출하고, 상기 추출된 오디오 비트 패턴에 기초하여 상기 햅틱 패턴 데이터를 결정할 수 있다.The haptic pattern data determiner may extract an audio bit pattern from the audio signal and determine the haptic pattern data based on the extracted audio bit pattern.

상기 햅틱 패턴 데이터 결정부는 상기 오디오 신호를 주파수 대역별로 분할하고, 상기 분할된 주파수 대역별 신호들 중에서 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택하고, 상기 선택된 하나 이상의 주파수 대역의 신호에 대해 반파 정류를 수행하여 상기 오디오 비트 패턴을 추출할 수 있다.The haptic pattern data determiner divides the audio signal for each frequency band, selects a signal of one or more frequency bands including target bit pattern information from among the divided signals for each frequency band, and The audio bit pattern may be extracted by performing half-wave rectification on the signal.

상기 햅틱 제어 신호 생성부는 상기 햅틱 패턴 데이터에 기초하여 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정할 수 있다.The haptic control signal generator may determine at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal based on the haptic pattern data.

상기 햅틱 패턴 데이터 결정부는 데이터 베이스에 미리 저장된 햅틱 패턴 데이터 중 상기 부가 효과 신호에 대응하는 햅틱 패턴 데이터를 추출할 수 있다.The haptic pattern data determiner may extract haptic pattern data corresponding to the additional effect signal from among haptic pattern data previously stored in a database.

햅틱 제어 신호 제공 장치는 상기 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성하는 시각화 데이터 생성부를 더 포함하고, 상기 전송부는 상기 시각화 데이터를 상기 햅틱 장치로 전송할 수 있다.The haptic control signal providing apparatus may further include a visualization data generator configured to generate visualization data corresponding to the haptic pattern data, and the transmitter may transmit the visualization data to the haptic device.

*일 실시예에 따른 햅틱 장치는 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신하는 수신부; 상기 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 햅틱 패턴 데이터 추출부; 햅틱 자극을 발생시키는 액츄에이터; 및 상기 추출된 햅틱 패턴 데이터에 기초하여 상기 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부를 포함할 수 있다.* A haptic device according to an embodiment includes a receiver configured to receive a haptic control signal from a haptic control signal providing device; a haptic pattern data extraction unit for extracting haptic pattern data from the received haptic control signal; an actuator that generates a haptic stimulus; and an actuator control unit configured to generate an actuator control signal for controlling driving of the actuator based on the extracted haptic pattern data.

상기 햅틱 패턴 데이터 추출부는 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나에 기초하여 상기 햅틱 패턴 데이터를 복원할 수 있다.The haptic pattern data extractor may restore the haptic pattern data based on at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal.

상기 수신부는 햅틱 제어 신호 제공 장치로부터 상기 햅틱 패턴 데이터에 대응하는 시각화 데이터를 더 수신하고, 상기 수신한 시각화 데이터에 기초하여 상기 햅틱 패턴 데이터의 특성 정보를 출력하는 시각화 데이터 표시부를 더 포함할 수 있다.The receiving unit may further include a visualization data display unit that further receives visualization data corresponding to the haptic pattern data from the haptic control signal providing device, and outputs characteristic information of the haptic pattern data based on the received visualization data. .

상기 햅틱 패턴 데이터는 오디오 데이터 및 부가 효과 데이터 중 적어도 하나에 기초하여 상기 햅틱 제어 신호 제공 장치에 의해 생성될 수 있다.The haptic pattern data may be generated by the haptic control signal providing apparatus based on at least one of audio data and additional effect data.

일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공 방법은 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정하는 단계; 상기 햅틱 패턴 데이터에 기초하여 햅틱 장치의 진동 동작을 제어하기 위한 햅틱 제어 신호를 생성하는 단계; 및 상기 햅틱 장치로 상기 햅틱 제어 신호를 전송하는 단계를 포함할 수 있다.A method for providing a haptic control signal by an apparatus for providing a haptic control signal according to an embodiment includes: determining haptic pattern data based on at least one of an audio signal and an additional effect signal; generating a haptic control signal for controlling a vibration operation of a haptic device based on the haptic pattern data; and transmitting the haptic control signal to the haptic device.

상기 햅틱 패턴 데이터를 결정하는 단계는 상기 오디오 신호로부터 오디오 비트 패턴을 추출하는 단계; 및 상기 추출된 오디오 비트 패턴에 기초하여 상기 햅틱 패턴 데이터를 결정하는 단계를 포함할 수 있다.The determining of the haptic pattern data may include: extracting an audio bit pattern from the audio signal; and determining the haptic pattern data based on the extracted audio bit pattern.

상기 햅틱 패턴 데이터를 결정하는 단계는 데이터 베이스에 미리 저장된 햅틱 패턴 데이터 중 상기 부가 효과 신호에 대응하는 햅틱 패턴 데이터를 추출하는 단계를 포함할 수 있다. The determining of the haptic pattern data may include extracting haptic pattern data corresponding to the additional effect signal from among haptic pattern data previously stored in a database.

상기 햅틱 제어 신호를 생성하는 단계는 상기 햅틱 패턴 데이터에 기초하여 상기 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정하는 단계를 포함할 수 있다.The generating of the haptic control signal may include determining at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal based on the haptic pattern data.

일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법은 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신하는 단계; 상기 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 단계; 상기 추출된 햅틱 패턴 데이터에 기초하여 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 단계; 및 상기 액츄에이터 제어 신호에 기초하여 상기 액츄에이터의 구동을 제어하는 단계를 포함할 수 있다.An actuator control method performed in a haptic device according to an embodiment includes: receiving a haptic control signal from a haptic control signal providing device; extracting haptic pattern data from the received haptic control signal; generating an actuator control signal for controlling driving of an actuator based on the extracted haptic pattern data; and controlling driving of the actuator based on the actuator control signal.

일 실시예에 따른 햅틱 장치는 햅틱 패턴 데이터에 기초하여 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부; 및 상기 생성된 액츄에이터 제어 신호에 기초하여 햅틱 자극을 생성하는 액츄에이터를 포함할 수 있다.A haptic device according to an embodiment includes: an actuator controller configured to generate an actuator control signal for controlling driving of an actuator based on haptic pattern data; and an actuator that generates a haptic stimulus based on the generated actuator control signal.

일 실시예에 따른 햅틱 장치의 액츄에이터 제어부는, 회로에 직류 전원을 인가하는 DC-DC 컨버터; 및 햅틱 패턴 데이터에 기초하여 제어 신호를 생성하는 컨트롤 회로를 포함하고, 상기 액츄에이터는 상기 제어 신호에 기초하여 상기 햅틱 자극을 생성할 수 있다.An actuator control unit of a haptic device according to an embodiment includes a DC-DC converter for applying DC power to a circuit; and a control circuit configured to generate a control signal based on haptic pattern data, wherein the actuator may generate the haptic stimulus based on the control signal.

일 실시예에 따른 햅틱 장치의 액츄에이터 제어부는 상기 생성된 제어 신호의 세기를 조절하는 조절부를 더 포함할 수 있다.The actuator control unit of the haptic device according to an embodiment may further include a control unit that adjusts the strength of the generated control signal.

본 발명에 따르면, 햅틱 장치와 함께 제공되는 컨텐츠에 대하여 더 높은 차원의 몰입감을 제공하기 위해서 스침, 조임 때림, 누름, 비트감 등 다양한 형태의 촉감을 전달할 수 있는 효과가 있다..According to the present invention, in order to provide a higher level of immersion to the content provided with the haptic device, there is an effect of delivering various types of tactile sensations such as rubbing, tightening, pressing, and biting.

도 1은 일 실시예에 따른 햅틱 자극 제공 시스템을 도시하는 도면이다.
도 2는 일 실시예에 따른 햅틱 제어 신호 제공 장치의 구성을 도시하는 도면이다.
도 3a는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT(Fast Fourier Transform)응 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
도 3b는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 오디오 신호를 분리해 내는 일례를 도시하는 도면이다.
도 4a는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛(Wavelet) 변환을 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.
도 4b는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 과정을 도시하는 도면이다.
도 5는 일 실시예에 따른 햅틱 장치의 구성을 도시한 도면이다.
도 6은 일 실시예에 따른 액츄에이터 제어부의 구성을 도시하는 도면이다.
도 7a는 일 실시예에 따른 액츄에이터 제어부의 회로의 일례를 도시하는 도면이다.
도 7b는 다른 실시예에 따른 하나의 제어 신호에 기초하여 컨트롤 회로가 동작되는 회로의 일례를 도시하는 도면이다.
도 7c는 또 다른 실시예에 따른 다양한 패턴의 제어 신호를 생성할 수 있는 회로도의 일례를 도시한다.
도 7d은 다양한 햅틱 자극을 생성하는 햅틱 장치에 대한 회로의 일례를 도시한다.
도 8은 일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공방법의 동작을 도시하는 흐름도이다.
도 9는 일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법에 대한 동작을 도시하는 흐름도이다.1 is a diagram illustrating a system for providing a haptic stimulus according to an embodiment.
2 is a diagram illustrating a configuration of an apparatus for providing a haptic control signal according to an embodiment.
3A is a flowchart illustrating a method of extracting an audio bit pattern from an audio signal by a first haptic pattern data determiner using Fast Fourier Transform (FFT) according to an embodiment.
3B is a diagram illustrating an example in which the first haptic pattern data determiner separates an audio signal of a frequency band including target bit pattern information by using FFT according to an embodiment.
4A is a flowchart illustrating a method of a first haptic pattern data determiner extracting an audio bit pattern from an audio signal by using a discrete wavelet transform according to another exemplary embodiment.
4B is a diagram illustrating a process in which the first haptic pattern data determiner divides an audio signal into frequency bands through discrete wavelet transform according to another exemplary embodiment.
5 is a diagram illustrating a configuration of a haptic device according to an exemplary embodiment.
6 is a diagram illustrating a configuration of an actuator control unit according to an embodiment.
7A is a diagram illustrating an example of a circuit of an actuator control unit according to an embodiment.
7B is a diagram illustrating an example of a circuit in which a control circuit is operated based on one control signal according to another embodiment.
7C illustrates an example of a circuit diagram capable of generating various patterns of control signals according to another embodiment.
7D shows an example of a circuit for a haptic device that generates various haptic stimuli.
8 is a flowchart illustrating an operation of a method for providing a haptic control signal by an apparatus for providing a haptic control signal according to an embodiment.
9 is a flowchart illustrating an operation of an actuator control method performed in a haptic device according to an embodiment.

실시예들에 대한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 본 명세서의 범위는 개시된 실시예들의 특정한 형태로 한정되는 것이 아니라 설명한 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.Structural or functional descriptions of the embodiments are disclosed for purposes of illustration only, and may be changed and implemented in various forms. Accordingly, the scope of the present specification is not limited to the specific forms of the disclosed embodiments, but includes changes, equivalents, or substitutes included in the described technical spirit.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Although terms such as first or second may be used to describe various elements, these terms should be interpreted only for the purpose of distinguishing one element from another. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.When a component is referred to as being “connected to” another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in between.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함으로 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The singular expression includes the plural expression unless the context clearly dictates otherwise. In this specification, terms such as "comprise" or "have" are intended to designate that the described feature, number, step, operation, component, part, or combination thereof exists, and includes one or more other features or numbers, It should be understood that the possibility of the presence or addition of steps, operations, components, parts or combinations thereof is not precluded in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 해당 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related art, and should not be interpreted in an ideal or excessively formal meaning unless explicitly defined in the present specification. does not

한편, 어떤 실시예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도와 다르게 수행될 수 있다. 예를 들어, 연속하는 두 블록들이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 해당 블록들의 순서가 뒤바뀌어 수행될 수도 있다.On the other hand, when a certain embodiment can be implemented differently, a function or operation specified in a specific block may be performed differently from the flowchart. For example, two consecutive blocks may be performed substantially simultaneously, or the order of the blocks may be reversed according to a related function or operation.

이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. In the description with reference to the accompanying drawings, the same components are assigned the same reference numerals regardless of the reference numerals, and overlapping descriptions thereof will be omitted.

도 1은 일 실시예에 따른 햅틱 자극 제공 시스템을 도시하는 도면이다.1 is a diagram illustrating a system for providing a haptic stimulus according to an embodiment.

도 1을 참조하면, 햅틱 자극 제공 시스템은 사용자에게 햅틱 자극을 전달하는 햅틱 장치(120) 및 햅틱 장치(120)에 햅틱 제어 신호를 제공하는 햅틱 제어 신호 제공 장치(110)를 포함할 수 있다. 햅틱 자극 제공 시스템은 햅틱 제어 신호 제공 장치(110)를 통해 사용자의 햅틱 장치(120)의 동작을 제어함으로써, 사용자에게 오디오 등 외부 입력 신호의 비트 패턴에 대응하는 다양한 형태의 햅틱 자극을 제공할 수 있다. 햅틱 자극 제공 시스템은 햅틱 장치(120)의 사용자에게 다양한 형태의 햅틱 자극을 제공하고, 이를 통해 컨텐츠에 대한 더 높은 차원의 몰입감을 사용자에게 제공할 수 있다.Referring to FIG. 1 , the haptic stimulus providing system may include a haptic device 120 for delivering a haptic stimulus to a user and a haptic control signal providing device 110 for providing a haptic control signal to the haptic device 120 . The haptic stimulus providing system controls the operation of the user's haptic device 120 through the haptic control signal providing device 110, thereby providing the user with various types of haptic stimuli corresponding to the bit pattern of an external input signal, such as audio. have. The haptic stimulus providing system may provide various types of haptic stimuli to the user of the haptic device 120, thereby providing a higher level of immersion to the content to the user.

햅틱 장치(120)는 진동을 통해 사용자에게 햅틱 자극을 제공하는 장치이다. 예를 들어, 햅틱 장치(120)는 진동의 세기, 진동 방향, 진동 주기 등을 조절하여 다양한 햅틱 자극(예: 스치는 촉감, 조여지는 촉감, 눌리는 촉감 등)을 사용자에게 제공할 수 있다. 햅틱 장치(120)는 햅틱 장치(120)가 사용되는 환경에 따라 다양한 종류의 기기에 대응될 수 있다. 예를 들어, 사용자가 비디오 게임을 플레이하는 환경일 경우, 햅틱 장치(120)는 비디오 게임 콘솔일 수 있고, 사용자가 가수의 콘서트에 참여한 경우, 햅틱 장치(120)는 음악의 비트 패턴에 대응하여 진동을 제공할 수 있는 기능을 포함하는 응원 도구일 수 있다. 또한, 햅틱 장치(120)는 스마트 폰과 연동되어 제어되는 웨어러블 밴드(wearable band), 웨어러블 워치(wearable watch) 등을 포함하는 임의의 웨어러블 기기(wearable device)를 포함할 수 있다.The haptic device 120 is a device that provides a haptic stimulus to a user through vibration. For example, the haptic device 120 may provide various haptic stimuli (eg, rubbing, tightening, pressing, etc.) to the user by adjusting the intensity of vibration, the vibration direction, and the vibration period. The haptic device 120 may correspond to various types of devices according to an environment in which the haptic device 120 is used. For example, in an environment in which the user plays a video game, the haptic device 120 may be a video game console, and when the user participates in a singer's concert, the haptic device 120 responds to a music beat pattern. It may be a rooting tool that includes the ability to provide vibration. In addition, the haptic device 120 may include any wearable device including a wearable band, a wearable watch, and the like, which are controlled by interworking with a smart phone.

햅틱 제어 신호 제공 장치(110)는 햅틱 장치(120)가 제공하는 햅틱 자극을 제어할 수 있는 햅틱 제어 신호를 생성하고, 생성된 햅틱 제어 신호를 햅틱 장치(120)에 전송할 수 있다. 햅틱 제어 신호 제공 장치(110)는 입력 신호(130)를 수신하고, 수신한 입력 신호(130)에 기초하여 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 입력 신호(130)가 오디오 신호인 경우, 햅틱 제어 신호 제공 장치(110)는 오디오 신호의 오디오 비트 패턴에 대응하는 햅틱 제어 신호를 생성할 수 있다. 입력 신호(130)가 미리 규정된 특수한 효과를 나타내는 부가 효과 신호일 경우, 햅틱 제어 신호 제공 장치(110)는 미리 규정된 특수 효과에 대응하는 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 미리 규정된 특수 효과가 비가 내리는 상황에 대응된다면, 햅틱 제어 신호 제공 장치(110)는 사용자가 햅틱 장치(120)를 통해 비가 내리는 촉감을 느낄 수 있는햅틱 자극을 발생하도록 햅틱 장치(120)를 제어하는 햅틱 제어 신호를 생성할 수 있다.The haptic control signal providing device 110 may generate a haptic control signal capable of controlling a haptic stimulus provided by the haptic device 120 , and transmit the generated haptic control signal to the haptic device 120 . The haptic control signal providing apparatus 110 may receive the input signal 130 and may generate a haptic control signal based on the received input signal 130 . For example, when the input signal 130 is an audio signal, the haptic control signal providing apparatus 110 may generate a haptic control signal corresponding to an audio bit pattern of the audio signal. When the input signal 130 is an additional effect signal representing a predefined special effect, the haptic control signal providing apparatus 110 may generate a haptic control signal corresponding to the predefined special effect. For example, if the predefined special effect corresponds to a raining situation, the haptic control signal providing device 110 generates a haptic stimulus that allows the user to feel the touch of rain through the haptic device 120 using the haptic device ( 120) to generate a haptic control signal.

도 2는 일 실시예에 따른 햅틱 제어 신호 제공 장치의 구성을 도시하는 도면이다.2 is a diagram illustrating a configuration of an apparatus for providing a haptic control signal according to an embodiment.

도 2를 참조하면, 햅틱 제어 신호 제공 장치(200)는 햅틱 패턴 데이터를 결정하는 햅틱 패턴 데이터 결정부(210), 결정된 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성하는 햅틱 제어 신호 생성부(220), 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성하는 시각화 데이터 생성부(230), 생성된 햅틱 제어 신호를 햅틱 장치에 전송하는 전송부(240) 및 데이터 베이스(250)를 포함할 수 있다.Referring to FIG. 2 , the haptic control signal providing apparatus 200 includes a haptic pattern data determiner 210 that determines haptic pattern data, and a haptic control signal generator 220 that generates a haptic control signal based on the determined haptic pattern data. ), a visualization data generator 230 that generates visualization data corresponding to the haptic pattern data, a transmitter 240 that transmits the generated haptic control signal to the haptic device, and a database 250 .

햅틱 패턴 데이터 결정부(210)는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 패턴 데이터 결정부(210)는 오디오 신호에 기초하여 햅틱 패턴 데이터를 결정하는 제1 햅틱 패턴 데이터 결정부(211) 및 부가 효과 신호에 기초하여 햅틱 패턴 데이터를 결정하는 제2 햅틱 패턴 데이터 결정부(213)을 포함할 수 있다.The haptic pattern data determiner 210 may determine haptic pattern data based on at least one of an audio signal and an additional effect signal. The haptic pattern data determiner 210 includes a first haptic pattern data determiner 211 that determines haptic pattern data based on an audio signal and a second haptic pattern data determiner that determines haptic pattern data based on an additional effect signal. (213) may be included.

제1 햅틱 패턴 데이터 결정부(211)는 수신한 오디오 신호로부터 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 오디오 신호로부터 햅틱 패턴 데이터를 결정하는 과정에 대해서는 이하 제시되는 도 3a, 도 3b, 도 4a 및 도 4b에서 보다 구체적으로 설명하도록 한다.The first haptic pattern data determiner 211 may extract an audio bit pattern from the received audio signal and determine haptic pattern data based on the extracted audio bit pattern. The process of determining the haptic pattern data from the audio signal will be described in more detail with reference to FIGS. 3A, 3B, 4A, and 4B presented below.

제2 햅틱 패턴 데이터 결정부(213)는 수신한 부가 효과 신호에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 부가 효과 신호는 미리 결정된 특수 효과를 나타내는 신호일 수 있고, 부가 효과 신호에 대응하는 햅틱 패턴 데이터는 미리 생성되어 데이터 베이스(250)에 저장될 수 있다. 예를 들어, 미리 결정된 특수 효과는 제공되는 컨텐츠에 따라서 비가 내리는 효과, 총에 맞는 효과 등일 수 있고, 각각의 특수 효과에 대응하는 촉감을 전달하는 햅틱 패턴 데이터가 미리 생성되어 데이터 베이스(250)에 저장될 수 있다. 다만, 미리 결정된 특수 효과의 범위는 위 예시에 한정되지 않는다. 제2 햅틱 패턴 데이터 결정부(213)는 수신한 부가 효과 신호를 식별하고, 식별된 부가 효과 신호에 대응하여 데이터 베이스(250)에 저장된 햅틱 패턴 데이터를 추출하고, 추출된 햅틱 패턴 데이터에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.The second haptic pattern data determiner 213 may determine haptic pattern data based on the received additional effect signal. The additional effect signal may be a signal representing a predetermined special effect, and haptic pattern data corresponding to the additional effect signal may be generated in advance and stored in the database 250 . For example, the predetermined special effect may be an effect of raining, an effect of hitting a gun, etc. depending on the content provided, and haptic pattern data that transmits a tactile sense corresponding to each special effect is generated in advance and stored in the database 250 . can be saved. However, the range of the predetermined special effect is not limited to the above example. The second haptic pattern data determining unit 213 identifies the received additional effect signal, extracts haptic pattern data stored in the database 250 in response to the identified additional effect signal, and based on the extracted haptic pattern data Haptic pattern data may be determined.

일 실시예에 따른 햅틱 제어 신호 생성부(220)는 햅틱 제어 신호에 포함될 부가 정보를 포함하는 데이터 헤더를 생성하는 데이터 헤더부(221), 햅틱 제어 신호의 진폭 데이터를 생성하는 진폭 데이터 생성부(223), 햅틱 제어 신호의 진동 "??? 데이터를 생성하는 방향 데이터 생성부(225), 햅틱 제어 신호의 신호 상태에 대한 데이터를 생성하는 신호 상태 데이터 생성부(227)를 포함할 수 있다.The haptic control signal generating unit 220 according to an embodiment includes a data header unit 221 generating a data header including additional information to be included in the haptic control signal, and an amplitude data generating unit generating amplitude data of the haptic control signal ( 223), a direction data generating unit 225 for generating vibration “??? data of the haptic control signal, and a signal state data generating unit 227 for generating data on the signal state of the haptic control signal.

데이터 헤더부(221)는 통해 햅틱 제어 신호에 포함될 부가 정보를 생성할 수 있다. 예를 들어, 데이터 헤더부(221)에 의해 생성되는 부가 정보는 햅틱 제어 신호의 포멧(format)에 대한 정보, 신호의 종류에 대한 정보, 용량에 대한 정보 등을 포함할 수 있다. 진폭 데이터 생성부(223)는 햅틱 패턴 데이터의 진폭 정보에 기초하여 햅틱 제어 신호의 진폭 데이터를 생성할 수 있다. 햅틱 제어 신호의 진폭 데이터는 햅틱 장치의 진동 세기를 결정함으로써, 햅틱 자극의 특성을 결정하는 데에 사용될 수 있다. 방향 데이터 생성부(225)는 햅틱 패턴 데이터의 진동 방향 정보에 기초하여 햅틱 제어 신호의 진동 방향 데이터를 생성할 수 있다. 햅틱 제어 신호의 진동 방향 데이터는 햅틱 장치의 진동 방향을 결정함으로써, 햅틱 자극의 특성을 결정하는 데에 사용될 수 있다. 예를 들어, 진동 방향은 좌우 방향, 상하 방향 등 임의의 방향일 수 있다. 신호 상태 데이터 생성부(227)는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호의 신호 상태에 대한 데이터를 생성할 수 있다. 예를 들어, 신호 상태에 대한 데이터는 신호가 최대 진폭을 유지하는 시간에 대한 데이터 또는 휴지 상태(예를 들어 진폭이 0을 유지하는 상태)를 유지하는 시간에 대한 데이터를 포함할 수 있다. 햅틱 제어 신호가 최대 진폭을 유지하는 시간에 대한 데이터 또는 휴지 상태를 유지하는 시간에 대한 데이터는 햅틱 장치의 다양한 형태의 햅틱 자극 패턴을 결정하는 데에 사용될 수 있다.The data header unit 221 may generate additional information to be included in the haptic control signal. For example, the additional information generated by the data header unit 221 may include information on a format of a haptic control signal, information on a signal type, information on a capacity, and the like. The amplitude data generator 223 may generate amplitude data of the haptic control signal based on amplitude information of the haptic pattern data. Amplitude data of the haptic control signal may be used to determine a characteristic of a haptic stimulus by determining a vibration intensity of the haptic device. The direction data generator 225 may generate vibration direction data of the haptic control signal based on vibration direction information of the haptic pattern data. The vibration direction data of the haptic control signal may be used to determine the characteristic of the haptic stimulus by determining the vibration direction of the haptic device. For example, the vibration direction may be any direction, such as a left-right direction, an up-down direction, or the like. The signal state data generator 227 may generate data on the signal state of the haptic control signal based on the haptic pattern data. For example, the data for the signal state may include data for the time the signal maintains a maximum amplitude or data for the time it remains in a rest state (eg, a state in which the amplitude maintains zero). The data on the time for which the haptic control signal maintains the maximum amplitude or the data on the time during which the haptic control signal maintains a rest state may be used to determine various types of haptic stimulation patterns of the haptic device.

다른 실시예에 따르면, 햅틱 제어 신호 생성부(220)는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 미리 생성되어 데이터 베이스(250)에 저장되어 있는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다. 햅틱 제어 신호 생성부(220)는 실시간으로 수신되는 오디오 신호에 기초하여 결정된 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수도 있지만, 미리 생성되어 데이터 베이스(220)에 저장되어 있는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다.According to another embodiment, the haptic control signal generator 220 generates a haptic control signal based on haptic pattern data that is previously generated based on at least one of an audio signal and an additional effect signal and stored in the database 250 . can do. The haptic control signal generator 220 may generate a haptic control signal based on haptic pattern data determined based on an audio signal received in real time. A haptic control signal may be generated based on the haptic control signal.

일 실시예에 따른 시각화 데이터 생성부(230)는 햅틱 패턴 데이터에 대응하는 시각화 데이터를 생성할 수 있다. 예를 들어, 시각화 데이터는 햅틱 패턴 데이터에 대한 특징 정보(예를 들어 진폭 데이터, 진동 방향 데이터 등)를 디스플레이하기 위한 햅틱 자극 패턴과 어울리는 문자에 대한 데이터, 화면에 부가될 이모티콘에 대한 데이터를 포함할 수 있다. 예를 들어, 시각화 데이터는 햅틱 자극 패턴에 대한 특징 정보를 디스플레이하기 위한 문자의 색상 정보, 글꼴 정보, 특징 정보 제공 방식에 대한 정보를 포함하는 디스플레이 인터페이스에 대한 정보를 포함할 수 있다. 또한, 햅틱 자극이 부가 효과(예: 비가 내리는 효과)에 대응되는 경우, 시각화 데이터는 부가 효과와 대응되는 이모티콘 데이터(예: 물방울 이모티콘, 우산 이모티콘 등) 및 영상 데이터(예: 비가 내리는 배경 영상 등)를 포함할 수 있다. 다른 실시예에서, 시각화 데이터는 햅틱 패턴 데이터에 대한 특징 정보(예를 들어 진폭 정보, 진동 방향 정보 등)를 시각 장애인에게 제공하기 위한 점자를 형성하기 위한 데이터, 햅틱 패턴 데이터에 대한 정보를 LED 패턴으로 제공하기 위한 데이터를 포함할 수 있다.The visualization data generator 230 according to an embodiment may generate visualization data corresponding to the haptic pattern data. For example, the visualization data includes data about a character matching a haptic stimulus pattern for displaying characteristic information (eg, amplitude data, vibration direction data, etc.) about the haptic pattern data, and data about an emoticon to be added to the screen. can do. For example, the visualization data may include information on a display interface including color information, font information, and information on a method of providing characteristic information for displaying characteristic information on a haptic stimulus pattern. In addition, when the haptic stimulus corresponds to an additional effect (eg, raining effect), the visualization data includes emoticon data (eg, water drop emoticon, umbrella emoticon, etc.) and image data (eg, raining background image, etc.) corresponding to the additional effect. ) may be included. In another embodiment, the visualization data is data for forming braille for providing characteristic information (eg, amplitude information, vibration direction information, etc.) for the haptic pattern data to the visually impaired, information about the haptic pattern data, LED pattern It may include data to provide as

전송부(240)는 햅틱 제어 신호 생성부(220)에서 생성된 햅틱 제어 신호 및 시각화 데이터 생성부(230)에서 생성된 시각화 데이터 중 적어도 하나를 햅틱 장치에 전송할 수 있다. 예를 들어 전송부(240)는 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이, LTE를 포함하는 유무선 통신을 통해 햅틱 제어 신호 또는 시각화 데이터를 햅틱 장치에 전송할 수 있다.The transmitter 240 may transmit at least one of the haptic control signal generated by the haptic control signal generator 220 and the visualization data generated by the visualization data generator 230 to the haptic device. For example, the transmitter 240 may transmit a haptic control signal or visualization data to the haptic device through wired/wireless communication including Ethernet, Bluetooth, ZigBee, Wi-Fi, and LTE.

도 3a는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 수신한 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.3A is a flowchart illustrating a method of extracting an audio bit pattern from an audio signal received by a first haptic pattern data determiner using FFT according to an exemplary embodiment.

일 실시예에 따르면, 단계(311)에서 제1 햅틱 패턴 데이터 결정부는 오디오 신호에 FFT을 수행하기 위해 입력된 오디오 신호를 세그멘테이션(segmentation)화할 수 있다. 제1 햅틱 패턴 데이터 결정부는 입력 오디오 신호를 임의의 개수의 데이터열 형태로 세그멘테이션화할 수 있는데, 예를 들어, 오디오 신호에 대하여 원활하게 FFT를 수행하기 위해 256개 또는 1024개의 데이터 열로 오디오 신호를 세그멘테이션화할 수 있다. 여기서, 세그멘테이션화되는 데이터 열의 개수는 위 일례에 한정되지 않는다.According to an embodiment, in operation 311 , the first haptic pattern data determiner may segment the input audio signal to perform FFT on the audio signal. The first haptic pattern data determiner may segment the input audio signal into an arbitrary number of data streams. For example, the audio signal is segmented into 256 or 1024 data streams in order to smoothly perform FFT on the audio signal. can get angry Here, the number of segmented data columns is not limited to the above example.

단계(312)에서 제1 햅틱 패턴 데이터 결정부는 세그멘테이션화된 오디오 신호에 FFT을 수행하여 오디오 신호를 시간 영역에서 주파수 영역으로 변환할 수 있다. 단계(313)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 영역으로 변환된 오디오 신호를 주파수 대역 별로 분할할 수 있다. 제1 햅틱 패턴 데이터 결정부는 목적하는 오디오 비트 패턴을 포함하는 주파수 대역의 오디오 신호를 획득하기 위하여 주파수 영역으로 변환된 오디오 신호를 복수의 주파수 대역으로 분할할 수 있다.In operation 312, the first haptic pattern data determiner may perform FFT on the segmented audio signal to convert the audio signal from the time domain to the frequency domain. In operation 313, the first haptic pattern data determiner may divide the audio signal converted into the frequency domain for each frequency band. The first haptic pattern data determiner may divide the audio signal converted into the frequency domain into a plurality of frequency bands to obtain an audio signal of a frequency band including the desired audio bit pattern.

단계(314)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 대역 별로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호의 잡음을 제외한 비트 패턴에 대한 정보, 오디오 신호의 특정 악기에 대한 비트 패턴 정보 등 추출하고자 하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 잡음에 해당하는 오디오 신호가 고주파 대역에 포함되는 경우 고주파 대역을 제외한 신호가 선택될 수 있다. 또한, 여러 가지 악기에 대한 오디오 신호가 결합된 오디오 신호 중 특정 악기의 오디오 신호를 추출하고자 하는 경우, 특정 악기의 주파수 대역에 대응하는 오디오 신호가 선택적으로 추출될 수 있다. 적용되는 실시예에 따라 복수의 주파수 대역의 오디오 신호가 요구되는 경우, 요구되는 복수의 주파수 대역의 신호가 추출될 수 있다. 오디오 신호가 복수의 주파수 대역으로 분할되고, 선택되는 방식은 위에 제시된 예시에 한정되지 않고, 적용되는 실시예에서 요구되는 오디오 신호의 주파수 대역에 따라 다양하게 결정될 수 있다.In operation 314, the first haptic pattern data determiner may select a signal of one or more frequency bands including target bit pattern information from among the audio signals divided for each frequency band. For example, the first haptic pattern data determiner selects one or more frequency band signals including bit pattern information to be extracted, such as information on bit patterns excluding noise of the audio signal, and bit pattern information on a specific instrument of the audio signal. You can choose. For example, when an audio signal corresponding to noise is included in a high frequency band, a signal excluding the high frequency band may be selected. Also, when it is desired to extract an audio signal of a specific musical instrument from among audio signals in which audio signals for various musical instruments are combined, an audio signal corresponding to a frequency band of the specific musical instrument may be selectively extracted. When audio signals of a plurality of frequency bands are required according to an applied embodiment, signals of a plurality of required frequency bands may be extracted. A method in which an audio signal is divided into a plurality of frequency bands and is selected is not limited to the example presented above, and may be variously determined according to a frequency band of an audio signal required in an applied embodiment.

단계(315)에서, 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호에 IFFT(Inverse Fast Fourier Transformation)를 수행할 수 있다. 제1 햅틱 패턴 데이터 결정부는 IFFT를 통해 선택된 주파수 대역의 오디오 신호를 주파수 영역에서 시간 영역으로 변환할 수 있다.In operation 315, the first haptic pattern data determiner may perform Inverse Fast Fourier Transformation (IFFT) on the audio signal of the selected frequency band. The first haptic pattern data determiner may convert an audio signal of a frequency band selected through IFFT from the frequency domain to the time domain.

단계(316)에서, 제1 햅틱 패턴 데이터 결정부는 IFFT된 오디오 신호를 스무딩(smoothing) 처리할 수 있다. 예를 들어, 오디오 신호를 스무딩하는 과정에서, 제1 햅틱 패턴 데이터 결정부는 IFFT를 통해 시간 영역으로 변환된 오디오 신호를 전파 정류하고, 오디오 신호를 세그멘테이션화하여 FFT의 진행에 기인하여 발생한 왜곡을 감소시키고, 급격히 변화하는 영역을 부드럽게 보정하기 위하여 윈도우(window) 함수를 통해 오디오 신호에 대하여 컨볼루션(Convolution) 연산을 수행할 수 있다. 예를 들어 윈도우 함수는 해닝(Hanning), 해밍(Hamming), 카이저(Kaiser) 함수일 수 있지만 이에 한정되지 않는다. 또한, 시간 영역에서의 컨볼루션 연산은 주파수 영역에서의 곱 연산과 동일한 점에 기초하여, 주파수 영역에서 연산 과정을 수행하면 더 빠른 연산 수행이 가능할 수 있다.In operation 316 , the first haptic pattern data determiner may perform a smoothing process on the IFFTed audio signal. For example, in the process of smoothing the audio signal, the first haptic pattern data determining unit full-wave rectifies the audio signal converted to the time domain through IFFT, and segments the audio signal to reduce distortion caused by the progress of the FFT and a convolution operation may be performed on the audio signal through a window function to smoothly correct a rapidly changing region. For example, the window function may be a Hanning, Hamming, or Kaiser function, but is not limited thereto. In addition, on the basis that the convolution operation in the time domain is the same as the multiplication operation in the frequency domain, faster operation may be performed if the calculation process is performed in the frequency domain.

단계(317)에서, 제1 햅틱 패턴 데이터 결정부는 스무딩된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다.In operation 317, the first haptic pattern data determiner may extract an audio bit pattern by half-wave rectifying the smoothed audio signal.

도 3b는 일 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 FFT를 이용하여 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 오디오 신호를 분리해 내는 일례를 도시하는 도면이다.3B is a diagram illustrating an example in which the first haptic pattern data determiner separates an audio signal of a frequency band including target bit pattern information by using FFT according to an embodiment.

일 실시예에 따르면, 오디오 신호(321)는 FFT를 통해 시간 영역에서 주파수 영역으로 변환되고, 주파수 대역 별로 오디오 신호의 컴포넌트들이 분리될 수 있다. 신호들(323)은 6개의 서로 다른 주파수 대역(f₁, f₂, f₃, f₄, f₅, f₆)으로 분할된 오디오 신호들일 수 있다. 주파수 대역을 분할하는 방식은 제시된 예시에 한정되지 않는다. 제1 햅틱 패턴 데이터 결정부는 복수의 주파수 대역으로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 주파수 대역(f₂)의 오디오 신호(325)를 선택한다. 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호(325)를 IFFT를 통해 주파수 영역에서 시간 영역으로 변환한다. 제1 햅틱 패턴 데이터 결정부는 시간 영역으로 변환된 오디오 신호(327)를 스무딩 처리 및 반파 정류하고, 이를 통해 목적하는 비트 패턴 정보를 추출할 수 있다. 제1 햅틱 패턴 데이터 결정부는 추출한 비트 패턴 정보에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.According to an embodiment, the audio signal 321 may be converted from the time domain to the frequency domain through FFT, and components of the audio signal may be separated for each frequency band. The signals 323 may be audio signals divided into six different frequency bands f ₁ , f ₂ , f ₃ , f ₄ , f ₅ , and f ₆ . A method of dividing the frequency band is not limited to the presented example. The first haptic pattern data determiner selects the audio signal 325 of the frequency band f ₂ including the desired bit pattern information from among the audio signals divided into a plurality of frequency bands. The first haptic pattern data determiner converts the audio signal 325 of the selected frequency band from the frequency domain to the time domain through IFFT. The first haptic pattern data determiner may perform smoothing and half-wave rectification of the audio signal 327 converted into the time domain, and extract desired bit pattern information through this. The first haptic pattern data determiner may determine haptic pattern data based on the extracted bit pattern information.

도 4a는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 이용하여 오디오 신호에서 오디오 비트 패턴을 추출하는 방법을 도시하는 흐름도이다.4A is a flowchart illustrating a method for a first haptic pattern data determiner to extract an audio bit pattern from an audio signal by using a discrete wavelet transform according to another embodiment.

도 4a를 참조하면, 단계(411)에서 제1 햅틱 패턴 데이터 결정부는 입력된 오디오 신호에 대하여 이산 웨이블렛 변환을 수행하기 위해 입력된 오디오 신호를 세그멘테이션화할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호에 대하여 원활하게 이산 웨이블렛 변환을 수행하기 위해 256개 또는 1024개의 데이터 열로 오디오 신호를 세그멘테이션화할 수 있다.Referring to FIG. 4A , in operation 411 , the first haptic pattern data determiner may segment the input audio signal to perform discrete wavelet transform on the input audio signal. For example, the first haptic pattern data determiner may segment the audio signal into 256 or 1024 data streams in order to smoothly perform discrete wavelet transform on the audio signal.

단계(413)에서, 제1 햅틱 패턴 데이터 결정부는 이산 웨이블렛 변환을 통해 세그멘테이션화된 오디오 신호를 주파수 대역 별로 분할할 수 있다. 제1 햅틱 패턴 데이터 결정부는 목적하는 오디오 비트 패턴을 포함하는 주파수 대역의 오디오 신호를 획득하기 위하여 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할할 수 있다. 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 방법은 도 4b를 통해 자세히 설명된다.In operation 413, the first haptic pattern data determiner may divide the segmented audio signal for each frequency band through discrete wavelet transform. The first haptic pattern data determiner may divide the audio signal for each frequency band through discrete wavelet transform in order to obtain an audio signal of a frequency band including a desired audio bit pattern. A method of dividing an audio signal for each frequency band through discrete wavelet transform will be described in detail with reference to FIG. 4B .

단계(415)에서, 제1 햅틱 패턴 데이터 결정부는 주파수 대역 별로 분할된 오디오 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다. 예를 들어, 제1 햅틱 패턴 데이터 결정부는 오디오 신호의 잡음을 제외한 음악의 비트 패턴 정보, 오디오 신호의 특정 악기의 비트 패턴 정보 등 추출하고자 하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 신호를 선택할 수 있다.In operation 415, the first haptic pattern data determiner may select a signal of one or more frequency bands including target bit pattern information from among the audio signals divided for each frequency band. For example, the first haptic pattern data determining unit selects a signal of one or more frequency bands including bit pattern information to be extracted, such as bit pattern information of music excluding noise of the audio signal, bit pattern information of a specific instrument of the audio signal, etc. can

단계(417)에서, 제1 햅틱 패턴 데이터 결정부는 선택된 주파수 대역의 오디오 신호를 스무딩할 수 있다. 예를 들어, 오디오 신호를 스무딩하는 과정은 선택된 주파수 대역의 오디오 신호를 전파 정류하고, 오디오 신호의 왜곡을 감소시키고, 급격히 변화하는 영역을 부드럽게 보정하기 위하여 윈도우 함수를 통해 오디오 신호에 대하여 컨볼루션 연산을 수행할 수 있다. 예를 들어 윈도우 함수는 해닝(Hanning), 해밍(Hamming), 카이저(Kaiser) 함수일 수 있지만 이에 한정되지 않는다.In operation 417, the first haptic pattern data determiner may smooth the audio signal of the selected frequency band. For example, in the process of smoothing the audio signal, a convolution operation is performed on the audio signal through a window function in order to full-wave rectify the audio signal of a selected frequency band, reduce distortion of the audio signal, and smoothly correct a rapidly changing region. can be performed. For example, the window function may be a Hanning, Hamming, or Kaiser function, but is not limited thereto.

단계(419)에서 제1 햅틱 패턴 데이터 결정부는 스무딩된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다. 제1 햅틱 패턴 데이터 결정부는 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.In operation 419, the first haptic pattern data determiner may extract an audio bit pattern by half-wave rectifying the smoothed audio signal. The first haptic pattern data determiner may determine haptic pattern data based on the extracted audio bit pattern.

도 4b는 다른 실시예에 따른 제1 햅틱 패턴 데이터 결정부가 이산 웨이블렛 변환을 통해 오디오 신호를 주파수 대역 별로 분할하는 과정을 도시하는 도면이다.4B is a diagram illustrating a process in which a first haptic pattern data determiner divides an audio signal into frequency bands through discrete wavelet transform according to another exemplary embodiment.

일 실시예에 따르면, 입력된 오디오 신호는 고역 통과 필터(421)에 의해 필터링되고, 고역 통과 필터(421)에 의해 필터링된 오디오 신호는 다운 샘플링(down sampling)되어 제1 대역 주파수 신호로 분할될 수 있다. 저역 통과 필터(422)에 의해 필터링된 오디오 신호는 다운 샘플링 되어 제2 대역 주파수 신호를 분할하기 위한 입력 오디오 신호로 사용될 수 있다. 제2 대역 주파수 신호를 분할하기 위한 입력 오디오 신호는 고역 통과 필터(423)에 의해 필터링되고, 다운 샘플링 되어 제2 대역 주파수 신호로 분할될 수 있다. 저역 통과 필터(424)에 의해 필터링된 오디오 신호는 다운 샘플링되어 제3 대역 주파수 신호를 분할하기 위한 입력 오디오 신호로 사용될 수 있다. 이와 같은 필터링 및 다운 샘플링 과정들이 필터들(425, 426, 427, 428)에 의해 수행됨에 따라, 제1 햅틱 패턴 데이터 결정부는 시간 영역에서 오디오 신호를 주파수 대역 별로 분할할 수 있다. 예를 들어, n개 대역의 주파수로 오디오 신호를 분할하고자 한다면 2n번의 필터링 과정이 필요하다. 제1 햅틱 패턴 데이터 결정부는 복수의 주파수 대역의 신호들 중 목적하는 비트 패턴 정보를 포함하는 하나 이상의 주파수 대역의 오디오 신호를 선택하고, 선택된 오디오 신호를 반파 정류하여 오디오 비트 패턴을 추출할 수 있다.According to an embodiment, the input audio signal is filtered by the high-pass filter 421, and the audio signal filtered by the high-pass filter 421 is down-sampled to be divided into a first band frequency signal. can The audio signal filtered by the low-pass filter 422 may be down-sampled and used as an input audio signal for dividing the second band frequency signal. The input audio signal for dividing the second band frequency signal may be filtered by the high pass filter 423 and down-sampled to be divided into the second band frequency signal. The audio signal filtered by the low-pass filter 424 may be down-sampled and used as an input audio signal for dividing the third band frequency signal. As such filtering and downsampling processes are performed by the filters 425 , 426 , 427 , and 428 , the first haptic pattern data determiner may divide the audio signal into frequency bands in the time domain. For example, if an audio signal is to be divided into frequencies of n bands, 2n filtering processes are required. The first haptic pattern data determiner may select an audio signal of one or more frequency bands including target bit pattern information from among signals of a plurality of frequency bands, and extract the audio bit pattern by half-wave rectifying the selected audio signal.

도 5는 일 실시예에 따른 햅틱 장치의 구성을 도시한 도면이다.5 is a diagram illustrating a configuration of a haptic device according to an exemplary embodiment.

도 5를 참조하면, 햅틱 장치(500)는 햅틱 장치의 동작을 제어하는 컨트롤러(510), 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호 및 시각화 데이터를 수신하는 수신부(520), 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출하는 햅틱 패턴 데이터 추출부(530), 액츄에이터의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성하는 액츄에이터 제어부(540), 햅틱 장치가 제공하는 햅틱 자극에 대응하는 진동을 발생시키는 액츄에이터들(551, 552, 553), 수신한 시각화 데이터를 디스플레이하는 시각화 데이터 표시부(560)를 포함한다.Referring to FIG. 5 , the haptic device 500 includes a controller 510 for controlling the operation of the haptic device, a receiver 520 for receiving a haptic control signal and visualization data from the haptic control signal providing device, and a haptic pattern from the haptic control signal. The haptic pattern data extraction unit 530 for extracting data, the actuator control unit 540 for generating an actuator control signal for controlling the driving of the actuator, and the actuators 551 for generating vibration corresponding to the haptic stimulus provided by the haptic device , 552 and 553), and a visualization data display unit 560 for displaying the received visualization data.

컨트롤러(510)는 햅틱 패턴 데이터 추출부(530), 시각화 데이터 표시부(560), 데이터 베이스(570)의 동작을 제어할 수 있다. 수신부(520)는 유무선 통신(예를 들어, 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이 LTE를 포함함)을 통해 제어 신호 제공 장치로부터 햅틱 제어 신호 및 햅틱 패턴 데이터에 대응하는 시각화 데이터를 수신하고, 수신한 햅틱 제어 신호 및 시각화 데이터를 데이터 베이스(570)에 저장할 수 있다.The controller 510 may control the operations of the haptic pattern data extraction unit 530 , the visualization data display unit 560 , and the database 570 . The receiver 520 receives the visualization data corresponding to the haptic control signal and the haptic pattern data from the control signal providing device through wired/wireless communication (eg, including Ethernet, Bluetooth, ZigBee, Wi-Fi LTE). The received haptic control signal and the received visualization data may be stored in the database 570 .

햅틱 패턴 데이터 추출부(530)는 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출할 수 있다. 햅틱 패턴 데이터 추출부(530)는 햅틱 제어 신호로부터 데이터 헤더, 햅틱 패턴 데이터의 진폭 데이터, 진동 방향 데이터, 신호 상태 데이터를 복원하고, 복원된 결과에 기초하여 햅틱 패턴 데이터를 추출할 수 있다. 추출된 햅틱 패턴 데이터는 통신 모듈(미도시)을 통해 액츄에이터 제어부에 전송될 수 있다.The haptic pattern data extractor 530 may extract haptic pattern data from the haptic control signal. The haptic pattern data extractor 530 may restore a data header, amplitude data of haptic pattern data, vibration direction data, and signal state data from the haptic control signal, and extract haptic pattern data based on the restored result. The extracted haptic pattern data may be transmitted to the actuator controller through a communication module (not shown).

액츄에이터 제어부(540)는 햅틱 패턴 데이터에 기초하여 액츄에이터들(551, 552, 553)의 구동을 제어하기 위한 액츄에이터 제어 신호를 생성할 수 있다. 액츄에이터 제어부의 동작은 도 6을 통해 아래에서 자세히 설명하도록 한다.The actuator controller 540 may generate an actuator control signal for controlling driving of the actuators 551 , 552 , and 553 based on the haptic pattern data. The operation of the actuator control unit will be described in detail below with reference to FIG. 6 .

액츄에이터들(551, 552, 553)은 액츄에이터 제어부(540)로부터 수신한 액츄에이터 제어 신호에 기초하여 진동을 발생시킬 수 있다. 예를 들어, 액츄에이터들(551, 552, 553)은 햅틱 패턴 데이터에 기초하여 발생된 전류 형태의 액츄에이터 제어 신호에 기초하여 햅틱 패턴 데이터에 대응하는 진동을 발생시킬 수 있다. 또한 액츄에이터들(551, 552, 553)은 제공되는 컨텐츠에 따라 다양한 형태로 구성될 수 있다. 예를 들어, 슈팅 게임에 제공되는 햅틱 장치의 경우, 액츄에이터들(551, 552, 553)은 사용자가 착용하는 조끼에 배치되어 사용자가 총에 맞는 효과를 느낄 수 있도록 진동을 발생시킬 수 있고, 슈팅 장치에 배치되어 사용자가 슈팅 효과를 느낄 수 있도록 하는 진동을 발생시킬 수 있다. 액츄에이터들(551, 552, 553)의 개수는 도면에 제시된 예시에 한정되지 않는다.The actuators 551 , 552 , and 553 may generate vibration based on an actuator control signal received from the actuator controller 540 . For example, the actuators 551 , 552 , and 553 may generate a vibration corresponding to the haptic pattern data based on an actuator control signal in the form of a current generated based on the haptic pattern data. In addition, the actuators 551 , 552 , and 553 may be configured in various forms according to provided content. For example, in the case of a haptic device provided in a shooting game, the actuators 551 , 552 , 553 may be disposed on a vest worn by the user to generate vibration so that the user can feel the effect of being shot, and shooting It can be placed on the device to generate a vibration that allows the user to feel the shooting effect. The number of actuators 551 , 552 , 553 is not limited to the examples shown in the drawings.

시각화 데이터 표시부(560)는 수신한 시각화 데이터에 기초하여 햅틱 패턴 데이터에 대한 특성 정보(예를 들어 진폭 정보, 진동 방향 정보 등)를 출력할 수 있다. 예를 들어, 시각화 데이터는 햅틱 패턴 데이터에 대한 정보를 디스플레이하기 위한 문자에 대한 정보, 화면에 부가될 이모티콘에 대한 정보 등일 수 있다. 데이터 베이스(570)는 햅틱 제어 신호에 대한 정보, 시각화 데이터에 대한 정보, 햅틱 패턴 데이터에 대한 정보 등을 저장할 수 있다.The visualization data display unit 560 may output characteristic information (eg, amplitude information, vibration direction information, etc.) about the haptic pattern data based on the received visualization data. For example, the visualization data may be information about a character for displaying information about the haptic pattern data, information about an emoticon to be added to the screen, and the like. The database 570 may store information on haptic control signals, information on visualization data, information on haptic pattern data, and the like.

도 6은 일 실시예에 따른 액츄에이터 제어부의 구성을 도시하는 도면이다.6 is a diagram illustrating a configuration of an actuator control unit according to an embodiment.

도 6을 참조하면, 액츄에이터 제어부(620)는 햅틱 패턴 데이터에 기초하여 전류를 발생시키는 컨트롤 회로(623), 액츄에이터 제어부(620)에 인가되는 직류 전원의 전압을 변압시키는 DC-DC 컨버터(converter; 621) 및 컨트롤 회로(623)에서 발생한 전류 값을 조절하는 조절부(625)를 포함한다. 컨트롤 회로(623)에서 발생된 전류 또는 조절부(625)에서 전류 값이 조절된 전류는 액츄에이터 제어 신호에 대응될 수 있다.Referring to FIG. 6 , the actuator controller 620 includes a control circuit 623 that generates a current based on haptic pattern data, and a DC-DC converter that transforms the voltage of the DC power applied to the actuator controller 620; 621 ) and a control unit 625 for adjusting the value of the current generated by the control circuit 623 . The current generated by the control circuit 623 or the current whose current value is adjusted by the adjusting unit 625 may correspond to the actuator control signal.

컨트롤 회로(623)는 DC-DC 컨버터(621)로부터 인가된 직류 전압과, 햅틱 패턴 데이터 추출부(610)로부터 수신한 햅틱 패턴 데이터에 기초하여 전류를 발생시키고, 발생된 전류를 조절부(625)에 전달할 수 있다. 예를 들어, 컨트롤 회로(623)는 H-bridge 회로를 통해 햅틱 패턴 데이터에 대응하여 변화하는 전류를 발생시킬 수 있다. DC-DC 컨버터(621)는 컨트롤 회로(623)에 인가되는 직류 전원의 전압을 조절할 수 있다.The control circuit 623 generates a current based on the DC voltage applied from the DC-DC converter 621 and the haptic pattern data received from the haptic pattern data extraction unit 610 , and adjusts the generated current to the control unit 625 . ) can be passed to For example, the control circuit 623 may generate a current that changes in response to the haptic pattern data through the H-bridge circuit. The DC-DC converter 621 may adjust the voltage of the DC power applied to the control circuit 623 .

조절부(625)는 스위치를 사용하여 컨트롤 회로(623)에 의해 발생된 전류의 세기를 조절하고, 조절된 전류를 액츄에이터들(631, 633, 635)에 인가하여 액츄에이터들(631, 633, 635)의 진동을 조절할 수 있다. 예를 들어, 조절부(625)는 스위칭 회로를 포함할 수 있다. 조절부(625)는 스위칭 회로의 스위치를 통해 액츄에이터들(631, 633, 635)에 연결된 코일들의 주 권선과 보조 권선의 비를 조절할 수 있고, 선택된 코일들의 주 권선과 보조 권선의 비를 통해 액츄에이터들(631, 633, 635)에 흐르는 전류를 조절할 수 있다. 조절된 전류를 통해 조절부(625)는 액츄에이터들(631, 633, 635)의 진동력을 조절할 수 있고, 조절된 액츄에이터들(631, 633, 635)의 진동을 통해 햅틱 장치는 다양한 햅틱 자극을 사용자에게 제공할 수 있다. 다른 실시예에서, 조절부(625)는 가변 저항을 통해 액츄에이터들(631, 633, 635)에 인가되는 전압의 크기를 조절할 수 있고, 조절된 전압의 크기에 기초하여 액츄에이터(631, 633, 635)에 흐르는 전류의 세기를 조절할 수 있다.The control unit 625 adjusts the intensity of the current generated by the control circuit 623 using a switch, and applies the adjusted current to the actuators 631 , 633 , and 635 to the actuators 631 , 633 , and 635 . ) can be controlled. For example, the control unit 625 may include a switching circuit. The adjusting unit 625 may adjust the ratio of the main winding and the auxiliary winding of the coils connected to the actuators 631 , 633 , and 635 through the switch of the switching circuit, and the actuator 625 through the ratio of the main winding and the auxiliary winding of the selected coils. It is possible to adjust the current flowing through the fields (631, 633, 635). Through the adjusted current, the adjusting unit 625 may adjust the vibration force of the actuators 631, 633, and 635, and the haptic device generates various haptic stimuli through the adjusted vibration of the actuators 631, 633, and 635. can be provided to users. In another embodiment, the adjusting unit 625 may adjust the magnitude of the voltage applied to the actuators 631 , 633 , and 635 through a variable resistor, and based on the adjusted voltage, the actuator 631 , 633 , and 635 . ) can control the strength of the current flowing through it.

도 7a는 일 실시예에 따른 액츄에이터 제어부의 회로의 일례를 도시하는 도면이다.7A is a diagram illustrating an example of a circuit of an actuator control unit according to an embodiment.

도 7a를 참조하면, 컨트롤 회로(713)는 4개의 MOSFET 또는 트랜지스터를 포함하는 H-bridge회로로 구성된다. 컨트롤 회로(713)에는 DC-DC 컨버터(711)에 의해 전압이 조절된 직류 전압이 인가되고, 컨트롤 회로(713)는 DC-DC 컨버터(711)로부터 인가된 전압 및 햅틱 패턴 데이터에 기초하여 변화하는 전류를 발생시킬 수 있다. 컨트롤 회로(713)에 의해 발생된 전류는 스위칭 회로(717)를 통해 조절될 수 있다. 스위칭 회로(717)는 스위칭을 통해 스위칭 회로(717)에 연결된 코일의 주 권선 및 보조 권선의 비를 조절할 수 있고, 조절된 코일의 주권선 및 보조 권선의 비에 기초하여 액츄에이터(719)에 인가되는 전류를 조절할 수 있다. 이 방식은 전압 변경을 위해 PWM(Pulse width Modulation)신호를 컨트롤하는 종래의 방법에서 요구되는 복잡한 PWM 신호의 세기 변경이나 PWM신호 컨트롤 시간을 필요로 하지 않고, 단순한 스위칭 회로를 통해 3 단계의 전압 레벨을 쉽고 빠르게 변경하고, 제어할 수 있는 장점이 있다. 조절된 전류를 통해 액츄에이터(719)의 진동의 세기 및 진동자의 움직임의 방향이 조절될 수 있고, 조절된 액츄에이터(719)의 진동에 의해 햅틱 자극이 생성될 수 있다.Referring to FIG. 7A , the control circuit 713 is configured as an H-bridge circuit including four MOSFETs or transistors. A DC voltage whose voltage is adjusted by the DC-DC converter 711 is applied to the control circuit 713 , and the control circuit 713 changes based on the voltage and haptic pattern data applied from the DC-DC converter 711 . current can be generated. The current generated by the control circuit 713 may be adjusted through the switching circuit 717 . The switching circuit 717 may adjust the ratio of the main winding and the auxiliary winding of the coil connected to the switching circuit 717 through switching, and is applied to the actuator 719 based on the adjusted ratio of the main winding and the auxiliary winding of the coil current can be adjusted. This method does not require complex PWM signal intensity change or PWM signal control time required in the conventional method of controlling a PWM (Pulse Width Modulation) signal for voltage change, and provides three voltage levels through a simple switching circuit. It has the advantage of being able to change and control it quickly and easily. The intensity of the vibration of the actuator 719 and the direction of movement of the vibrator may be adjusted through the adjusted current, and a haptic stimulus may be generated by the adjusted vibration of the actuator 719 .

도 7b는 다른 실시예에 따른 하나의 제어 신호에 기초하여 컨트롤 회로가 동작되는 회로의 일례를 도시하는 도면이다.7B is a diagram illustrating an example of a circuit in which a control circuit is operated based on one control signal according to another embodiment.

도 7b를 참조하면, 제시된 회로는 DC-DC 컨버터와 기존의 H-bridge회로에 버퍼와 NOT 게이트로 구성된 논리 회로가 연결된 회로이다. 버퍼(Buffer)와 NOT 게이트로 구성된 논리 회로가 연결된 컨트롤 회로를 통해 하나의 제어 신호(S31)(720)에 의한 액츄에이터 제어가 수행될 수 있다. 구체적으로,DC-DC 컨버터에 의해 모터 구동에 필요한 DC 전압 레벨이 회로에 제공되고, 제공된 DC 전압 레벨은 햅틱 패턴 데이터에 포함된 진동 세기 변화에 대한 정보에 기초하여 PWM 신호 제어부(700)를 통해 제어될 수 있다.Referring to FIG. 7B , the presented circuit is a circuit in which a logic circuit composed of a buffer and a NOT gate is connected to a DC-DC converter and an existing H-bridge circuit. Actuator control by one control signal S31 and 720 may be performed through a control circuit to which a logic circuit composed of a buffer and a NOT gate is connected. Specifically, the DC voltage level required for driving the motor is provided to the circuit by the DC-DC converter, and the provided DC voltage level is transmitted through the PWM signal control unit 700 based on information about the change in vibration intensity included in the haptic pattern data. can be controlled.

제어 신호(S31)(720)가 High 상태가 되면 G1(721)에는 Low 상태의 신호가 출력되고 G1(721)에 연결된 트랜지스터(727)는 On 상태가 되어 전류가 흐르게 되고 G3(723)에는 제어 신호(720)와 동일한 High 상태의 신호가 출력되고 G3(723)에 연결된 트랜지스터(726)는 Off 상태가 되어 전류가 흐르지 않게 된다. 제어 신호(S31)(720)가 Low 상태가 되면 G2(722)의 출력은 High 상태의 신호가 되고, 연결된 G4(724)에는 High 상태의 신호가 출력되어 연결된 트랜지스터(728)은 Off 상태가 된다. G2(722)의 출력에 연결된 G5(725)의 출력은 Low 상태의 신호가 되고, G5(725) 연결된 트랜지스터(729)는 On 상태가 되어 전류가 흐르게 된다. 결론적으로 제어 신호(S31)(720)가 High 상태가 될 경우 트랜지스터(727))와 트랜지스터(728))이 On 상태가 되어 전류가 순방향(i2)으로 흐르고 제어 신호(S31)(720)이 Low 상태가 될 경우 트랜지스터(726)와 트랜지스터(729)가 On 상태가 되어 전류가 역방향(i1)으로 흐른다. 설명된 방법으로 액츄에이터에 흐르는 전류의 방향이 하나의 컨트롤 신호(720)를 통해 결정될 수 있으며, 이때 PWM 신호 제어부(700)의 제어 신호(S31)(720)의 세기 변화를 이용하여 액츄에이터에 인가되는 전압의 세기 또한 조정될 수 있다. 다수의 제어 신호가 사용될 경우 하나의 액츄에이터의 동작을 제어하기 위해서는 필수적으로 다수의 제어 신호가 동기화 되어야 한다. 만약 다수의 제어 신호가 동기화되지 않을 경우, 동기화 되지 않은 제어 신호를 통해 목표한 진동 패턴을 생성하는 것에는 큰 어려움이 따른다. 설명된 방식은 하나의 제어 신호(720)를 사용함으로써, 동기화 과정이 생략될 수 있기 때문에, 진동 패턴을 용이하게 생성할 수 있는 장점이 있다.When the control signal S31 (720) is in the High state, a signal in the Low state is output to the G1 (721), the transistor 727 connected to the G1 (721) is in the On state, and a current flows, and the G3 (723) is controlled A signal of the same high state as the signal 720 is output, and the transistor 726 connected to the G3 723 is turned off, so that no current flows. When the control signal S31 (720) is in the Low state, the output of G2 (722) becomes a signal in the High state, and the signal in the High state is output to the connected G4 (724), and the connected transistor 728 is in the Off state. . The output of G5 (725) connected to the output of G2 (722) becomes a low state signal, and the transistor 729 connected to G5 (725) becomes on state and current flows. Consequently, when the control signals S31 and 720 are in the High state, the transistor 727) and the transistor 728) are in the On state, and the current flows in the forward direction (i2) and the control signals S31 and 720 are in the Low state. When the state is turned on, the transistor 726 and the transistor 729 are turned on, and a current flows in the reverse direction (i1). In the described method, the direction of the current flowing through the actuator can be determined through one control signal 720, and at this time, the control signal S31 and 720 of the PWM signal control unit 700 is applied to the actuator by using the change in intensity. The strength of the voltage can also be adjusted. When a plurality of control signals are used, in order to control the operation of one actuator, the plurality of control signals must be synchronized. If a plurality of control signals are not synchronized, it is very difficult to generate a target vibration pattern through the unsynchronized control signals. The described method has an advantage in that a vibration pattern can be easily generated because a synchronization process can be omitted by using one control signal 720 .

도 7c는 또 다른 실시예에 따른 다양한 패턴의 제어 신호를 생성할 수 있는 회로도의 일례를 도시한다.7C illustrates an example of a circuit diagram capable of generating various patterns of control signals according to another embodiment.

도 7c를 참조하면, 도 7c에 제시된 회로는 DC-DC 컨버터를 통해 모터 구동에 필요한 DC 전압 레벨이 회로에 제공되고,제공된 전압 레벨은 햅틱 패턴 데이터에 포함된 진동 세기 변화에 대한 정보에 기초하여 PWM 신호 제어부를 통해 제어될 수 있다. 액츄에이터(735)는 제어 신호(S41)(731), 제어 신호(S42)(732)에 기초하여 제어될 수 있다. 제어 신호(S41)(731)가 Low 상태가 되고 제어 신호(S42)(732)가 High 상태가 되면 전류가 순방향(i2)로 흐르게 되고 이와 반대로 제어 신호(S41)(731)가 High 상태가 되고, 제어 신호(S42)(732)가 Low 상태가 되면 역방향(i1)으로 전류가 흐르게 된다. 그리고 제어 신호(731, 732)의 세기 변화를 이용하여 액츄에이터(735)에 인가되는 전압의 세기 또한 조절될 수 있다. 또한, 정현파, 반파 형태의 정현파, 구형파, 반파 형태의 구형파 등과 같은 다양한 형태의 제어 신호(731, 732)를 통해 액츄에이터가 조절될 수 있다.Referring to FIG. 7C , in the circuit shown in FIG. 7C, a DC voltage level required for driving a motor is provided to the circuit through a DC-DC converter, and the provided voltage level is based on information about a change in vibration intensity included in the haptic pattern data. It can be controlled through the PWM signal controller. The actuator 735 may be controlled based on control signals S41 and 731 and control signals S42 and 732 . When the control signals S41 and 731 are in the Low state and the control signals S42 and 732 are in the High state, the current flows in the forward direction i2. Conversely, the control signals S41 and 731 are in the High state. , when the control signals S42 and 732 are in the Low state, the current flows in the reverse direction i1. In addition, the intensity of the voltage applied to the actuator 735 may also be adjusted by using the change in intensity of the control signals 731 and 732 . In addition, the actuator may be controlled through various types of control signals 731 and 732 such as a sine wave, a half-wave type sine wave, a square wave, and a half-wave type square wave.

도 7d은 다양한 햅틱 자극을 생성하는 햅틱 장치의 액츄에이터 제어부 및 액츄에이터에 대한 회로의 일례를 도시한다.7D shows an example of circuitry for an actuator control and actuator of a haptic device that generates various haptic stimuli.

기존의 LRA(Linear Resonant Actuator) 액츄에이터에 사용되는 구동 드라이버는 햅틱 드라이버 집적회로(Haptic Driver Integrated Circuit)로 일정한 진폭을 갖는 정현파를 생성하고, 생성된 정현파의 주파수와 구동 시간만을 변경할 수 있다. 도 7d에 제시된 햅틱 장치는 구동 신호 생성부(740)와 디지털 가변 저항기를 포함하는 디지털 게인 제어부(Digital Gain Controller)(751, 752), OP AMP(761, 762)를 통해 정현파, 삼각파 및 사각파 등을 생성하고, 생성된 각각의 형태의 파형의 구동시간, 주파수 및 진폭의 크기를 변경함으로써 다양한 촉감의 햅틱 자극을 생성할 수 있다.A driving driver used in a conventional LRA (Linear Resonant Actuator) actuator is a haptic driver integrated circuit (Haptic Driver Integrated Circuit) that generates a sine wave having a constant amplitude, and can change only the frequency and driving time of the generated sine wave. The haptic device shown in FIG. 7D is a sine wave, a triangular wave, and a square wave through a driving signal generator 740 and digital gain controllers 751 and 752 including a digital variable resistor, and an OP AMP 761 and 762. It is possible to generate haptic stimuli of various tactile sensations by generating the haptic stimuli and changing the driving time, frequency, and amplitude of each of the generated waveforms.

구체적으로, 구동 신호 생성부(740)에서 디지털 출력(S72)(742)이 High 상태로 출력됨으로써, 구동시간이 설정될 수 있고,디지털 출력(S72)(742)이 Low 상태로 출력됨으로써, 휴지 시간이 설정될 수 있다. 또한, 구동 신호 생성부(740)를 통해 H-Bridge(753)에 위상 변화에 대한 신호가 제공됨으로써 전류의 방향(i3, i4)이 결정될 수 있고, 결정된 전류 방향에 기초하여 액츄에이터(770)가 움직이는 방향이 결정될 수 있다. 또한 구동 신호 생성부(740)는 디지털 게인 제어부(751, 752)를 통해 액츄에이터(770)에 제공되는 전압의 세기를 조절할 수 있고, 조절된 전압의 세기에 기초하여 액츄에이터(770)에 흐르는 전류의 세기가 제어됨으로써, 액츄에이터(770)의 구동 세기가 결정될 수 있다. 설명된 방식을 통해 사각파 형태의 다양한 세기의 구동신호를 생성하는 일 실시예에 따르면, 구동 신호 생성부(740)는 디지털 출력(S72)(742)으로 사각파 형태 패턴의 신호를 생성하고, H-Bridge(753)를 통해 결정된 전류의 방향을 통해 액츄에이터(770)의 구동 방향이 결정될 수 있다. 구동 신호 생성부(740)는 디지털 게인 제어부(751, 752)를 통해 액츄에이터의 구동 세기를 결정함으로써, 사각파 형태의 구동 신호를 생성할 수 있다. 정현파 형태의 구동 신호를 생성하고자 하는 다른 실시예에 따르면, 구동 신호 생성부(740)를 통해 디지털 출력(S72)(742)으로 정현파를 출력하는 총 시간의 길이가 결정될 수 있고, 구동 신호 생성부(740)에서 신호(S71)(741), 신호(S73)(743)를 통해 디지털 게인 제어부(751, 753)의 게인(gain)을 조절함으로써, 출력 신호의 크기 변화를 통해 OP-AMP(761, 762)의 출력 신호가 정현파의 반파 형태가 되도록 출력 신호의 형태가 조절될 수 있다. 또한, 정현파의 반파 형태로 형태가 조절된 출력 신호는 H-Bridge(753)를 통해 전류 방향이 변경되어 다시 출력됨으로써, 완전한 정현파 형태의 구동 신호가 생성될 수 있다. 생성된 정현파 형태의 구동 신호를 통해 액츄에이터(770)이 구동될 수 있다.. 정현파 형태의 구동 신호를 생성하는 방식과 유사한 방식을 통해 구동 신호의 진폭과 위상을 제어함으로써 반파 형태의 정현파, 구형파, 반파 형태의 구형파, 삼각파 등이 생성될 수 있다. 생성되는 구동 신호의 형태는 제시된 예시에 한정되지 않고, 진폭과 위상의 조절을 통해 임의의 형태의 구동 신호가 생성될 수 있다. 구동 신호는 액츄에이터 제어 신호에 대응될 수 있다.Specifically, by outputting the digital outputs S72 and 742 in a high state from the driving signal generating unit 740, the driving time can be set, and the digital outputs S72 and 742 are output in a low state, thereby stopping Time can be set. In addition, by providing a signal for a phase change to the H-Bridge 753 through the driving signal generator 740, the current directions i3 and i4 can be determined, and based on the determined current direction, the actuator 770 is The direction of movement may be determined. In addition, the driving signal generator 740 may adjust the intensity of the voltage provided to the actuator 770 through the digital gain controllers 751 and 752, and based on the adjusted intensity of the voltage, By controlling the intensity, the driving intensity of the actuator 770 may be determined. According to an embodiment of generating a driving signal of various intensities in the form of a square wave through the described method, the driving signal generator 740 generates a signal in the form of a square wave pattern with the digital outputs S72 and 742, The driving direction of the actuator 770 may be determined through the direction of the current determined through the H-Bridge 753 . The driving signal generator 740 may generate a square wave-shaped driving signal by determining the driving strength of the actuator through the digital gain controllers 751 and 752 . According to another exemplary embodiment in which it is desired to generate a driving signal in the form of a sine wave, the length of the total time for outputting the sine wave to the digital outputs S72 and 742 through the driving signal generating unit 740 may be determined, and the driving signal generating unit In 740, by adjusting the gain of the digital gain controllers 751 and 753 through the signals S71 and 741 and the signals S73 and 743, the OP-AMP 761 through a change in the magnitude of the output signal , 762), the shape of the output signal may be adjusted so that it has a half-wave shape of a sine wave. In addition, the output signal whose shape is adjusted in the form of a half-wave of a sine wave is output again after the current direction is changed through the H-Bridge 753, so that a driving signal in the form of a complete sine wave can be generated. The actuator 770 may be driven through the generated sinusoidal driving signal. By controlling the amplitude and phase of the driving signal in a manner similar to that of generating a sinusoidal driving signal, a half-wave sine wave, a square wave, A square wave, a triangle wave, etc. in the form of a half wave may be generated. The form of the generated driving signal is not limited to the presented example, and any type of driving signal may be generated by adjusting the amplitude and the phase. The driving signal may correspond to an actuator control signal.

도 8은 일 실시예에 따른 햅틱 제어 신호 제공 장치에 의한 햅틱 제어 신호 제공방법의 동작을 도시하는 흐름도이다.8 is a flowchart illustrating an operation of a method for providing a haptic control signal by an apparatus for providing a haptic control signal according to an embodiment.

도 8을 참조하면, 단계(810)에서 햅틱 제어 신호 제공 장치는 오디오 신호 및 부가 효과 신호 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 제어 신호 제공 장치는 오디오 신호로부터 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 FFT 또는 웨이블렛 변환을 통해 오디오 신호의 주파수 대역을 분할하고, 목적하는 비트 패턴 정보를 포함하는 주파수 대역의 신호를 선택하고, 선택된 신호에서 오디오 비트 패턴을 추출하고, 추출된 오디오 비트 패턴에 기초하여 햅틱 패턴 데이터를 결정할 수 있다. 햅틱 제어 신호 제공 장치는 부가 효과에 대응하여 데이터 베이스에 미리 저장된 햅틱 패턴 데이터를 추출하고, 추출된 햅틱 패턴 데이터에 기초하여 햅틱 패턴 데이터를 결정할 수 있다.Referring to FIG. 8 , in step 810 , the apparatus for providing a haptic control signal may determine haptic pattern data based on at least one of an audio signal and an additional effect signal. The haptic control signal providing apparatus may extract an audio bit pattern from an audio signal and determine haptic pattern data based on the extracted audio bit pattern. For example, the haptic control signal providing apparatus divides a frequency band of an audio signal through FFT or wavelet transform, selects a signal of a frequency band including desired bit pattern information, extracts an audio bit pattern from the selected signal, , haptic pattern data may be determined based on the extracted audio bit pattern. The haptic control signal providing apparatus may extract haptic pattern data previously stored in a database in response to an additional effect, and determine the haptic pattern data based on the extracted haptic pattern data.

단계(820)에서 햅틱 제어 신호 제공 장치는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호를 생성할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 햅틱 패턴 데이터에 기초하여 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나를 결정할 수 있다.In operation 820, the haptic control signal providing apparatus may generate a haptic control signal based on the haptic pattern data. For example, the haptic control signal providing apparatus may determine at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal based on the haptic pattern data.

단계(830)에서 햅틱 제어 신호 제공 장치는 햅틱 제어 신호를 햅틱 장치에 전송할 수 있다. 예를 들어, 햅틱 제어 신호 제공 장치는 이더넷(Ethernet), 블루투스, 지그비(ZigBee), 와이파이, LTE를 포함하는 유무선 통신을 통해 햅틱 제어 신호를 햅틱 장치에 전송할 수 있다In operation 830, the haptic control signal providing device may transmit the haptic control signal to the haptic device. For example, the haptic control signal providing device may transmit the haptic control signal to the haptic device through wired/wireless communication including Ethernet, Bluetooth, ZigBee, Wi-Fi, and LTE.

도 9는 일 실시예에 따른 햅틱 장치에서 수행되는 액츄에이터 제어 방법에 대한 동작을 도시하는 흐름도이다.9 is a flowchart illustrating an operation of a method for controlling an actuator performed in a haptic device according to an exemplary embodiment.

도 9를 참조하면, 단계(910)에서 햅틱 장치는 햅틱 제어 신호 제공 장치로부터 햅틱 제어 신호를 수신할 수 있다. 단계(920)에서 햅틱 장치는 수신한 햅틱 제어 신호로부터 햅틱 패턴 데이터를 추출할 수 있다. 예를 들어, 햅틱 장치는 햅틱 제어 신호의 신호 진폭 특성, 신호 방향 특성 및 신호 상태 특성 중 적어도 하나에 기초하여 햅틱 패턴 데이터를 복원할 수 있다.Referring to FIG. 9 , in operation 910 , the haptic device may receive a haptic control signal from the haptic control signal providing device. In operation 920, the haptic device may extract haptic pattern data from the received haptic control signal. For example, the haptic device may restore haptic pattern data based on at least one of a signal amplitude characteristic, a signal direction characteristic, and a signal state characteristic of the haptic control signal.

단계(930)에서 햅틱 장치는 추출한 햅틱 패턴 데이터에 기초하여 액츄에이터 제어 신호를 생성할 수 있다. 예를 들어, 햅틱 장치는 H-bridge 회로를 통해 햅틱 패턴 데이터에 기초하여 전류 형태의 액츄에이터 제어 신호를 생성할 수 있고, 스위칭 회로를 통해 코일의 주 권선 및 보조 권선의 비를 조절하여 전류 형태의 액츄에이터 제어 신호를 조절할 수 있다. 단계(940)에서 햅틱 장치는 액츄에이터 제어 신호에 기초하여 액츄에이터의 구동을 제어할 수 있다. 예를 들어, 액츄에이터는 액츄에이터 제어 신호에 기초하여 햅틱 패턴 데이터에 대응하는 진동을 발생시킴으로써 햅틱 자극을 발생시킬 수 있다.In operation 930, the haptic device may generate an actuator control signal based on the extracted haptic pattern data. For example, the haptic device may generate an actuator control signal in the form of a current based on the haptic pattern data through the H-bridge circuit, and adjust the ratio of the main winding and the auxiliary winding of the coil through the switching circuit to form a current in the form of a current. Actuator control signal can be adjusted. In operation 940 , the haptic device may control driving of the actuator based on the actuator control signal. For example, the actuator may generate a haptic stimulus by generating a vibration corresponding to the haptic pattern data based on the actuator control signal.

위 실시예들에서 설명된 구성요소들은 하나 이상의 DSP (digital signal processor), 프로세서, 컨트롤러, ASIC (application specific integrated circuit), FPGA (field programmable gate array)와 같은 프로그래머블 논리 소자, 다른 전자 기기들 및 이것들의 조합 중 하나 이상을 포함하는 하드웨어 구성 요소에 의해 구현될 수 있다. 실시예들에서 설명된 과정들 또는 기능들 중 적어도 일부는 소프트웨어에 의해 구현될 수 있고, 해당 소프트웨어는 기록 매체에 기록될 수 있다. 실시예들에서 설명된 구성요소들, 기능들 및 과정들은 하드웨어와 소프트웨어의 조합에 의해 구현될 수 있다.The components described in the above embodiments include one or more digital signal processors (DSPs), processors, controllers, application specific integrated circuits (ASICs), programmable logic devices such as field programmable gate arrays (FPGAs), other electronic devices, and these It may be implemented by a hardware component including one or more of the combinations of At least some of the processes or functions described in the embodiments may be implemented by software, and the software may be recorded on a recording medium. Components, functions and processes described in the embodiments may be implemented by a combination of hardware and software.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer readable medium may be specially designed and configured for the embodiment, or may be known and available to those skilled in the art of computer software. Examples of the computer-readable recording medium include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floppy disks. - includes magneto-optical media, and hardware devices specially configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.As described above, although the embodiments have been described with reference to the limited drawings, those skilled in the art may apply various technical modifications and variations based on the above. For example, the described techniques are performed in an order different from the described method, and/or the described components of the system, structure, apparatus, circuit, etc. are combined or combined in a different form than the described method, or other components Or substituted or substituted by equivalents may achieve an appropriate result.

Claims

a haptic pattern data determining unit configured to determine haptic pattern data based on at least one of an audio signal and an additional effect signal;
a haptic control signal generator configured to generate a haptic control signal for controlling a vibration operation of a haptic device based on the haptic pattern data; and
Transmission unit for transmitting the haptic control signal to the haptic device
A haptic control signal providing device comprising a.