[go: up one dir, main page]

KR102363652B1 - Method and Apparatus for Playing Multiple Audio - Google Patents

Method and Apparatus for Playing Multiple Audio Download PDF

Info

Publication number
KR102363652B1
KR102363652B1 KR1020200137739A KR20200137739A KR102363652B1 KR 102363652 B1 KR102363652 B1 KR 102363652B1 KR 1020200137739 A KR1020200137739 A KR 1020200137739A KR 20200137739 A KR20200137739 A KR 20200137739A KR 102363652 B1 KR102363652 B1 KR 102363652B1
Authority
KR
South Korea
Prior art keywords
audio
video communication
content
video
participating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020200137739A
Other languages
Korean (ko)
Inventor
신후랑
이정헌
Original Assignee
주식회사 이누씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이누씨 filed Critical 주식회사 이누씨
Priority to KR1020200137739A priority Critical patent/KR102363652B1/en
Application granted granted Critical
Publication of KR102363652B1 publication Critical patent/KR102363652B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4852—End-user interface for client configuration for modifying audio parameters, e.g. switching between mono and stereo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/006—Systems employing more than two channels, e.g. quadraphonic in which a plurality of audio signals are transformed in a combination of audio signals and modulated signals, e.g. CD-4 systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

멀티 오디오 분리 재생 방법 및 장치를 개시한다.
본 실시예는 회상회의에서 참여한 상태에서 멀티 오디오가 출력될 때, 사용자가 멀티 오디오 각각의 오디오 재생방향(스테레오의 좌,우)을 선택하고, 멀티 오디오 각각의 볼륨을 조정하며, 회상회의에서 참여한 참여자들의 오디오 출력 대상을 전체 또는 특정 사용자로 선택하여 출력할 수 있도록 하는 멀티 오디오 분리 재생 방법 및 장치를 제공한다.Disclosed are a multi-audio separate reproduction method and apparatus.
In this embodiment, when multi-audio is output while participating in the recall meeting, the user selects each audio playback direction (stereo left and right), adjusts the volume of each multi-audio, and participates in the recall meeting. Provided are a method and apparatus for separating and reproducing multi-audio that allow participants to select and output audio output targets as all or a specific user.

Description

멀티 오디오 분리 재생 방법 및 장치{Method and Apparatus for Playing Multiple Audio} Method and Apparatus for Playing Multiple Audio

본 발명의 일 실시예는 멀티 오디오 분리 재생 방법 및 장치에 관한 것이다. One embodiment of the present invention relates to a multi-audio separate playback method and apparatus.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The content described below merely provides background information related to the present embodiment and does not constitute the prior art.

일반적으로 원격지에 떨어져 있는 상대방과 얼굴을 보면서 대화할 수 있는 다양한 유형의 화상회의 시스템이 널리 보급되어 상용화되고 있다. 예컨대, 화상회의 시스템을 구성하는 제1 화상회의 단말기와 제N 화상회의 단말기는 인터넷 또는 인공위성 등과 같은 통신망(Network)을 이용하여 서로 연결될 수 있다.In general, various types of video conferencing systems that can have a face-to-face conversation with a remote party have been widely distributed and commercialized. For example, the first video conference terminal and the N-th video conference terminal constituting the video conference system may be connected to each other using a network such as the Internet or satellite.

화상회의 시스템은 마이크(Mic)로부터 입력되는 오디오와 카메라(Camera)로부터 획득되는 영상을 화상회의에 접속한 복수의 화상회의 단말기로 실시간 전송한다. 화상회의에 참여한 화상회의 단말기는 복수의 오디오와 비디오를 수신한 후 오디오를 스피커(SPK)를 이용하여 출력하고, 비디오를 디스플레이부를 이용하여 출력한다.The video conference system transmits audio input from a microphone and an image obtained from a camera in real time to a plurality of video conference terminals connected to the video conference. After receiving a plurality of audio and video, the video conference terminal participating in the video conference outputs the audio using a speaker (SPK) and outputs the video using the display unit.

화상회의에 참여한 화상회의 단말기는 복수의 오디오가 겹쳐서 출력되는 경우, 화상회의에 참여한 참여자가 출력되는 오디오를 정확하게 인식할 수 없다는 문제가 있다.When a video conference terminal participating in the video conference overlaps and outputs a plurality of audios, there is a problem in that the participant participating in the video conference cannot accurately recognize the audio output.

본 실시예는 회상회의에서 참여한 상태에서 멀티 오디오가 출력될 때, 사용자가 멀티 오디오 각각의 오디오 재생방향(스테레오의 좌,우)을 선택하고, 멀티 오디오 각각의 볼륨을 조정하며, 회상회의에서 참여한 참여자들의 오디오 출력 대상을 전체 또는 특정 사용자로 선택하여 출력할 수 있도록 하는 멀티 오디오 분리 재생 방법 및 장치를 제공하는 데 목적이 있다.In this embodiment, when multi-audio is output while participating in the recall meeting, the user selects each audio playback direction (stereo left and right), adjusts the volume of each multi-audio, and participates in the recall meeting. An object of the present invention is to provide a multi-audio separate playback method and apparatus that allows participants to select and output audio output targets as all or a specific user.

본 실시예의 일 측면에 의하면, 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기로부터 영상 및 오디오를 입력받는 입력부; 상기 비디오 커뮤니케이션 참여 단말기 각각으로 영상 및 오디오를 전송하는 화상 처리부; 상기 비디오 커뮤니케이션 참여 단말기 중 적어도 두 개 이상의 단말기로부터 동시에 입력되는 오디오를 멀티 오디오로 생성하는 멀티 오디오 생성부; 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 멀티 오디오에 포함된 오디오 소스를 메인 컨텐츠와 서브 컨텐츠로 분리하는 오디오 분리부; 및 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 메인 컨텐츠와 상기 서브 컨텐츠가 스테레오 사운드로 분리되어 출력되도록 하는 오디오 분리 재생부;를 포함하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치를 제공한다.According to an aspect of this embodiment, an input unit for receiving video and audio from a plurality of video communication participating terminals participating in video communication; an image processing unit for transmitting images and audio to each of the video communication participating terminals; a multi-audio generator for generating audio simultaneously input from at least two of the video communication participating terminals as multi-audio; an audio separation unit that divides the audio source included in the multi-audio into main content and sub-content according to each setting of the video communication participating terminal; and an audio separation reproducing unit configured to separate and output the main content and the sub content as stereo sound according to the settings of each of the video communication participating terminals.

본 실시예의 다른 측면에 의하면, 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기로부터 영상 및 오디오를 입력받는 과정; 상기 비디오 커뮤니케이션 참여 단말기 각각으로 영상 및 오디오를 전송하는 과정; 상기 비디오 커뮤니케이션 참여 단말기 중 적어도 두 개 이상의 단말기로부터 동시에 입력되는 오디오를 멀티 오디오로 생성하는 과정; 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 멀티 오디오에 포함된 오디오 소스를 메인 컨텐츠와 서브 컨텐츠로 분리하는 과정; 및 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 메인 컨텐츠와 상기 서브 컨텐츠가 스테레오 사운드로 분리되어 출력되도록 하는 과정;을 포함하는 것을 특징으로 하는 멀티 오디오 분리 재생 방법을 제공한다.According to another aspect of this embodiment, the process of receiving video and audio from a plurality of video communication participating terminals participating in video communication; transmitting video and audio to each of the video communication participating terminals; generating multi-audio audio that is simultaneously input from at least two terminals among the video communication participating terminals; dividing the audio source included in the multi-audio into main content and sub-content according to each setting of the video communication participating terminal; and allowing the main content and the sub content to be output in stereo sound according to each setting of the video communication participating terminal.

이상에서 설명한 바와 같이 본 실시예에 의하면, 회상회의에서 참여한 상태에서 멀티 오디오가 출력될 때, 사용자가 멀티 오디오 각각의 오디오 재생방향(스테레오의 좌,우)을 선택하고, 멀티 오디오 각각의 볼륨을 조정하며, 회상회의에서 참여한 참여자들의 오디오 출력 대상을 전체 또는 특정 사용자로 선택하여 출력할 수 있도록 하는 효과가 있다.As described above, according to the present embodiment, when multi-audio is output while participating in a recall meeting, the user selects each audio playback direction (stereo left and right) and adjusts the volume of each multi-audio. It has the effect of allowing the audio output target of participants participating in the recall meeting to be selected as all or a specific user.

도 1은 본 실시예에 따른 멀티 오디오 분리 재생이 가능한 비디오 커뮤니케이션 시스템을 나타낸 도면이다.
도 2는 본 실시예에 따른 비디오 커뮤니케이션 제공서버를 개략적으로 나타낸 도면이다.
도 3a,3b,3c는 본 실시예에 따른 멀티 오디오 분리 재생 예시를 설명하기 위한 도면이다.
도 4는 본 실시예에 따른 비디오 커뮤니케이션 제공서버에서 멀티 오디오 분리하여 재생하는 방법을 설명하기 위한 순서도이다.1 is a diagram illustrating a video communication system capable of separately playing multi-audio according to the present embodiment.
2 is a diagram schematically illustrating a video communication providing server according to the present embodiment.
3A, 3B, and 3C are diagrams for explaining an example of multi-audio separated reproduction according to the present embodiment.
4 is a flowchart for explaining a method of separately playing multi-audio in the video communication providing server according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, this embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 멀티 오디오 분리 재생이 가능한 비디오 커뮤니케이션 시스템을 나타낸 도면이다.1 is a diagram showing a video communication system capable of separately playing multi-audio according to the present embodiment.

본 실시예에 따른 멀티 오디오 분리 재생이 가능한 비디오 커뮤니케이션 시스템은 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N), 비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N), 네트워크(120), 비디오 커뮤니케이션 제공서버(130)를 포함한다. 비디오 커뮤니케이션 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.A video communication system capable of multi-audio separate playback according to this embodiment is a video communication participating terminal (110-1, 110-2, 110-3, 110-N), a video communication application (112-1, 112-2, 112-3, 112-N), a network (120) , including a video communication providing server 130 . Components included in the video communication system are not necessarily limited thereto.

비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)는 사용자의 키 조작에 따라 네트워크(120)를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. The video communication participating terminals 110-1, 110-2, 110-3, and 110-N refer to electronic devices that perform voice or data communication via the network 120 according to a user's key manipulation.

비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)는 네트워크(120)를 경유하여 비디오 커뮤니케이션 제공서버(130)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다. Video communication participating terminals (110-1, 110-2, 110-3, 110-N) are a memory for storing a program or protocol for communicating with the video communication providing server 130 via the network 120, by executing the program operation and and a microprocessor for controlling it.

비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Personal Digital Assistant), 게임 콘솔, 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 전자 기기일 수 있다. The video communication participating terminals 110-1,110-2,110-3,110-N include a smart phone, a tablet, a laptop, a personal computer (PC), and a personal digital assistant (PDA). Assistant), a game console, a portable multimedia player (PMP), a wireless communication terminal, and an electronic device such as a media player.

비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)는 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.Video communication participating terminals (110-1, 110-2, 110-3, 110-N) are communication devices such as communication modems for performing communication with various devices or wired and wireless networks, memory for storing various programs and data, and calculating and Various devices having a microprocessor or the like for controlling. According to at least one embodiment, the memory is a computer such as random access memory (RAM), read only memory (ROM), flash memory, optical disk, magnetic disk, solid state disk (SSD), etc. It may be a readable recording/storage medium. According to at least one embodiment, a microprocessor may be programmed to selectively perform one or more of the operations and functions described herein. According to at least one embodiment, the microprocessor may be implemented in whole or in part as hardware such as an Application Specific Integrated Circuit (ASIC) having a specific configuration.

비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)는 임베디드(Embedded) 형태로 탑재된 브라우저(Browser)를 이용하거나 별도의 비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N)을 탑재하여 비디오 커뮤니케이션을 수행할 수 있다. 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)는 사용자의 조작 또는 명령에 의해 브라우저 또는 비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N)을 구동한다. 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)는 브라우저 또는 비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N)을 이용하여 비디오 커뮤니케이션 제공서버(130)에 접속한다. Video communication participating terminals (110-1,110-2,110-3,110-N) use the embedded browser or a separate video communication application (112-1,112-2,112-3,112-N). Video communication can be performed. Video communication participating terminals (110-1, 110-2, 110-3, 110-N) drive a browser or video communication application (112-1, 112-2, 112-3, 112-N) by the user's operation or command. The video communication participating terminals (110-1, 110-2, 110-3, 110-N) access the video communication providing server 130 using a browser or video communication application (112-1, 112-2, 112-3, 112-N).

비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N)은 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)의 메모리 내에 탑재되어 구동되는 프로그램을 의미한다. 비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N)은 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)에 임베디드(Embedded) 형태로 탑재되거나, OS(Operating System)에 인스톨되는 형태로 탑재될 수 있다. The video communication application (112-1, 112-2, 112-3, 112-N) refers to a program that is loaded and driven in the memory of the video communication participating terminal (110-1, 110-2, 110-3, 110-N). The video communication applications (112-1, 112-2, 112-3, 112-N) are embedded in the video communication participating terminals (110-1, 110-2, 110-3, 110-N) or installed in the OS (Operating System). can be mounted.

비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N)은 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)에 탑재되어, 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)에 구비된 각종 하드웨어를 이용하여 동작하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 별도의 장치로 구현될 수 있다. 또한, 비디오 커뮤니케이션 애플리케이션(112-1,112-2,112-3,112-N)은 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 내에 기 설치된 애플리케이션들과 연동하여 동작할 수도 있다.Video communication applications (112-1, 112-2, 112-3, 112-N) are mounted on the video communication participating terminals (110-1,110-2, 110-3,110-N), video communication participating terminals (110-1, 110-2, 110-3, 110-N) to It is preferable to operate using various types of hardware provided, but the present invention is not necessarily limited thereto, and may be implemented as a separate device. In addition, the video communication applications (112-1, 112-2, 112-3, 112-N) may operate in conjunction with applications pre-installed in the video communication participating terminals (110-1, 110-2, 110-3, 110-N).

네트워크(120)는 인터넷망, 인트라넷망, 이동통신망, 위성 통신망 등 다양한 유무선 통신 기술을 이용하여 인터넷 프로토콜로 데이터를 송수신할 수 있는 망을 의미한다. The network 120 refers to a network capable of transmitting and receiving data using an Internet protocol using various wired and wireless communication technologies, such as an Internet network, an intranet network, a mobile communication network, and a satellite communication network.

비디오 커뮤니케이션 제공서버(130)는 하드웨어적으로 통상적인 웹서버(Web Server) 또는 네트워크 서버와 동일한 하드웨어 모듈을 포함한다. 비디오 커뮤니케이션 제공서버(130)는 일반적으로 인터넷과 같은 개방형 컴퓨터 네트워크를 경유하여 불특정 다수 클라이언트 또는 다른 서버와 통신한다.The video communication providing server 130 includes the same hardware module as a conventional web server or network server in terms of hardware. The video communication providing server 130 generally communicates with an unspecified number of clients or other servers via an open computer network such as the Internet.

비디오 커뮤니케이션 제공서버(130)는 클라이언트 또는 다른 웹서버의 작업수행 요청에 대응하는 작업 결과를 도출하여 제공하는 컴퓨터 시스템, 컴퓨터 소프트웨어(웹서버 프로그램)를 의미한다. 비디오 커뮤니케이션 제공서버(130)는 전술한 웹서버 프로그램 이외에, 웹서버상에서 동작하는 일련의 응용 프로그램(Application Program) 또는 장치 내부에 구축되어 있는 각종 데이터베이스를 포함한다.The video communication providing server 130 refers to a computer system and computer software (web server program) that derives and provides a job result corresponding to a job performance request of a client or other web server. The video communication providing server 130 includes, in addition to the above-described web server program, a series of application programs operating on the web server or various databases built in the device.

본 실시예에 따른 비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)로부터 영상 및 오디오를 입력받는다. 비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각으로 영상 및 오디오를 전송한다.The video communication providing server 130 according to the present embodiment receives video and audio from a plurality of video communication participating terminals 110-1, 110-2, 110-3, 110-N participating in video communication. The video communication providing server 130 transmits video and audio to each of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N.

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 중 적어도 두 개 이상의 단말기로부터 동시에 입력되는 오디오를 멀티 오디오로 생성한다. 비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 멀티 오디오에 포함된 오디오 소스를 메인 컨텐츠(Main Content)(310)와 서브 컨텐츠(Content)(320)로 분리한다.The video communication providing server 130 generates multi-audio audio that is simultaneously input from at least two terminals among the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The video communication providing server 130 provides the audio source included in the multi-audio according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, 110-N as the main content (Main Content) 310 and the sub content (Content). ) (320).

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 메인 컨텐츠(310)와 서브 컨텐츠(320)가 스테레오 사운드로 분리되어 출력되도록 한다.The video communication providing server 130 separates the main content 310 and the sub content 320 into stereo sound according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N.

도 2는 본 실시예에 따른 비디오 커뮤니케이션 제공서버를 개략적으로 나타낸 도면이다.2 is a diagram schematically illustrating a video communication providing server according to the present embodiment.

본 실시예에 따른 비디오 커뮤니케이션 제공서버(130)는 입력부(210), 화상 처리부(212), 멀티 오디오 생성부(220), 오디오 분리부(222), 오디오 분리 재생부(224), 결합부(230), 텍스트 처리부(242), 이미지 처리부(244)를 포함한다. 비디오 커뮤니케이션 제공서버(130)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The video communication providing server 130 according to the present embodiment includes an input unit 210, an image processing unit 212, a multi-audio generation unit 220, an audio separation unit 222, an audio separation/playback unit 224, a combining unit ( 230 ), a text processing unit 242 , and an image processing unit 244 . Components included in the video communication providing server 130 are not necessarily limited thereto.

비디오 커뮤니케이션 제공서버(130)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the video communication providing server 130 may be connected to a communication path that connects a software module or a hardware module inside the device to operate organically with each other. These components communicate using one or more communication buses or signal lines.

도 2에 도시된 비디오 커뮤니케이션 제공서버(130)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the video communication providing server 130 shown in FIG. 2 means a unit for processing at least one function or operation, and may be implemented as a software module, a hardware module, or a combination of software and hardware.

입력부(210)는 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)로부터 영상 및 오디오를 입력받는다. 입력부(210)는 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각에 구비된 카메라부터 입력받은 영상과 마이크로부터 입력받은 오디오를 수신한다.The input unit 210 receives video and audio from a plurality of video communication participating terminals 110-1, 110-2, 110-3, and 110-N participating in video communication. The input unit 210 receives an image received from a camera and an audio input from a microphone provided in each of the plurality of video communication participating terminals 110-1, 110-2, 110-3, and 110-N participating in video communication.

화상 처리부(212)는 기본적으로 입력부(210)로부터 입력받은 영상 및 오디오를 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 구성원 간에 공유한다. 화상 처리부(212)는 입력부(210)를 경유하여 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각으로 입력받은 영상 및 오디오를 전송하여 비디오 커뮤니케이션이 수행되도록 한다.The image processing unit 212 basically shares the video and audio received from the input unit 210 among the members of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The image processing unit 212 transmits the video and audio inputted to each of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N via the input unit 210 to perform video communication.

멀티 오디오 생성부(220)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 중 적어도 두 개 이상의 단말기로부터 동시에 입력되는 오디오를 멀티 오디오로 생성한다. 멀티 오디오 생성부(220)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 멀티 오디오에 포함된 모든 오디오 소스를 추출하여 출력되도록 한다.The multi-audio generator 220 generates multi-audio audio that is simultaneously input from at least two terminals among the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The multi-audio generator 220 extracts all audio sources included in the multi-audio according to the settings of each of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N and outputs them.

오디오 분리부(222)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 멀티 오디오에 포함된 오디오 소스를 메인 컨텐츠(310)와 서브 컨텐츠(320)로 분리한다. 오디오 분리부(222)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 모든 오디오 소스 중 특정 오디오 소스를 메인 컨텐츠로 선택한다. 오디오 분리부(222)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 복수의 오디오 소스 중 특정 오디오 소스를 제외한 나머지 오디오 소스 중 하나를 서브 컨텐츠(320)로 선택한다.The audio separation unit 222 separates the audio source included in the multi-audio into the main content 310 and the sub content 320 according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The audio separation unit 222 selects a specific audio source from among all audio sources as main content according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The audio separation unit 222 selects one of the remaining audio sources excluding a specific audio source from among a plurality of audio sources as the sub content 320 according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. do.

오디오 분리 재생부(224)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 메인 컨텐츠(310)와 서브 컨텐츠(320)가 스테레오 사운드로 분리되어 출력되도록 한다. 오디오 분리 재생부(224)는 메인 컨텐츠(310)를 좌우 스테레오 사운드 중 어느 하나로 선택하여 출력되도록 한다. 오디오 분리 재생부(224)는 서브 컨텐츠를 스테레오 사운드 중 나머지 하나로 선택하여 출력되도록 한다. 오디오 분리 재생부(224)는 메인 컨텐츠(310)와 서브 컨텐츠(320)의 볼륨(Volume)을 각각 조절되도록 한다. 오디오 분리 재생부(224)는 디폴트(Default)로 메인 컨텐츠(310)의 볼륨이 서브 컨텐츠(320)의 볼륨보다 크게 설정되도록 하여 출력한다.The audio separation reproducing unit 224 separates the main content 310 and the sub content 320 into stereo sound according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The audio separation reproducing unit 224 selects and outputs the main content 310 as one of left and right stereo sounds. The audio separation reproducing unit 224 selects the sub content as the other one of stereo sounds and outputs the selected sub content. The audio separation reproducing unit 224 controls the volume of the main content 310 and the sub content 320, respectively. The audio separation and playback unit 224 outputs the main content 310 so that the volume of the main content 310 is set to be greater than the volume of the sub content 320 as a default.

결합부(230)는 기본적으로 비디오 커뮤니케이션 참여 단말기로부터 영상에 메인 오디오(메인 컨텐츠(310)) 또는 서브 오디오(서브 컨텐츠(320)) 중 하나 이상의 오디오를 결합시켜서 출력 시키는 기능을 수행한다.The combining unit 230 basically performs a function of combining and outputting one or more audio of main audio (main content 310) or sub audio (sub content 320) with the video from the video communication participating terminal.

결합부(230)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)로부터 입력받은 영상에 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 메인 컨텐츠(310)를 뮤트(Mute)하고, 서브 컨텐츠(320)만을 결합하여 출력되도록 한다.The coupling unit 230 is the main content 310 according to the settings of each of the video communication participating terminals 110-1,110-2, 110-3,110-N to the image input from the video communication participating terminals 110-1,110-2,110-3,110-N. ) is muted, and only the sub content 320 is combined and output.

텍스트 처리부(242)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 중 선택된 상대방 단말기로 채팅 대화가 가능하도록 텍스트를 전송한다. 텍스트 처리부(242)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)로부터 수신하는 영상 및 오디오와 별도의 특정 상대방과 채팅이 가능하도록 채팅창을 출력시킨다. 텍스트 처리부(242)는 선택된 특정 채팅창을 이용하여 특정 상대방과 채팅, 그룹 채팅, 비밀 채팅을 수행한다.The text processing unit 242 transmits text to the other terminal selected from among the video communication participating terminals 110-1, 110-2, 110-3, and 110-N so that a chatting conversation is possible. The text processing unit 242 outputs a chatting window to enable chatting with a specific counterpart, separate from the video and audio received from the video communication participating terminals 110-1, 110-2, 110-3, 110-N. The text processing unit 242 performs chatting, group chatting, and secret chatting with a specific counterpart using the selected specific chatting window.

이미지 처리부(244)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 중 선택된 상대방 단말기로 명함을 교환하기 위한 명함 이미지를 전송한다. 이미지 처리부(244)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 내에 구비된 카메라와 연동하여 명함을 촬영하여 상대방에게 전송하고, 상대방으로부터 수신된 명함으로부터 이미지 내 텍스트를 인식하여 연락처를 저장하는 기능을 수행한다.The image processing unit 244 transmits a business card image for exchanging business cards to the selected counterpart terminal among the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The image processing unit 244 captures a business card in conjunction with a camera provided in the video communication participating terminal 110-1, 110-2, 110-3, 110-N and transmits it to the other party, and recognizes the text in the image from the business card received from the other party to contact function to store.

도 3a,3b,3c는 본 실시예에 따른 멀티 오디오 분리 재생 예시를 설명하기 위한 도면이다.3A, 3B, and 3C are diagrams for explaining an example of multi-audio separated reproduction according to the present embodiment.

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)로부터 입력된 멀티 오디오를 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각으로 전송할 때, 각 사용자의 설정에 따라 멀티 오디오 내에 포함된 오디오를 좌우로 분리하여 재생되도록 하며, 각 설정에 따라 볼륨, EQ, 게인(Gain)이 조절되도록 한다.The video communication providing server 130 transmits multi-audio input from a plurality of video communication participating terminals 110-1,110-2,110-3,110-N participating in video communication to the video communication participating terminals 110-1,110-2,110-3,110-N) When transmitting to each user, the audio included in the multi-audio is played by separating left and right according to each user's setting, and volume, EQ, and gain are adjusted according to each setting.

비디오 커뮤니케이션 제공서버(130)는 온라인으로 진행되는 비디오 커뮤니케이션(예컨대, 화상 회의, 웹세미나, 비디오 미팅, 온라인 강의 등)에서 오프라인과 유사한 경험을 제공하기 위해 메인 컨텐츠(310)를 제공받는 도중에 참여자 간의 별도의 대화가 서브 컨텐츠(320)로서 제공받을 수 있도록 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)간의 멀티 오디오를 분리하고 마이크를 제어하도록 한다.The video communication providing server 130 provides an offline-like experience in online video communication (eg, video conference, webinar, video meeting, online lecture, etc.) between participants while receiving the main content 310 . The multi-audio is separated between the plurality of video communication participating terminals 110-1, 110-2, 110-3, and 110-N so that a separate conversation can be provided as the sub content 320, and the microphone is controlled.

예컨대, 비디오 커뮤니케이션 제공서버(130)는 온라인 수업 도중에 강사가 온라인 강의를 진행할 때, 온라인 수업에 참여한 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)로 모두로 강의를 메인 오디오 설정하여 출력하도록 한다. 비디오 커뮤니케이션 제공서버(130)는 온라인 수업에 참여한 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 간에 사적인 대화나 질의가 가능하도록 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 마이크와 오디오를 제어하여 서브 오디오로 상호간에 커뮤니케이션이 가능하도록 한다. For example, the video communication providing server 130 sets the main audio of the lecture to all of the plurality of video communication participating terminals 110-1, 110-2, 110-3, 110-N participating in the online class when the instructor conducts an online lecture during the online class. to print it out. The video communication providing server 130 is a video communication participating terminal (110-1,110-2,110-3,110-) to enable a private conversation or inquiry between a plurality of video communication participating terminals (110-1,110-2,110-3,110-N) participating in the online class N) Control the microphone and audio according to each setting to enable mutual communication with sub audio.

즉, 비디오 커뮤니케이션 제공서버(130)는 온라인으로 진행되는 비디오 커뮤니케이션(예컨대, 화상 회의, 웹세미나, 비디오 미팅, 온라인 강의 등)에서 오프라인 경험을 제공하기 위해 강사의 교육을 받는 중(메인 오디오) 지인과 대화 또는 특정인에 질의(서브 오디오)를 동시에 입출력되도록 한다.That is, the video communication providing server 130 is receiving an instructor's training (main audio) to provide an offline experience in online video communication (eg, video conference, webinar, video meeting, online lecture, etc.) A conversation or a query (sub audio) to a specific person is input/output at the same time.

비디오 커뮤니케이션 제공서버(130)는 두 개 이상 오디오가 입력되는 경우, 디오 커뮤니케이션에 참여한 참여자 각각의 오디오 재생 방향(스테레오의 좌,우)을 선택하고, 오디오 볼륨을 조정할 수 있다. 비디오 커뮤니케이션 제공서버(130)는 사용자의 오디오 출력 대상을 전체 또는 특정 사용자를 선택하여 오디오 출력을 제어한다.When two or more audio is input, the video communication providing server 130 may select an audio reproduction direction (stereo left and right) of each participant participating in the audio communication and adjust the audio volume. The video communication providing server 130 controls the audio output by selecting all or a specific user as an audio output target of the user.

비디오 커뮤니케이션 제공서버(130)는 비대면 강의 또는 화상 회의 상황에서 메인 오디오와 서브 오디오를 구분하여 각각 음성 전달이 가능하도록 한다. 비디오 커뮤니케이션 제공서버(130)는 비대면 강연에 참여 중인 참여자가 다른 참여자와 대화를 하고 싶을 때, 상대방을 특정하고 상대방이 대화를 수락하면 스테레오 스피커에서 강연자의 오디오가 전송되면서, 상대방과의 대화도 전송되도록 한다. 비디오 커뮤니케이션 제공서버(130)는 상대방에게 채팅 대화가 가능하도록 텍스트로 전송이 가능하도록 하며, 명함 교환과 같이 이미지 전송이 가능하도록 한다. The video communication providing server 130 separates the main audio and the sub audio in a non-face-to-face lecture or video conference situation so that voice transmission is possible, respectively. When a participant participating in a non-face-to-face lecture wants to have a conversation with another participant, the video communication providing server 130 specifies the other party and when the other party accepts the conversation, the speaker's audio is transmitted from the stereo speaker, and the conversation with the other party is also performed. to be sent The video communication providing server 130 makes it possible to transmit text to the other party so that chatting conversations are possible, and to enable image transmission such as exchanging business cards.

도 4는 본 실시예에 따른 비디오 커뮤니케이션 제공서버에서 멀티 오디오 분리하여 재생하는 방법을 설명하기 위한 순서도이다.4 is a flowchart illustrating a method for separating and reproducing multi-audio in the video communication providing server according to the present embodiment.

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N)로부터 영상 및 오디오를 입력받는다(S410).The video communication providing server 130 receives video and audio from a plurality of video communication participating terminals 110-1, 110-2, 110-3, and 110-N participating in video communication (S410).

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각으로 영상 및 오디오를 전송한다(S420).The video communication providing server 130 transmits video and audio to each of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N (S420).

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 중 적어도 두 개 이상의 단말기로부터 동시에 입력되는 오디오를 멀티 오디오로 생성한다(S430).The video communication providing server 130 generates multi-audio audio that is simultaneously input from at least two terminals among the video communication participating terminals 110-1, 110-2, 110-3, and 110-N (S430).

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 멀티 오디오에 포함된 오디오 소스를 메인 컨텐츠(310)와 서브 컨텐츠(320)로 분리한다(S440).The video communication providing server 130 separates the audio source included in the multi-audio into the main content 310 and the sub content 320 according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, 110-N. (S440).

단계 S440에서, 비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 멀티 오디오에 포함된 복수의 오디오 소스를 추출하여 출력한다. 비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 복수의 오디오 소스 중 특정 오디오 소스를 메인 컨텐츠(310)로 선택한다. 비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 복수의 오디오 소스 중 특정 오디오 소스를 제외한 나머지 오디오 소스 중 하나를 서브 컨텐츠(320)로 선택한다.In step S440, the video communication providing server 130 extracts and outputs a plurality of audio sources included in the multi-audio according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, 110-N. The video communication providing server 130 selects a specific audio source from among a plurality of audio sources as the main content 310 according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N. The video communication providing server 130 uses one of the remaining audio sources excluding a specific audio source among a plurality of audio sources according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, 110-N as sub content 320. choose

비디오 커뮤니케이션 제공서버(130)는 비디오 커뮤니케이션 참여 단말기(110-1,110-2,110-3,110-N) 각각의 설정에 따라 메인 컨텐츠(310)와 서브 컨텐츠(320)가 스테레오 사운드로 분리되어 출력되도록 한다(S450). 단계 S450에서, 비디오 커뮤니케이션 제공서버(130)는 메인 컨텐츠(310)를 좌우 스테레오 사운드 중 어느 하나로 선택하여 출력되도록 한다. 비디오 커뮤니케이션 제공서버(130)는 서브 컨텐츠를 스테레오 사운드 중 나머지 하나로 선택하여 출력되도록 한다. 비디오 커뮤니케이션 제공서버(130)는 메인 컨텐츠(310)와 서브 컨텐츠(320)의 볼륨(Volume)을 각각 조절되도록 한다. The video communication providing server 130 separates the main content 310 and the sub content 320 into stereo sound according to each setting of the video communication participating terminals 110-1, 110-2, 110-3, and 110-N (S450). ). In step S450, the video communication providing server 130 selects the main content 310 as either left or right stereo sound to be output. The video communication providing server 130 selects and outputs the sub content as the other one of stereo sounds. The video communication providing server 130 controls the volume of the main content 310 and the sub content 320, respectively.

도 4에서는 단계 S410 내지 단계 S450을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.Although it is described that steps S410 to S450 are sequentially executed in FIG. 4 , it is not necessarily limited thereto. In other words, since it may be applicable to changing and executing the steps described in FIG. 4 or executing one or more steps in parallel, FIG. 4 is not limited to a time-series order.

전술한 바와 같이 도 4에 기재된 본 실시예에 따른 비디오 커뮤니케이션 제공서버에서 멀티 오디오 분리하여 재생하는 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 비디오 커뮤니케이션 제공서버에서 멀티 오디오 분리하여 재생하는 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.As described above, the method for separating and reproducing multi-audio in the video communication providing server according to the present embodiment described in FIG. 4 may be implemented as a program and recorded in a computer-readable recording medium. In the video communication providing server according to the present embodiment, a program for implementing a method of separating and reproducing multi-audio is recorded and the computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. include

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of this embodiment, and a person skilled in the art to which this embodiment belongs may make various modifications and variations without departing from the essential characteristics of the present embodiment. Accordingly, the present embodiments are intended to explain rather than limit the technical spirit of the present embodiment, and the scope of the technical spirit of the present embodiment is not limited by these embodiments. The protection scope of this embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be interpreted as being included in the scope of the present embodiment.

110-1, 110-2, 110-3, 110-N: 비디오 커뮤니케이션 참여 단말기
112-1, 112-2, 112-3, 112-N: 비디오 커뮤니케이션 애플리케이션
120: 네트워크
130: 비디오 커뮤니케이션 제공서버110-1, 110-2, 110-3, 110-N: terminals participating in video communication
112-1, 112-2, 112-3, 112-N: Video Communication Applications
120: network
130: video communication providing server

Claims (12)

비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기로부터 영상 및 오디오를 입력받는 입력부;
상기 비디오 커뮤니케이션 참여 단말기 각각으로 영상 및 오디오를 전송하는 화상 처리부;
상기 비디오 커뮤니케이션 참여 단말기 중 적어도 두 개 이상의 단말기로부터 동시에 입력되는 오디오를 멀티 오디오로 생성하는 멀티 오디오 생성부;
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 멀티 오디오에 포함된 오디오 소스를 메인 컨텐츠와 서브 컨텐츠로 분리하는 오디오 분리부; 및
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 메인 컨텐츠와 상기 서브 컨텐츠가 스테레오 사운드로 분리되어 출력되도록 할 때, 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 메인 컨텐츠와 상기 서브 컨텐츠가 좌우로 분리하여 재생되도록 하며, 각 설정에 따라 볼륨, EQ, 게인(Gain)이 조절되도록 하며, 온라인 강의에 참여한 상기 비디오 커뮤니케이션 참여 단말기 모두에게 강의를 메인 오디오 설정하여 상기 메인 컨텐츠를 출력하도록 하고, 상기 온라인 강의에 참여한 복수의 상기 비디오 커뮤니케이션 참여 단말기 간에 사적인 대화나 질의가 가능하도록 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 마이크와 오디오를 제어하여 상기 서브 컨텐츠로 상호간에 커뮤니케이션이 되도록 하며, 상기 비디오 커뮤니케이션 참여 단말기로 두 개 이상 오디오가 입력되는 경우, 상기 비디오 커뮤니케이션 참여 단말기 각각에서 오디오 재생 방향을 스테레오 좌우 중 하나를 선택한 후 오디오 볼륨을 조정하도록 하고, 오디오 출력 대상을 전체 또는 특정 사용자를 선택하여 오디오 출력을 제어하도록 하며, 화상 회의, 웹세미나, 비디오 미팅, 온라인 강의, 비대면 강의 상황에서 상기 메인 컨텐츠와 상기 서브 컨텐츠를 구분하여 각각 음성 전달하는 동시에 상대방에게 명함 교환을 위한 이미지를 전송하는 오디오 분리 재생부;
를 포함하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.an input unit for receiving video and audio from a plurality of video communication participating terminals participating in video communication;
an image processing unit for transmitting images and audio to each of the video communication participating terminals;
a multi-audio generator for generating audio simultaneously input from at least two of the video communication participating terminals as multi-audio;
an audio separation unit that divides the audio source included in the multi-audio into main content and sub-content according to each setting of the video communication participating terminal; and
When the main content and the sub content are separated and output in stereo sound according to each setting of the video communication participating terminal, the main content and the sub content are separated left and right according to each setting of the video communication participating terminal play, adjust volume, EQ, and gain according to each setting, set the main audio of the lecture to all of the video communication participating terminals participating in the online lecture, and output the main content, The microphone and audio are controlled according to the settings of each of the video communication participating terminals so that a private conversation or inquiry is possible between the plurality of participating video communication participating terminals to communicate with each other through the sub content, and the two video communication participating terminals When more than one audio is input, each of the video communication participating terminals selects one of the audio playback directions of stereo left and right, then adjusts the audio volume, selects all or a specific user to control the audio output, , a video conference, webinar, video meeting, online lecture, an audio separation playback unit for transmitting an image for exchanging business cards to the other party at the same time as the main content and the sub content by dividing the main content and the sub content in a video meeting, voice transmission;
Video communication providing device comprising a. 제1항에 있어서,
상기 멀티 오디오 생성부는,
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 멀티 오디오에 포함된 모든 오디오 소스를 추출하여 출력하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.According to claim 1,
The multi-audio generation unit,
The apparatus for providing video communication, characterized in that extracting and outputting all audio sources included in the multi-audio according to the settings of each of the video communication participating terminals. 제2항에 있어서,
상기 오디오 분리부는,
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 모든 오디오 소스 중 특정 오디오 소스를 메인 컨텐츠(Main Content)로 선택하고,
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 복수의 오디오 소스 중 상기 특정 오디오 소스를 제외한 나머지 오디오 소스 중 하나를 서브 컨텐츠(Sub Content)로 선택하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.3. The method of claim 2,
The audio separation unit,
selecting a specific audio source among all the audio sources as main content according to the settings of each video communication participating terminal;
and selecting one of the audio sources other than the specific audio source from among the plurality of audio sources as sub content according to a setting of each of the video communication participating terminals. 제3항에 있어서,
상기 오디오 분리 재생부는,
상기 메인 컨텐츠를 좌우 스테레오 사운드 중 어느 하나로 선택하여 출력되도록 하며, 상기 서브 컨텐츠를 상기 스테레오 사운드 중 나머지 하나로 선택하여 출력되도록 하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.4. The method of claim 3,
The audio separation reproducing unit,
The apparatus for providing video communication according to claim 1, wherein the main content is selected to be output by any one of left and right stereo sounds, and the sub content is selected and outputted as the other one of the stereo sounds. 제4항에 있어서,
상기 오디오 분리 재생부는,
상기 메인 컨텐츠와 상기 서브 컨텐츠의 볼륨(Volume)을 각각 조절되도록 하되, 디폴트(Default)로 상기 메인 컨텐츠의 볼륨이 상기 서브 컨텐츠의 볼륨보다 크게 설정되어 출력되도록 하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.5. The method of claim 4,
The audio separation reproducing unit,
The apparatus for providing video communication, characterized in that the volume of the main content and the sub content is adjusted, respectively, and the volume of the main content is set to be larger than the volume of the sub content as a default and outputted. 제5항에 있어서,
상기 비디오 커뮤니케이션 참여 단말기로부터 입력받은 영상에 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 메인 컨텐츠를 뮤트(Mute)하고, 상기 서브 컨텐츠만을 결합하여 출력되도록 하는 결합부
를 추가로 포함하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.6. The method of claim 5,
A combining unit for muting the main content according to the settings of each of the video communication participating terminals to the image received from the video communication participating terminal, and combining only the sub content to be output
Video communication providing device, characterized in that it further comprises. 제6항에 있어서,
상기 비디오 커뮤니케이션 참여 단말기 중 선택된 상대방 단말기로 채팅 대화가 가능하도록 텍스트를 전송하는 텍스트 처리부
를 추가로 포함하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.7. The method of claim 6,
A text processing unit that transmits text to enable chatting conversation to a selected counterpart terminal among the video communication participating terminals
Video communication providing device, characterized in that it further comprises. 제6항에 있어서,
상기 비디오 커뮤니케이션 참여 단말기 중 선택된 상대방 단말기로 명함을 교환하기 위한 명함 이미지를 전송하는 이미지 처리부
를 추가로 포함하는 것을 특징으로 하는 비디오 커뮤니케이션 제공 장치.7. The method of claim 6,
An image processing unit for transmitting a business card image for exchanging business cards to a selected counterpart terminal among the video communication participating terminals
Video communication providing device, characterized in that it further comprises. 비디오 커뮤니케이션에 참여한 복수의 비디오 커뮤니케이션 참여 단말기로부터 영상 및 오디오를 입력받는 과정;
상기 비디오 커뮤니케이션 참여 단말기 각각으로 영상 및 오디오를 전송하는 과정;
상기 비디오 커뮤니케이션 참여 단말기 중 적어도 두 개 이상의 단말기로부터 동시에 입력되는 오디오를 멀티 오디오로 생성하는 과정;
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 멀티 오디오에 포함된 오디오 소스를 메인 컨텐츠와 서브 컨텐츠로 분리하는 과정; 및
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 메인 컨텐츠와 상기 서브 컨텐츠가 스테레오 사운드로 분리되어 출력할 때, 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 메인 컨텐츠와 상기 서브 컨텐츠가 좌우로 분리하여 재생되도록 하며, 각 설정에 따라 볼륨, EQ, 게인(Gain)이 조절되도록 하며, 온라인 강의에 참여한 상기 비디오 커뮤니케이션 참여 단말기 모두에게 강의를 메인 오디오 설정하여 상기 메인 컨텐츠를 출력하도록 하고, 상기 온라인 강의에 참여한 복수의 상기 비디오 커뮤니케이션 참여 단말기 간에 사적인 대화나 질의가 가능하도록 상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 마이크와 오디오를 제어하여 상기 서브 컨텐츠로 상호간에 커뮤니케이션이 되도록 하며, 상기 비디오 커뮤니케이션 참여 단말기로 두 개 이상 오디오가 입력되는 경우, 상기 비디오 커뮤니케이션 참여 단말기 각각에서 오디오 재생 방향을 스테레오 좌우 중 하나를 선택한 후 오디오 볼륨을 조정하도록 하고, 오디오 출력 대상을 전체 또는 특정 사용자를 선택하여 오디오 출력을 제어하도록 하며, 화상 회의, 웹세미나, 비디오 미팅, 온라인 강의, 비대면 강의 상황에서 상기 메인 컨텐츠와 상기 서브 컨텐츠를 구분하여 각각 음성 전달하는 동시에 상대방에게 명함 교환을 위한 이미지를 전송하는 과정;
을 포함하는 것을 특징으로 하는 멀티 오디오 분리 재생 방법.A process of receiving video and audio from a plurality of video communication participating terminals participating in video communication;
transmitting video and audio to each of the video communication participating terminals;
generating multi-audio audio that is simultaneously input from at least two terminals among the video communication participating terminals;
dividing the audio source included in the multi-audio into main content and sub-content according to each setting of the video communication participating terminal; and
When the main content and the sub content are separated and output as stereo sound according to each setting of the video communication participating terminal, the main content and the sub content are separated to the left and right according to each setting of the video communication participating terminal and reproduced The volume, EQ, and gain are adjusted according to each setting, and the lecture is set as the main audio for all the video communication participating terminals participating in the online lecture to output the main content, and The microphone and audio are controlled according to the settings of each of the video communication participating terminals to enable a private conversation or inquiry between the plurality of video communication participating terminals to communicate with each other through the sub content, and two When abnormal audio is input, select one of stereo left and right as the audio playback direction in each of the video communication participating terminals, then adjust the audio volume, select all or a specific user as the audio output target to control the audio output, A process of dividing the main content and the sub content in a video conference, webinar, video meeting, online lecture, and non-face-to-face lecture situation, respectively, and transmitting an image for exchanging business cards to the other party;
Multi-audio separated playback method comprising a. 제9항에 있어서,
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 멀티 오디오에 포함된 복수의 오디오 소스를 추출하여 출력하는 과정;
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 복수의 오디오 소스 중 특정 오디오 소스를 메인 컨텐츠(Main Content)로 선택하는 과정;
상기 비디오 커뮤니케이션 참여 단말기 각각의 설정에 따라 상기 복수의 오디오 소스 중 상기 특정 오디오 소스를 제외한 나머지 오디오 소스 중 하나를 서브 컨텐츠(Sub Content)로 선택하는 과정;
을 포함하는 것을 특징으로 하는 멀티 오디오 분리 재생 방법.10. The method of claim 9,
extracting and outputting a plurality of audio sources included in the multi-audio according to each setting of the video communication participating terminal;
selecting a specific audio source from among the plurality of audio sources as main content according to the settings of each of the video communication participating terminals;
selecting one of the audio sources other than the specific audio source from among the plurality of audio sources as sub content according to each setting of the video communication participating terminal;
Multi-audio separated playback method comprising a. 제10항에 있어서,
상기 메인 컨텐츠를 좌우 스테레오 사운드 중 어느 하나로 선택하여 출력되도록 하며,
상기 서브 컨텐츠를 상기 스테레오 사운드 중 나머지 하나로 선택하여 출력되도록 하는 것을 특징으로 하는 멀티 오디오 분리 재생 방법.11. The method of claim 10,
Select and output the main content as any one of left and right stereo sound,
and selecting the sub content as the other one of the stereo sounds and outputting the sub content. 제11항에 있어서,
상기 메인 컨텐츠와 상기 서브 컨텐츠의 볼륨(Volume)을 각각 조절되도록 하되,
디폴트(Default)로 상기 메인 컨텐츠의 볼륨이 상기 서브 컨텐츠의 볼륨보다 크게 설정되도록 하는 것을 특징으로 하는 멀티 오디오 분리 재생 방법.
12. The method of claim 11,
but to adjust the volume of the main content and the sub content, respectively,
The multi-audio separated reproduction method, characterized in that the volume of the main content is set to be higher than the volume of the sub content by default.
KR1020200137739A 2020-10-22 2020-10-22 Method and Apparatus for Playing Multiple Audio Active KR102363652B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200137739A KR102363652B1 (en) 2020-10-22 2020-10-22 Method and Apparatus for Playing Multiple Audio

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200137739A KR102363652B1 (en) 2020-10-22 2020-10-22 Method and Apparatus for Playing Multiple Audio

Publications (1)

Publication Number Publication Date
KR102363652B1 true KR102363652B1 (en) 2022-02-16

Family

ID=80474775

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200137739A Active KR102363652B1 (en) 2020-10-22 2020-10-22 Method and Apparatus for Playing Multiple Audio

Country Status (1)

Country Link
KR (1) KR102363652B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053567A (en) * 1991-06-25 1993-01-08 Murata Mach Ltd Pictorial communication equipment
KR20070103051A (en) * 2005-02-06 2007-10-22 지티이 코포레이션 Multipoint Video Conferencing System and Its Media Processing Method
KR20090053958A (en) * 2006-10-16 2009-05-28 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. Multi-channel parameter conversion device and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH053567A (en) * 1991-06-25 1993-01-08 Murata Mach Ltd Pictorial communication equipment
KR20070103051A (en) * 2005-02-06 2007-10-22 지티이 코포레이션 Multipoint Video Conferencing System and Its Media Processing Method
KR20090053958A (en) * 2006-10-16 2009-05-28 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. Multi-channel parameter conversion device and method

Similar Documents

Publication Publication Date Title
US11386912B1 (en) Method and computer program product for allowing a plurality of musicians who are in physically separate locations to create a single musical performance using a teleconferencing platform provided by a host server
US8441515B2 (en) Method and apparatus for minimizing acoustic echo in video conferencing
CN109361527B (en) Voice conference recording method and system
US10423382B2 (en) Teleconference recording management system
CN110910860B (en) Online KTV implementation method and device, electronic equipment and storage medium
CN112839196B (en) A method, device and storage medium for realizing online conference
US11089164B2 (en) Teleconference recording management system
CN114531425B (en) Processing method and processing device
US11521636B1 (en) Method and apparatus for using a test audio pattern to generate an audio signal transform for use in performing acoustic echo cancellation
CN114979545A (en) Multi-terminal calling method, storage medium and electronic device
US11764984B2 (en) Teleconference method and teleconference system
KR102363652B1 (en) Method and Apparatus for Playing Multiple Audio
US8451317B2 (en) Indexing a data stream
WO2024249034A1 (en) Distributed teleconferencing using adaptive microphone selection
CN111798872B (en) Processing method and device for online interaction platform and electronic equipment
US11501791B1 (en) Loopback audio channels for echo cancellation in web browsers
JP6610076B2 (en) Information processing apparatus, information processing system, program, and recording medium
US11830120B2 (en) Speech image providing method and computing device for performing the same
JP7641136B2 (en) Electronic conference management device, electronic conference recording system, electronic conference playback system, electronic conference management method and program
KR20220130492A (en) Real-time video editing collaboration device and method
CN113726534A (en) Conference control method, conference control device, electronic equipment and storage medium
JP5391175B2 (en) Remote conference method, remote conference system, and remote conference program
US20250184448A1 (en) Systems and methods for managing audio input data and audio output data of virtual meetings
US12021647B2 (en) Controlled access to portions of a communication session recording
JP7141143B2 (en) online meeting system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20201022

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210831

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220121

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220211

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220211

End annual number: 3

Start annual number: 1

PG1601 Publication of registration