KR100990885B1

KR100990885B1 - Multi-party video conferencing shorthand integrated system and method

Info

Publication number: KR100990885B1
Application number: KR1020080123847A
Authority: KR
Inventors: 안문학
Original assignee: (주) 소리포스
Priority date: 2008-12-08
Filing date: 2008-12-08
Publication date: 2010-11-01
Anticipated expiration: 2028-12-08
Also published as: KR20100065495A

Abstract

본 발명은 다자간 화상회의 속기 통합시스템 및 방법에 관한 것으로서, 서로 다른 위치에 존재하는 적어도 두 개의 발언시스템끼리 웹을 통해 화상회의를 수행하고, 각각의 발언시스템에서 획득되는 발언데이터를 속기시스템이 실시간으로 수신하여 적어도 두 개의 발언시스템에서 수행하는 회의에 대한 속기를 수행할 수 있는 다자간 화상회의 속기 통합시스템 및 방법에 관한 것이다. The present invention relates to a multi-party video conferencing shorthand integrated system and method, wherein at least two speech systems at different locations perform video conferencing over the web, and the shorthand system can perform real-time speech data obtained from each speech system. The present invention relates to a multi-party video conferencing shorthand integrated system and method capable of performing shorthand for a conference performed in at least two speech systems.

속기, 다자간회의, 원격지속기, 원격속기, 다자간화상회의 Shorthand, Multiparty Conference, Remote Persistence, Remote Shorthand, Multiparty Video Conference

Description

Integration System and Method for Shorthand of Multilateral Video Conference

본 발명은 다자간 화상회의 속기 통합시스템 및 방법에 관한 것으로서, 구체적으로는 서로 다른 위치에 존재하는 다수개의 발언시스템으로부터 전송되는 발언데이터를 수신하여 속기할 수 있는 다자간 화상회의 속기 통합시스템 및 방법에 관한 것이다. The present invention relates to a multi-party video conferencing shorthand integrated system and method, and more particularly, to a multi-party video conferencing shorthand integrated system and method capable of receiving and shortening speech data transmitted from a plurality of speech systems located at different locations. will be.

속기란 담화, 회의 등에서 발언자들이 하는 말을 신속하게 기록하는 것을 말하며, 속기는 기록속기와 구술속기로 구분될 수 있다.Shorthand is a quick recording of what the speakers are saying in discourse, meeting, etc. Shorthand can be divided into shorthand and oral shorthand.

발언자가 사람들을 향하여 발언하는 것을 속기자가 옆에서 듣고 기록하는 것이 기록속기이며, 국회, 재판, 회의 혹은 강연 등에서 발언자가 발언하는 내용을 속기자가 옆에서 듣고 기록하는 것이 기록속기에 속한다. 또한, 발언자가 직접 속기자에게 발언하는 것을 기록하는 것이 구술속기이며, 전화를 통하여 받아 적는 기록, 담화형태에 의한 취재, 저술의 보좌, 왕복문서 작성 등이 구술속기에 속한다. The shorthand hears and records the speaker speaking to the people from the side, while the shorthand hears and records the speaker's speech from the side of the parliament, a trial, a conference, or a lecture. In addition, it is an oral shorthand to record a speaker speaking directly to a shorthand, and the oral record includes a record written over a telephone, a report in a discourse form, a throne of writing, and a round trip document.

일반적으로, 속기자가 국회, 재판, 회의 등에서 발언자가 발언하는 내용에 대한 기록속기를 수행할 때, 속기자는 재판, 회의 등이 열리는 회의실 등에 직접 참석하여 속기록을 작성한다. 이와 같이, 속기자가 직접 재판, 회의 등이 열리는 회의실 등에 반드시 참석하여 속기해야 하는 불편함을 해소하기 위하여 원격 속기 시스템이 개발되었다. 일반적인 원격 속기는 발언자들이 동일한 장소에 존재할 때, 발언자들의 발언을 녹화 및 녹음하여 속기자에게 전송함으로써 속기자가 직접 회의 등에 참석하지 않고도 속기자와 다른 장소에서 진행되고 있는 재판, 회의 등에 대한 속기록을 작성할 수 있다. In general, when a shorthand performs a recording shorthand for a statement made by a speaker at a parliament, a trial, or a meeting, the shorthand writes the shorthand by directly attending a conference room where a trial or a meeting is held. As such, a remote shorthand system has been developed in order to alleviate the inconvenience that shorthand must be shorthanded by attending a conference room where a shorthand trial, a meeting, etc. are held. In general, the remote shorthand can record and record the speaker's statements and send them to the shorthand, when the speakers are in the same place. I can write it.

그러나, 일반적으로 사용되는 원격 속기는 발언자들이 반드시 동일한 장소에존재해야 하는 장소적인 제약이 발생한다. 이로 인해, 원격으로 속기를 수행하되, 서로 다른 장소에 존재하는 적어도 두 명의 발언자들이 수행하는 화상회의를 속기할 수 있는 다자간 화상회의의 속기록 작성을 위한 기술 개발의 필요성이 대두되고 있다.However, the commonly used remote shorthand is subject to local constraints that speakers must exist in the same place. As a result, there is a need to develop a technology for creating a short record of a multi-party video conference that can be shorthanded remotely but can shorten a video conference performed by at least two speakers in different places.

이러한 종래의 문제점들을 해결하기 위하여, 본 발명의 목적은 서로 다른 지역에 분포되어 있는 적어도 두 개의 발언시스템에서 획득된 발언자의 발언데이터를 속기시스템이 실시간으로 수신함으로써 속기자가 원격지에서 속기를 수행할 수 있는 다자간 화상회의 속기 통합시스템 및 방법을 제공하는데 있다. In order to solve these problems, an object of the present invention is to allow a shorthand to perform shorthand remotely by the shorthand system by receiving in real time the speaker's speech data obtained from at least two speech systems distributed in different regions. To provide a multi-party video conferencing shorthand integrated system and method.

또한, 본 발명의 다른 목적은 적어도 두 개의 발언시스템에서 획득되어 실시간으로 전송되는 발언데이터를 녹화 및 녹음하여 발언데이터에 해당하는 발언자가 누구인지 확인하고 보다 정확한 속기를 수행할 수 있는 다자간 화상회의 속기 통합시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is to record and record the speech data that is obtained in at least two speech systems and transmitted in real time to identify who is the speaker corresponding to the speech data, multi-party video conferencing shorthand that can perform a more accurate shorthand To provide an integrated system and method.

또한, 본 발명의 또 다른 목적은 적어도 두 개의 발언시스템에서 획득되어 실시간으로 전송되는 발언데이터를 녹화 및 녹음함으로써 속기 시 누락된 내용을 재확인함으로써 정확한 속기를 수행할 수 있는 다자간 화상회의 속기 통합시스템 및 방법을 제공하는데 있다.In addition, another object of the present invention is a multi-party video conferencing shorthand integration system capable of performing accurate shorthand by rechecking the missing content in shorthand by recording and recording speech data acquired in at least two speech systems and transmitted in real time; To provide a method.

또한, 본 발명의 또 다른 목적은 적어도 두 개의 발언시스템에서 전송되는 발언데이터 중 하나의 발언데이터만 활성화하여 속기를 수행하고 다른 발언데이터는 녹화 및 녹음하여 활성화된 발언데이터의 속기를 완료한 후 녹화 및 녹음된 발언데이터를 활성화하여 속기를 수행함으로써 동시에 전송되는 적어도 두 개의 발언데이터에 대한 속기를 차례대로 수행할 수 있는 다자간 화상회의 속기 통합시스템 및 방법을 제공하는데 있다. In addition, another object of the present invention is to perform a shorthand by activating only one speech data of the speech data transmitted from at least two speech systems and recording the other speech data after completing the shorthand of the activated speech data And activating recorded speech data to perform shorthand to perform shorthand for at least two speech data simultaneously transmitted.

이러한 목적들을 달성하기 위하여, 본 발명에 따른 다자간 화상회의 속기 통합시스템은 발언권을 갖고 서로 다른 위치에 존재하며 발언데이터인 영상데이터와 음성데이터를 실시간으로 획득하는 적어도 두 개의 발언시스템, 상기 발언시스템에서 획득된 발언데이터를 웹을 통해 실시간으로 수신하여 수신된 발언데이터의 순서대로 속기하고, 상기 적어도 두 개의 발언시스템으로부터 동시에 발언데이터를 수신하면 수신된 발언데이터에 발언기회를 할당하여 할당된 발언기회에 해당하는 발언데이터를 속기하는 속기시스템을 포함하는 것을 특징으로 한다.In order to achieve these objects, the multi-party video conferencing shorthand integrated system according to the present invention has at least two speech systems for real-time obtaining the image data and the audio data, which are speech data, which exist in different positions and have speech rights, in the speech system. Receive the obtained speech data in real time through the web to shorten the order of the received speech data, and when the speech data are received simultaneously from the at least two speech systems, the speech opportunity is assigned to the received speech data to the assigned speech opportunity. Characterized in that the shorthand system for shortening the corresponding speech data.

또한, 상기 속기시스템은 상기 발언시스템으로부터 전송되는 발언데이터를 웹을 통해 실시간으로 수신하는 송수신부, 상기 수신된 발언데이터 중 음성데이터에 해당하는 속기문자를 입력하는 속기입력부와, 상기 수신된 발언데이터 중 영상데이터를 표시하는 속기표시부 및 음성데이터를 출력하는 속기스피커를 포함하는 속기입출력부, 상기 수신된 발언데이터를 저장하는 발언저장부와, 상기 속기문자에 해당하는 변환어구가 저장된 변환어구DB를 포함하는 속기저장부, 상기 수신된 발언데이터가 동시에 수신된 적어도 두 개의 발언데이터이면 각 발언데이터에 기설정된 우선순위별로 발언기회를 할당하고 발언시스템별로 활성화시간을 할당하거나, 상기 속기입력부에서 선택된 하나의 발언시스템에 발언기회를 할당하는 할당모듈과, 상기 속기입력부에서 입력되는 속기문자를 상기 변환어구로 변환하는 변환모듈을 포함하고 상기 적어도 두 개의 발언시스템에서 전송되는 적어도 두 개의 영상데이터를 표시하기 위해 상기 속기입출력부를 제어하는 속기제어부를 포함하는 것을 특징 으로 한다.The shorthand system may include a transceiver configured to receive speech data transmitted from the speech system in real time through a web, a shorthand input unit configured to input a shorthand character corresponding to voice data among the received speech data, and the received speech data. A shorthand input / output unit including a shorthand display unit for displaying image data and a shorthand speaker for outputting audio data, a speech storage unit for storing the received speech data, and a conversion phrase DB in which a conversion phrase corresponding to the shorthand character is stored Shorthand storage including, if the received speech data is received at least two speech data at the same time to assign a speech opportunity for each priority set in the speech data and the activation time for each speech system, or one selected by the shorthand input unit An allocating module for allocating speech opportunities to speech systems of And a shorthand controller for controlling the shorthand input and output unit to display at least two image data transmitted from the at least two speech systems. do.

또한, 상기 속기제어부는 상기 적어도 두 개의 발언시스템에서 전송되는 적어도 두 개의 영상데이터를 표시하기 위해 상기 속기표시부의 화면을 분할하는 분할모듈을 더 포함하는 것을 특징으로 한다.The shorthand controller may further include a splitting module that divides a screen of the shorthand display to display at least two image data transmitted from the at least two speech systems.

또한, 상기 속기제어부는 상기 할당모듈에 의해 할당된 활성화시간을 초과하여 발언데이터가 수신되거나, 발언기회가 할당되지 않은 발언시스템에서 발언데이터가 수신되면 상기 발언데이터를 녹화 및 녹음하고 상기 발언저장부로 제공하는 녹화모듈을 더 포함하는 것을 특징으로 한다.The shorthand controller may record and record the speech data when the speech data is received in excess of the activation time allocated by the allocation module or when the speech data is received from the speech system to which the speech opportunity is not assigned. It further comprises a recording module to provide.

또한, 상기 속기제어부는 상기 발언저장부에 저장된 발언데이터의 재생, 일시정지, 빨리감기, 뒤로감기 및 재생 시 발언데이터의 재생속도조절을 제어하는 것을 특징으로 한다.The shorthand controller may be configured to control playback speed of speech data during playback, pause, fast forward, rewind, and playback of the speech data stored in the speech storage.

또한, 상기 속기시스템에서 수신하는 발언데이터와 동일한 발언데이터를 웹을 통해 수신하고, 상기 속기시스템에서 속기된 속기록을 수정한 후 상기 속기시스템으로 전송하는 수정시스템을 더 포함하는 것을 특징으로 한다.The apparatus may further include a modification system for receiving the same speech data as the speech data received by the shorthand system through the web, correcting the shorthand record written in the shorthand system, and then transmitting the shorthand recording to the shorthand system.

또한, 상기 발언시스템은 상기 영상데이터를 녹화하는 카메라, 상기 음성데이터를 녹음하는 마이크, 상기 카메라에서 녹화된 영상데이터와 상기 마이크에서 녹음된 음성데이터를 웹을 통해 상기 속기시스템으로 전송하는 전송부, 상기 카메라, 마이크 및 전송부를 제어하는 속기제어부를 포함하는 것을 특징으로 한다.The speech system may include a camera for recording the video data, a microphone for recording the voice data, a transmission unit for transmitting the video data recorded by the camera and the voice data recorded by the microphone to the shorthand system through the web; And a shorthand controller that controls the camera, the microphone, and the transmitter.

아울러, 본 발명에 따른 다자간 화상회의 속기시스템은 서로 다른 위치에 존재하는 적어도 두 개의 발언시스템으로부터 전송되는 발언데이터를 웹을 통해 실시 간으로 수신하는 송수신부, 상기 수신된 발언데이터 중 음성데이터에 대응되는 속기문자를 입력하는 속기입력부와 상기 발언시스템으로부터 전송되는 영상데이터를 표시하는 속기표시부와 음성데이터를 출력하는 속기스피커를 포함하는 속기입출력부, 상기 발언시스템으로부터 전송되는 발언데이터를 저장하는 발언저장부와 상기 속기문자에 해당하는 변환어구가 저장된 변환어구DB를 포함하는 속기저장부, 상기 적어도 두 명의 발언자를 표시하기 위해 상기 속기표시부의 화면을 분할하는 분할모듈과, 상기 속기입력부에서 입력되는 속기문자를 상기 변환어구로 변환하는 변환모듈 및 상기 적어도 두 개의 발언시스템에서 동시에 발언데이터가 전송되면 각 발언시스템에 발언기회를 할당하는 할당모듈을 포함하는 속기제어부를 포함하는 것을 특징으로 한다.In addition, the multi-party video conferencing shorthand system according to the present invention is a transceiver for receiving real-time speech data transmitted from at least two speech systems in different locations over the web, corresponding to voice data among the received speech data. A shorthand input / output unit including a shorthand input unit for inputting a shorthand character, a shorthand display unit for displaying image data transmitted from the speech system, and a shorthand speaker for outputting voice data, and a speech storage for storing the speech data transmitted from the speech system A shorthand storage unit including a conversion phrase DB in which a part and a conversion phrase corresponding to the shorthand character are stored, a division module for dividing a screen of the shorthand display unit to display the at least two speakers, and a shorthand inputted from the shorthand input unit Conversion module and image for converting a character into the conversion phrase If the speech data is transmitted in at least two speech systems at the same time, characterized in that it comprises a shorthand controller including an allocation module for allocating speech opportunities to each speech system.

또한, 상기 할당모듈은 상기 적어도 두 개의 발언시스템에서 동시에 발언데이터가 수신될 경우, 각 발언시스템에 기설정된 우선순위별로 발언기회를 할당하고 발언시스템별로 발언을 위한 활성화시간을 할당하거나, 상기 속기입력부의 입력에 의해 선택된 하나의 발언시스템에 발언기회를 할당하는 것을 특징으로 한다.In addition, when the speaking data is simultaneously received from the at least two speech systems, the allocating module allocates a speech opportunity to each speech system according to a predetermined priority and allocates an activation time for speech to each speech system, or the shorthand input unit. It is characterized by assigning a speaking opportunity to one speech system selected by the input of.

또한, 상기 속기제어부는 상기 할당모듈에 의해 할당된 활성화시간을 초과하여 발언데이터가 수신되거나, 발언기회가 부여되지 않은 발언시스템에서 발언데이터가 수신되면 상기 발언데이터를 녹화 및 녹음하여 상기 발언저장부로 제공하는 녹화모듈을 더 포함하는 것을 특징으로 한다.In addition, when the speech data is received in excess of the activation time allocated by the assignment module or when the speech data is received from the speech system to which the speech opportunity is not given, the shorthand controller records and records the speech data to the speech storage unit. It further comprises a recording module to provide.

또한, 상기 속기제어부는 상기 발언저장부에 저장된 발언데이터의 재생, 일시정지, 빨리감기, 뒤로감기 및 재생 시 발언데이터의 재생속도조절을 제어하는 것 을 특징으로 한다.The shorthand controller may be configured to control playback speed of the speech data during playback, pause, fast forward, rewind, and playback of the speech data stored in the speech storage.

또한, 상기 속기제어부는 수정시스템으로부터 속기 수정이 요청되면, 상기 변환모듈에서 변환된 변환어구를 상기 수정시스템으로 전송하도록 상기 송수신부를 제어하고, 상기 수정시스템으로부터 수정된 속기가 수신되면 상기 수정된 속기를 표시하도록 상기 속기표시부를 제어하는 것을 특징으로 한다.The shorthand controller may control the transceiver to transmit the converted phrase from the conversion module to the correction system when a shorthand correction is requested from a modification system, and if the modified shorthand is received from the correction system. It characterized in that for controlling the shorthand display to display.

아울러, 본 발명에 따른 다자간 화상회의 속기 방법은 속기시스템이 속기모드에 진입하여 발언권을 갖고 서로 다른 위치에 존재하는 적어도 두 개의 발언시스템으로부터 각각의 발언데이터인 영상데이터와 음성데이터를 웹을 통해 실시간으로 수신하고 상기 수신되는 적어도 두 개의 영상데이터를 표시하는 단계, 상기 속기시스템은 상기 웹을 통해 수신되는 순서대로 발언데이터의 속기가 수행되고, 상기 적어도 두 개의 발언시스템으로부터 동시에 발언데이터를 수신하면 각각의 발언시스템에 발언기회를 할당하여 할당된 발언기회에 해당하는 발언데이터의 속기가 수행되는 단계를 포함하는 것을 특징으로 한다.In addition, according to the present invention, the short-term method for short-term video conferencing uses real-time video and audio data, each of which is speech data, from at least two speech systems in which the shorthand system enters the shorthand mode and has a voice. Receiving and displaying the received at least two image data, the shorthand system performs shorthand of the speech data in the order received through the web, and when receiving the speech data simultaneously from the at least two speech systems, respectively. Allocating a speech opportunity to the speech system of the characterized in that it comprises the step of performing the shorthand of the speech data corresponding to the assigned speech opportunity.

또한, 상기 발언데이터의 속기가 수행되는 단계는 상기 속기시스템은 상기 적어도 두 개의 발언시스템으로부터 동시에 발언데이터를 수신하면 각각의 발언시스템에 대한 우선순위의 설정여부를 판단하여 우선순위가 설정된 상태이면 제1 우선순위에 해당하는 발언시스템에서 수신되는 제1 발언데이터를 활성화하고 활성화된 제1 발언데이터에 대한 속기가 수행되는 단계, 상기 속기시스템은 상기 제1 발언데이터 수신시에 우선순위가 낮은 제2 발언데이터가 수신되면 상기 제2 발언데이터를 녹화 및 녹음하는 단계, 상기 속기시스템은 상기 발언시스템에 대한 활성화시 간 할당여부를 판단하여 활성화시간이 경과하면 상기 속기 중이던 제1 발언데이터를 녹화 및 녹음하고 우선순위가 낮은 제2 발언데이터를 활성화하고 활성화된 제2 발언데이터에 대한 속기가 수행되는 단계를 더 포함하는 것을 특징으로 한다.In the shortening of the speech data, the shorthand system may determine whether to set priority for each speech system when the speech data is simultaneously received from the at least two speech systems. Activating the first speech data received from the speech system corresponding to the first priority and performing shorthand on the activated first speech data, wherein the shorthand system is configured to perform a second priority having a lower priority when the first speech data is received. Recording and recording the second speech data when speech data is received, and the shorthand system determines whether to allocate an activation time for the speech system and records and records the first speech data in shorthand after an activation time elapses. And activate the second speech data having a low priority and activate the second speech data. Characterized in that it further comprises the step of performing the shorthand.

또한, 상기 속기시스템은 상기 활성화시간이 할당된 상태가 아니면 상기 수신 중인 제1 발언데이터의 수신이 종료된 이후에 상기 제2 발언데이터를 활성화하고 상기 제2 발언데이터에 대한 속기가 수행되는 단계를 더 포함하는 것을 특징으로 한다.In addition, if the activation time is not assigned, the shorthand system activates the second speech data after the reception of the first speech data being received and performs the shorthand on the second speech data. It further comprises.

또한, 상기 속기시스템은 상기 우선순위가 설정된 상태가 아니면 상기 표시된 적어도 두 개의 발언시스템 중 어느 하나의 발언시스템에 대한 선택유무를 판단하는 단계, 상기 판단결과, 상기 속기시스템은 상기 제1 발언시스템이 선택되면 선택된 제1 발언시스템에서 수신되는 제1 발언데이터를 활성화하고 제1 발언데이터에 대한 속기가 수행되고, 속기 수행 시에 제2 발언시스템으로부터 제2 발언데이터가 수신되면, 상기 제2 발언데이터를 녹화 및 녹음하는 단계, 상기 판단결과, 상기 속기시스템은 상기 제2 발언시스템이 선택되면 선택된 제2 발언시스템에서 수신되는 제2 발언데이터를 활성화하고 제2 발언데이터에 대한 속기가 수행되고, 속기 수행 시에 제1 발언시스템으로부터 제1 발언데이터가 수신되면, 상기 제1 발언데이터를 녹화 및 녹음하는 단계, 상기 속기시스템은 상기 제1 및 제2 발언시스템에 대한 활성화시간 할당여부를 판단하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the shorthand system determines whether there is a selection of any one of the displayed at least two speech systems if the priority is not set, and the determination result, the shorthand system is determined by the first speech system. If selected, the first speech data received by the selected first speech system is activated and a shorthand for the first speech data is performed. When the second speech data is received from the second speech system when the shorthand is performed, the second speech data is received. Recording and recording, when the second speech system is selected, the shorthand system activates the second speech data received from the selected second speech system and the shorthand for the second speech data is performed. When the first speech data is received from the first speech system when performing, recording and recording the first speech data System, the shorthand system is characterized in that it further comprises the step of determining whether the activation time allocated to the first and second speech system.

또한, 상기 속기시스템은 상기 적어도 두 개의 발언시스템 중 어느 하나의 발언시스템이 선택되지 않으면, 수신되는 적어도 두 개의 발언데이터를 녹화 및 녹 음하는 단계, 상기 속기시스템은 상기 녹화 및 녹음된 발언데이터에 대한 재생신호 수신 시, 상기 발언데이터를 재생하고 발언데이터에 대한 속기가 수행되는 단계를 더 포함하는 것을 특징으로 한다.In addition, the shorthand system records and records at least two pieces of speech data received if any one of the at least two speech systems is not selected, and the shorthand system includes the recorded and recorded speech data. The method may further include reproducing the speech data and performing a shorthand on the speech data when the reproduction signal is received.

또한, 상기 속기시스템은 수정시스템으로 속기 수정이 요청되면 상기 수행 중인 속기를 실시간으로 상기 수정시스템으로 전송하는 단계, 상기 속기시스템은 상기 수정시스템으로부터 수정된 속기를 수신하여 수행 중인 속기와 상기 수정된 속기를 표시하는 단계를 더 포함하는 것을 특징으로 한다.In addition, the shorthand system transmits the shorthand being performed to the correction system in real time when a shorthand correction is requested to the correction system, and the shorthand system receives the modified shorthand from the correction system and performs the corrected shorthand. It further comprises the step of displaying the shorthand.

이와 같이, 본 발명은 서로 다른 지역에 분포되어 있는 적어도 두 개의 발언시스템에서 획득된 발언자의 발언데이터를 속기시스템에서 실시간으로 수신하여 원격지에서 속기자가 속기를 수행함으로써 발언자 및 속기자가 회의장 등으로 직접 참석해야하는 번거로움을 감소할 수 있는 효과가 있다.As described above, the present invention receives the speaker's speech data obtained from at least two speech systems distributed in different regions in real time in the shorthand system, whereby the shorthand performs the shorthand remotely to the speaker and the shorthand to the conference room. This can reduce the hassle of having to attend in person.

또한, 본 발명은 적어도 두 개의 발언시스템에서 획득되어 실시간으로 전송되는 발언데이터를 녹화 및 녹음하여 발언데이터에 해당하는 발언자가 누구인지 확인하면서 속기를 수행하고 속기 시 누락된 내용을 다시 확인함으로써 보다 정확한 속기를 수행할 수 있는 효과가 있다. In addition, the present invention performs a shorthand while checking who is the speaker corresponding to the speech data by recording and recording the speech data acquired in at least two speech systems and transmitted in real time to more accurately by re-check the missing content in the shorthand You can do shorthand.

또한, 본 발명은 적어도 두 개의 발언시스템에서 전송되는 발언데이터에 우선순위를 정하고 정해진 순서에 해당하는 발언데이터만 활성화하여 속기를 수행한 후 다른 발언데이터는 녹화 및 녹음하여 활성화된 발언데이터의 속기가 완료되면 녹화 및 녹음된 발언데이터를 활성화하여 속기를 수행함으로써 동시에 수신되는 적 어도 두 개의 발언데이터에 대한 속기를 차례대로 수행할 수 있는 효과가 있다. In addition, the present invention prioritizes the speech data transmitted from at least two speech systems and activates only speech data corresponding to a predetermined order to perform shorthand, and then other speech data is recorded and recorded to shorten the activated speech data. When completed, the recording and recorded speech data are activated to perform shorthand, so that shorthand for at least two speech data received at the same time can be sequentially performed.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예들을 보다 상세하게 설명하고자 한다. 다만, 실시예들을 설명함에 있어서 본 발명이 속하는 기술 분야에 잘 알려져 있고 본 발명과 직접적으로 관련이 없는 기술 내용에 대해서는 가급적 설명을 생략한다. 이는 불필요한 설명을 생략함으로써 본 발명의 핵심을 흐리지 않고 더욱 명확히 전달하기 위함이다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, in describing the embodiments, descriptions of technical contents that are well known in the technical field to which the present invention belongs and are not directly related to the present invention are omitted. This is to more clearly communicate without obscure the core of the present invention by omitting unnecessary description.

본 발명의 실시예에서 사용되는 발언데이터는 발언자가 발언할 때 속기자가 발언자의 얼굴을 확인할 수 있도록 발언자의 얼굴을 기준으로 획득되는 영상데이터와 발언자의 목소리가 획득되는 음성데이터를 의미한다.The speech data used in the embodiment of the present invention refers to the image data obtained based on the speaker's face and the voice data obtained from the speaker's voice so that the shorthand can identify the speaker's face when the speaker speaks.

본 발명의 실시예에서 사용되는 발언데이터의 활성화는 속기자가 발언시스템으로부터 전송되는 발언데이터인 영상데이터와 음성데이터를 확인할 수 있는 상태를 의미한다. 즉, 활성화된 발언데이터는 영상데이터와 음성데이터가 동기화되어 출력됨으로써 속기자가 확인할 수 있는 상태이고, 비활성화된 발언데이터는 발언시스템으로부터 전송되지만 이미 활성화되어 출력 중인 발언데이터 때문에 출력되지 않아 속기자가 확인할 수 없는 상태를 나타낸다. 또한, 비활성화된 발언데이터는 활성화될 때까지 속기시스템에 저장된다. Activation of the speech data used in the embodiment of the present invention means a state in which the shorthand can confirm the image data and the audio data which are the speech data transmitted from the speech system. That is, the activated speech data can be checked by the shorthand by synchronizing the video data with the audio data, and the inactive speech data is transmitted from the speech system but is not output due to the already activated speech output. It cannot be confirmed. In addition, the deactivated speech data is stored in the shorthand system until activated.

도 1은 본 발명의 일 실시예에 따른 다자간 화상회의 속기 통합시스템을 나타낸 개략도이다. 도 2는 도 1에 도시된 발언시스템의 주요 구성을 나타낸 블록도이다. 도 3은 도 1에 도시된 속기시스템의 주요 구성을 나타낸 블록도이다. 1 is a schematic diagram showing a multi-party video conference shorthand integration system according to an embodiment of the present invention. 2 is a block diagram showing the main configuration of the speech system shown in FIG. 3 is a block diagram showing the main configuration of the shorthand system shown in FIG.

도 1 내지 도 3을 참조하면, 다자간 화상회의 속기 통합시스템(10)은 다수개의 발언시스템(100)과 인터넷망(150) 및 속기시스템(200)으로 구성된다. 1 to 3, the multi-party video conferencing shorthand integrated system 10 includes a plurality of speech systems 100, an internet network 150, and a shorthand system 200.

이때, 발언시스템(100)은 카메라(101), 마이크(102), 속기제어부(103), 전송부(104)를 포함하여 구성된다. In this case, the speech system 100 includes a camera 101, a microphone 102, a shorthand controller 103, and a transmitter 104.

발언시스템(100)의 카메라(101)는 피사체의 광 신호를 아날로그 신호로 변환하는 이미지센서 및 아날로그 신호를 디지털 신호로 변환하는 신호처리부를 구비한다. 즉, 카메라(101)는 렌즈를 통해 수집한 광 신호를 디지털 신호로 변환하여 영상데이터를 생성한다. 카메라(101)는 속기제어부(103)의 제어에 따라 획득된 영상데이터를 속기제어부(103)로 제공한다. The camera 101 of the speech system 100 includes an image sensor for converting an optical signal of a subject into an analog signal and a signal processor for converting an analog signal into a digital signal. That is, the camera 101 generates image data by converting the optical signal collected through the lens into a digital signal. The camera 101 provides the shorthand controller 103 with image data obtained under the control of the shorthand controller 103.

마이크(102)는 외부의 음성을 획득하고 획득된 음성신호를 음성데이터로 변환하여 속기제어부(103)로 제공한다. 이때, 외부의 음성은 발언시스템(100)에 해당하는 발언자의 음성을 의미한다. 마이크(102)는 속기제어부(103)의 제어에 따라 획득된 음성데이터를 속기제어부(103)로 제공한다. The microphone 102 acquires an external voice, converts the obtained voice signal into voice data, and provides the voice signal to the shorthand controller 103. At this time, the external voice means the voice of the speaker corresponding to the speech system 100. The microphone 102 provides the shorthand controller 103 with voice data obtained under the control of the shorthand controller 103.

제어부(103)는 발언시스템(100)을 구성하는 각 구성요소들을 제어한다. 속기제어부(103)는 카메라(101)에서 획득된 영상데이터를 속기시스템(200)으로 전송하도록 전송부(104)를 제어하고, 마이크(102)에서 획득된 음성데이터를 속기시스템(200)으로 전송하도록 전송부(104)를 제어한다. The controller 103 controls each component of the speech system 100. The shorthand controller 103 controls the transmitter 104 to transmit the image data obtained from the camera 101 to the shorthand system 200, and transmits the voice data obtained from the microphone 102 to the shorthand system 200. The control unit 104 is controlled so as to.

제어부(103)는 획득된 발언데이터를 속기시스템(200)으로 전송하는 도중에 인터넷 연결이 끊기는 등 외부적인 이유로 발언데이터를 속기시스템(200)으로 전송할 수 없을 경우, 속기제어부(103)는 발언데이터를 녹화 및 녹음하여 메모리(미도 시)에 잠시 저장한다. 속기제어부(103)가 속기시스템(200)과의 인터넷 재연결을 감지하면, 속기제어부(103)는 전송부(104)를 제어하여 메모리(미도시)에 저장된 발언데이터를 속기시스템(200)으로 전송한다. 인터넷 재연결 시에 카메라(101)와 마이크(102)로부터 지속적으로 발언데이터가 획득되고 있는 상태이면, 속기제어부(103)는 획득되고 있는 발언데이터의 전송을 완료한 이후에 저장된 발언데이터를 전송하거나, 획득되고 있는 발언데이터와 저장된 발언데이터를 같이 전송할 수 있다. If the controller 103 cannot transmit the spoken data to the shorthand system 200 due to external reasons such as disconnection of the Internet while transmitting the acquired talk data to the shorthand system 200, the shorthand controller 103 may transmit the talked data. Record and record and store it in memory (not shown) for a while. When the shorthand controller 103 detects an internet reconnection with the shorthand system 200, the shorthand controller 103 controls the transmitter 104 to transfer the speech data stored in the memory (not shown) to the shorthand system 200. send. If the speech data is continuously acquired from the camera 101 and the microphone 102 when the internet is reconnected, the shorthand controller 103 transmits the stored speech data after completing the transmission of the obtained speech data. For example, the acquired speech data and the stored speech data may be transmitted together.

전송부(104)는 속기제어부(103)의 제어에 의해 카메라(101)와 마이크(102)에서 각각 획득된 영상데이터와 음향데이터를 웹 기반인 인터넷을 통해 속기시스템(200)에 실시간으로 전송한다. 전송부(104)는 인터넷망(150)과 인터넷 통신링크를 형성하고, 전송부(104)는 인터넷망(150)을 통해 발언데이터를 속기시스템(200)으로 제공한다. The transmission unit 104 transmits the image data and the audio data acquired by the camera 101 and the microphone 102 to the shorthand system 200 in real time through the web based on the control of the shorthand controller 103. . The transmission unit 104 forms an internet communication link with the Internet network 150, and the transmission unit 104 provides speech data to the shorthand system 200 through the Internet network 150.

속기시스템(200)은 송수신부(210), 속기저장부(230), 속기입출력부(205), 속기제어부(220)를 포함하여 구성되고, 속기저장부(230)는 발언저장부(231)와 변환어구DB(232)로 구성되고, 속기입출력부(205)는 속기입력부(241)와 속기표시부(242) 및 속기스피커(243)로 구성된다. 속기제어부(220)는 변환모듈(221), 분할모듈(222), 할당모듈(223), 녹화모듈(224)을 포함하여 구성된다.The shorthand system 200 includes a transceiver 210, a shorthand storage 230, a shorthand input / output 205, a shorthand controller 220, and the shorthand storage 230 is a remark storage unit 231. And a conversion phrase DB 232, and a shorthand input / output unit 205 is composed of a shorthand input unit 241, a shorthand display unit 242, and a shorthand speaker 243. The shorthand controller 220 includes a conversion module 221, a division module 222, an allocation module 223, and a recording module 224.

속기시스템(200)의 송수신부(210)는 속기제어부(220)의 제어에 의해 발언시스템(100)에서 획득된 영상데이터와 음향데이터를 웹 기반인 인터넷을 통해 수신한다. 송수신부(210)는 인터넷망(150)과 인터넷 통신링크를 형성하고, 송수신부(210)는 인터넷망(150)을 통해 발언시스템(100)의 전송부(104)로부터 전송되는 발언데이 터를 수신한다.The transceiving unit 210 of the shorthand system 200 receives image data and sound data obtained from the speech system 100 through a web-based Internet under the control of the shorthand controller 220. The transceiver 210 forms an Internet communication link with the Internet network 150, and the transceiver 210 transmits speech data transmitted from the transmitter 104 of the speech system 100 through the Internet network 150. Receive.

속기제어부(220)는 속기시스템(200)의 각 블록을 제어한다. 속기제어부(220)는 송수신부(210)를 통해서 수신되는 발언데이터를 속기표시부(242) 및 속기스피커(243)로 출력하고, 속기입력부(241)로부터 입력되는 속기문자를 변환어구로 변환하여 이를 속기표시부(242)에 표시한다. 또한, 속기제어부(220)는 제1 발언시스템(110)과 제2 발언시스템(111)에 발언기회를 할당하고, 할당된 발언기회에 해당하지 않는 발언시스템(100)에서 전송되는 발언데이터를 녹화한다. 이를 위해, 속기제어부(220)는 변환모듈(221), 분할모듈(222), 할당모듈(223), 녹화모듈(224)을 구비한다.The shorthand controller 220 controls each block of the shorthand system 200. The shorthand controller 220 outputs the speech data received through the transceiver 210 to the shorthand display 242 and the shorthand speaker 243, and converts the shorthand characters inputted from the shorthand inputter 241 into converted phrases. It is displayed on the shorthand display part 242. In addition, the shorthand controller 220 allocates a speaking opportunity to the first speaking system 110 and the second speaking system 111, and records the speaking data transmitted from the speaking system 100 that does not correspond to the assigned speaking opportunity. do. To this end, the shorthand controller 220 includes a conversion module 221, a division module 222, an allocation module 223, and a recording module 224.

변환모듈(221)은 속기입력부(241)에서 입력되는 속기문자에 대응하는 변환어구를 변환어구DB(232)에서 추출한다. 속기제어부(220)는 변환모듈(221)에서 추출된 변환어구를 표시하도록 속기표시부(242)를 제어한다. The conversion module 221 extracts a conversion phrase corresponding to the shorthand character input from the shorthand input unit 241 in the conversion phrase DB 232. The shorthand controller 220 controls the shorthand display unit 242 to display the converted phrase extracted by the conversion module 221.

분할모듈(222)은 제1 발언시스템(110)과 제2 발언시스템(111)에서 수신되는 제1 영상데이터와 제2 영상데이터를 표시하고, 속기입력부(241)에서 입력되는 속기문자에 매핑된 변환어구를 표시하도록 속기표시부(242)의 분할을 제어한다. 아울러, 분할모듈(222)은 변환어구를 표시하고, 속기입력부(241)에서 입력되는 속기문자도 표시하도록 속기표시부(242)를 분할할 수 있다.The division module 222 displays the first image data and the second image data received from the first speech system 110 and the second speech system 111, and is mapped to the shorthand text input from the shorthand input unit 241. The division of the shorthand display unit 242 is controlled to display the conversion phrase. In addition, the division module 222 may divide the shorthand display unit 242 to display a conversion phrase and to display a shorthand character input from the shorthand input unit 241.

할당모듈(223)은 제1 발언시스템(110)과 제2 발언시스템(111)으로부터 전송되는 각각의 발언데이터에 우선순위별로 발언기회를 할당한다. 이때, 발언기회는 전송되는 각각의 발언데이터를 활성화하는 순서를 의미한다. 즉, 두 개의 발언데이 터가 동시에 전송될 때, 어떤 발언시스템에서 전송되는 발언데이터를 활성화하여 먼저 속기할 것인지를 설정하기 위함이다. 또한, 할당모듈(223)은 제1 발언시스템(110)과 제2 발언시스템(111)이 동시에 발언함으로써 속기가 불가능한 상황을 피하기 위해서 활성화시간을 할당한다. 즉, 제1 발언시스템(110)과 제2 발언시스템(111)에서 전송되는 음성데이터가 동시에 출력되는 일이 없도록 하기 위해 시간을 할당한다. The allocating module 223 allocates speaking opportunities by priority to respective speech data transmitted from the first speech system 110 and the second speech system 111. In this case, the speech opportunity refers to an order of activating each speech data transmitted. That is, when two speech data are transmitted at the same time, it is to set which speech system is to be shortened first by activating the speech data transmitted from the speech system. In addition, the allocating module 223 allocates an activation time in order to avoid a situation in which shorthand is impossible because the first speech system 110 and the second speech system 111 speak simultaneously. That is, time is allocated to prevent the voice data transmitted from the first speech system 110 and the second speech system 111 from being output at the same time.

녹화모듈(224)은 제1 발언시스템(110)과 제2 발언시스템(111)에서 전송되는 각각의 발언데이터를 녹화 및 녹음하여 발언저장부(231)로 제공한다. 예를 들어, 녹화모듈(224)은 제1 우선순위가 할당된 제1 발언시스템(110)으로부터 전송되는 제1 발언데이터가 활성화된 상태에서 제2 발언시스템(111)의 제2 발언데이터가 전송되면, 전송된 제2 발언데이터를 비활성화하고 녹화 및 녹음한다. 아울러, 제1 발언시스템(110)에서 전송되어 활성화된 제1 발언데이터가 할당모듈(223)에서 할당된 활성화시간을 초과하면, 제2 발언시스템(111)의 발언데이터를 활성화하여 제2 발언데이터를 출력하고, 전송 중인 제1 발언데이터를 비활성화하여 녹화 및 녹음한다. The recording module 224 records and records respective speech data transmitted from the first speech system 110 and the second speech system 111, and provides the speech data to the speech storage unit 231. For example, the recording module 224 transmits the second speech data of the second speech system 111 while the first speech data transmitted from the first speech system 110 to which the first priority is assigned is activated. If so, the second speech data transmitted is deactivated and recorded and recorded. In addition, when the first speech data transmitted and activated in the first speech system 110 exceeds the activation time allocated in the allocation module 223, the speech data of the second speech system 111 is activated to activate the second speech data. Outputs and deactivates the first speech data being transmitted to record and record.

속기저장부(230)는 발언시스템(100)으로부터 전송되는 발언데이터를 저장하고, 속기 수행 시에 사용되는 속기문자와 이에 매핑된 변환어구를 저장하기 위해 발언저장부(231)와 변환어구DB(232)를 구비한다.Shorthand storage unit 230 stores the speech data transmitted from the utterance system 100, and the utterance storage unit 231 and the conversion phrase DB (to store the shorthand characters and conversion phrases mapped to them used when performing shorthand) 232).

발언저장부(231)는 속기제어부(220)의 제어에 의해 발언시스템(100)으로부터 전송되는 발언데이터 즉, 영상데이터와 음성데이터를 저장한다. 또한, 발언저장부(231)는 수신되는 음성데이터에 대응하도록 속기입출력부(205)의 속기입력 부(241)에서 입력된 속기문자를 저장하거나, 입력된 속기문자를 변환어구로 변환하여 저장한다. The speech storage unit 231 stores speech data, that is, image data and audio data transmitted from the speech system 100 under the control of the shorthand controller 220. In addition, the remark storage unit 231 stores the shorthand characters inputted from the shorthand input unit 241 of the shorthand input / output unit 205 or converts the input shorthand characters into a conversion phrase so as to correspond to the received voice data. .

변환어구DB(232)는 속기입력부(241)에서 입력되는 다수의 속기문자와 그에 매핑된 다수의 변환어구를 저장한다. 이때, 변환어구는 단어, 문장 등을 포함하는 어구인 것이 바람직하다. 특히, 변환어구DB(232)는 인터넷을 통하여 다운로드 받아 업데이트 할 수 있고, 속기자가 임의로 특정 어구와 특정 어구에 매핑되는 속기문자를 추가하여 저장할 수 있다. The conversion phrase DB 232 stores a plurality of shorthand characters inputted from the shorthand input unit 241 and a plurality of converted phrases mapped thereto. At this time, the conversion phrase is preferably a phrase including a word, a sentence and the like. In particular, the conversion phrase DB 232 can be downloaded and updated through the Internet, and the shorthand may arbitrarily add and store short phrases mapped to specific phrases and specific phrases.

또한, 속기저장부(230)는 속기입력부(241)를 통해 기설정된 발언시스템(100)별 우선순위를 저장하고, 발언시스템(100)별로 발언을 위한 활성화시간을 저장한다.In addition, the shorthand storage 230 stores the priority for each of the preset speaking systems 100 through the shorthand input unit 241, and stores an activation time for speaking for each of the speaking systems 100.

속기입출력부(205)는 사용자로부터 속기문자를 입력받고, 입력된 속기문자 및 속기문자에 대응되는 변환어구를 표시하며 발언시스템(100)에서 전송되는 발언데이터를 출력하기 위해 속기입력부(241), 속기표시부(242) 및 속기스피커(243)를 구비한다.Shorthand input and output unit 205 receives a shorthand character from the user, the shorthand input unit 241 for displaying the input shorthand character and the conversion phrase corresponding to the shorthand character and outputting the speech data transmitted from the speech system 100; A shorthand display unit 242 and a shorthand speaker 243 are provided.

속기입력부(241)는 통상적인 키보드, 마우스 등이며, 사용자로부터 입력되는 키에 해당하는 신호를 생성하여 속기제어부(220)로 제공한다. 속기입력부(241)는 다수의 키를 구비하고, 다수의 키는 일반 키와 적어도 하나 이상의 단어변환 키를 포함한다. 단어변환 키는 일반 키 외에 별도의 키로 추가되거나, 일반 키에 기능적으로 추가될 수 있다. Shorthand input unit 241 is a conventional keyboard, mouse, and the like to generate a signal corresponding to the key input from the user to provide to the shorthand controller 220. The shorthand input unit 241 includes a plurality of keys, and the plurality of keys include a general key and at least one word conversion key. The word conversion key may be added as a separate key in addition to the general key, or may be functionally added to the general key.

속기표시부(242)는 통상적인 LCD 모니터 등이다. 속기표시부(242)는 속기제 어부(220)의 제어에 의해 발언시스템(100)에서 전송되는 영상데이터를 교대로 표시하거나, 화면을 분할한 후 분할된 화면에 각 발언시스템(100)에서 전송되는 영상데이터를 표시한다. 또한, 속기표시부(242)는 속기입력부(241)에서 입력된 속기문자에 대응되는 변환어구를 표시한다. 아울러, 속기표시부(242)는 입력된 속기문자에 대응되는 변환어구와 입력된 속기문자를 표시할 수 있다. The shorthand display unit 242 is a conventional LCD monitor or the like. The shorthand display unit 242 alternately displays image data transmitted from the speech system 100 under the control of the shorthand control unit 220, or divides a screen and is transmitted from each speech system 100 to the divided screen. Display image data. In addition, the shorthand display unit 242 displays a conversion phrase corresponding to the shorthand text inputted from the shorthand input unit 241. In addition, the shorthand display unit 242 may display a converted phrase corresponding to the input shorthand text and the input shorthand text.

속기스피커(243)는 속기제어부(220)의 제어에 의해 발언시스템(100)에서 전송되는 음성데이터를 출력한다. The shorthand speaker 243 outputs voice data transmitted from the speech system 100 under the control of the shorthand controller 220.

도 4는 본 발명의 일 실시예에 따른 속기시스템에서 다자간 화상회의 속기 수행과정을 나타낸 흐름도이다. 도 5는 본 발명의 일 실시예에 따른 속기시스템에서 적어도 두 개의 발언시스템으로부터 전송되는 발언데이터의 속기 수행과정을 상세히 나타낸 상세흐름도이다. 도 6a 및 도 6b는 본 발명의 일 실시예에 따른 다자간 화상회의를 속기 중인 속기시스템의 화면을 나타낸 화면예시도이다. 4 is a flowchart illustrating a process of performing a short-term video conference in a shorthand system according to an exemplary embodiment of the present invention. FIG. 5 is a detailed flowchart illustrating a shorthand process of speech data transmitted from at least two speech systems in a shorthand system according to an exemplary embodiment of the present invention. 6A and 6B are exemplary views illustrating screens of a shorthand system in which a multi-party video conference is shorthanded according to an exemplary embodiment of the present invention.

도 1 내지 도 6b를 참조하면, S301단계에서 속기제어부(220)는 송수신부(210)를 제어하여 복수개의 발언시스템(100)과 다자간 화상회의의 속기를 위한 인터넷 통신을 시작한다. 이때, 복수개의 발언시스템(100)은 설명의 편의를 위해 제1 발언시스템(110)과 제2 발언시스템(111)으로 구분될 수 있다. 1 to 6B, in step S301, the shorthand controller 220 controls the transceiver 210 to start internet communication for shorthand of multi-party video conferencing with the plurality of speech systems 100. In this case, the plurality of speech systems 100 may be divided into a first speech system 110 and a second speech system 111 for convenience of description.

S302단계에서 속기제어부(220)는 다자간 화상회의의 속기록을 작성하기 위해 속기모드로 진입하고, S303단계에서 속기제어부(220)는 제1 발언시스템(110)과 제2 발언시스템(111)의 발언자에 대한 영상데이터를 속기표시부(242)에 표시한다. In step S302, the shorthand controller 220 enters the shorthand mode to create a short record of the multi-party video conference, and in step S303, the shorthand controller 220 is a speaker of the first speech system 110 and the second speech system 111. The image data on the shorthand display unit 242 is displayed.

이때, 속기제어부(220)의 분할모듈(222)은 속기표시부(242)를 분할하여 각각 의 영상데이터를 속기표시부(242)에 표시할 수 있다. 이는 도 6a에서와 같이 나타낼 수 있다. 속기표시부(242)를 분할하여 참조번호 501에는 제1 발언시스템(110)으로부터 전송되는 제1 발언자의 얼굴을 포함하는 영상데이터를 표시하고, 참조번호 502에는 제2 발언시스템(111)으로부터 전송되는 제2 발언자의 얼굴을 포함하는 영상데이터를 표시한다. 아울러, 참조번호 503에는 속기시스템(200)을 사용하는 속기자가 제1 발언시스템(110) 및 제2 발언시스템(111)으로부터 전송되는 음성데이터에 대응하도록 입력하는 속기문자에 해당하는 변환어구가 표시된다. 또한, 도 6b에서와 같이 참조번호 503에 변환어구를 표시하고, 참조번호 504에는 속기자가 입력하는 속기문자를 표시할 수 있다. At this time, the division module 222 of the shorthand control unit 220 may divide the shorthand display unit 242 and display respective image data on the shorthand display unit 242. This can be represented as in FIG. 6A. The shorthand display unit 242 is divided to display image data including the face of the first speaker transmitted from the first speech system 110 at 501 and transmitted from the second speech system 111 at 502. Image data including the face of the second speaker is displayed. In addition, reference numeral 503 includes a conversion phrase corresponding to a shorthand character inputted by a shorthand using the shorthand system 200 to correspond to voice data transmitted from the first and second speech systems 110 and 111. Is displayed. Also, as shown in FIG. 6B, a conversion phrase may be displayed at 503, and a shorthand character input by a shorthand may be displayed at 504.

S304단계에서 속기제어부(220)는 송수신부(210)를 통하여 전송되는 발언시스템(100)의 음성데이터를 수신하고, S305단계에서 속기제어부(220)는 S304단계에서 수신되는 음성데이터가 복수개인지 판단한다. S305단계의 판단결과, S304단계에서 수신되는 음성데이터가 제1 발언시스템(110)으로부터 수신되는 제1 음성데이터와 제2 발언시스템(111)으로부터 수신되는 제2 음성데이터이면, 속기제어부(220)는 S313단계로 진행한다. S313단계에 대한 상세한 설명은 하기의 도 5에서 설명된다. In operation S304, the shorthand controller 220 receives voice data of the speech system 100 transmitted through the transceiver 210, and in operation S305, the shorthand controller 220 determines whether a plurality of voice data are received in operation S304. do. As a result of the determination in step S305, if the voice data received in step S304 is the first voice data received from the first speech system 110 and the second voice data received from the second speech system 111, the shorthand controller 220 Proceeds to step S313. A detailed description of the step S313 is described in FIG. 5 below.

반대로, S304단계에서 수신되는 음성데이터가 제1 발언시스템(110)으로부터 수신되는 제1 음성데이터 하나이면, 속기제어부(220)는 S306단계로 진행한다. 이때, 설명의 편의를 위해 S304단계에서 수신되는 음성데이터가 제1 발언시스템(110)으로부터 수신되는 제1 음성데이터인 것으로 설명하지만, S304단계에서 수신되는 음성데이터는 제2 발언시스템(111)으로부터 수신되는 제2 음성데이터일 수 있다. In contrast, if the voice data received in step S304 is one of the first voice data received from the first speech system 110, the shorthand controller 220 proceeds to step S306. In this case, for convenience of description, the voice data received in step S304 is described as first voice data received from the first speech system 110. However, the voice data received in step S304 is received from the second speech system 111. The second voice data may be received.

이어서, S306단계에서 속기제어부(220)는 제1 음성데이터에 대한 속기를 수행한다. 즉, 속기제어부(220)는 S304단계에서 수신되는 제1 음성데이터에 해당하는 속기문자를 속기입력부(241)로부터 입력받는다. 이후, 속기제어부(220)의 변환모듈(221)은 입력된 속기문자와 매핑된 변환어구를 속기저장부(230)의 변환어구DB(232)에서 추출하여 입력된 속기문자를 추출된 변환어구로 변환한다. 속기제어부(220)는 변환된 변환어구를 속기표시부(242)에 참조번호 503에 해당하는 영역에 표시하고, 변환된 변환어구를 발언저장부(231)에 저장할 수 있다. 아울러, 속기제어부(220)는 속기입력부(241)에서 입력되는 속기문자를 참조번호 504에 표시할 수 있고, 입력되는 속기문자를 발언저장부(231)에 저장할 수 있다.In operation S306, the shorthand controller 220 performs a shorthand on the first voice data. That is, the shorthand controller 220 receives a shorthand character corresponding to the first voice data received in operation S304 from the shorthand inputter 241. Subsequently, the conversion module 221 of the shorthand controller 220 extracts the converted short phrase and the converted short phrase mapped from the converted phrase DB 232 of the shorthand storage 230 into the extracted short phrase. To convert. The shorthand controller 220 may display the converted conversion phrase on the shorthand display unit 242 in an area corresponding to the reference number 503 and store the converted conversion phrase in the speech storage unit 231. In addition, the shorthand controller 220 may display a shorthand character input from the shorthand inputter 241 at reference numeral 504, and store the shorthand character input in the remark storage unit 231.

S307단계에서 속기제어부(220)는 S306단계와 같이 제1 음성데이터에 대한 속기를 수행 중에 제2 발언시스템(111)으로부터 제2 음성데이터가 수신됨이 감지되면, 속기제어부(220)는 S308단계로 진행하여 속기 수행 중인 제1 음성데이터의 수신이 종료되는 지의 여부를 감지한다. 이때, S308단계에서 속기제어부(220)가 제1 음성데이터의 수신 종료를 감지하면, 속기제어부(220)는 S309단계로 진행하여 S306단계와 마찬가지로 제2 음성데이터에 대한 속기를 수행한다. In step S307, if the shorthand controller 220 detects that the second voice data is received from the second speech system 111 while performing the shorthand on the first voice data as in step S306, the shorthand controller 220 performs the step S308. Proceeds to detecting whether the reception of the first voice data being performed shortly is terminated. At this time, if the shorthand controller 220 detects the end of the reception of the first voice data in step S308, the shorthand controller 220 proceeds to step S309 and performs shorthand on the second voice data as in step S306.

반대로, S308단계에서 속기제어부(220)가 제1 음성데이터의 수신이 종료되지 않음을 감지하면, 속기제어부(220)는 S310단계로 진행하여 S307단계에서 수신되는 제2 음성데이터를 녹음하고, 제2 음성데이터와 동기화되어 동시에 전송되는 제2 영상데이터를 녹화한다. 이후, 속기제어부(220)는 녹음된 제2 음성데이터와 녹화된 제2 영상데이터를 발언저장부(231)에 저장한다. On the contrary, if the shorthand controller 220 detects that the reception of the first voice data is not terminated in step S308, the shorthand controller 220 proceeds to step S310 to record the second voice data received in step S307. 2 Record the second video data synchronized with the audio data and simultaneously transmitted. Thereafter, the shorthand controller 220 stores the recorded second voice data and the recorded second image data in the remark storage unit 231.

이어서, S311단계에서 속기제어부(220)가 S306단계와 같이 속기 수행 중인 제1 음성데이터의 수신이 종료됨을 감지하면, 속기제어부(220)는 S312단계로 진행한다. S312단계에서 속기제어부(220)는 S310단계에서 발언저장부(231)에 저장된 제2 음성데이터와 제2 영상데이터를 동기화하여 참조번호 502에 제2 영상데이터를 표시하고 속기스피커(243)로 제2 음성데이터를 출력한다. 이후, S309단계에서 속기제어부(220)는 S306단계와 마찬가지로 속기입력부(241)에서 입력되는 속기문자로 제2 음성데이터에 대한 속기를 수행한다.Subsequently, when the shorthand controller 220 detects that reception of the first voice data being performed shorthand is terminated in step S311, the shorthand controller 220 proceeds to step S312. In step S312, the shorthand controller 220 synchronizes the second voice data and the second video data stored in the speech storage unit 231 in step S310 to display the second video data at reference numeral 502, and to the shorthand speaker 243. 2 Output voice data. Thereafter, in step S309, the shorthand controller 220 performs a shorthand on the second voice data as a shorthand character inputted from the shorthand input unit 241 as in step S306.

S309단계 이후에 속기제어부(220)는 S314단계로 진행하여, 발언시스템(100)에서 수행되는 다자간 화상회의가 종료되었는지 판단한다. S309단계의 판단결과, 다자간 화상회의가 종료된 상태이면 속기모드를 종료하고, 종료되지 않은 상태이면 S305단계로 회귀하여 상기의 과정들을 재수행한다. After step S309, the shorthand controller 220 proceeds to step S314 to determine whether the multi-party video conference performed in the speech system 100 has ended. As a result of the determination in step S309, if the multi-party video conferencing is in the end state, the shorthand mode is terminated.

이어서, S313단계는 도 5와 같은 단계를 수행한다. S305단계의 판단결과, S304단계에서 수신되는 음성데이터가 제1 음성데이터와 제2 음성데이터이면, S401단계에서 속기제어부(220)는 적어도 두 개의 발언시스템(100)에 대한 우선순위 기설정여부를 판단한다. Subsequently, step S313 performs a step as shown in FIG. 5. As a result of the determination in step S305, if the voice data received in step S304 is the first voice data and the second voice data, in step S401, the shorthand controller 220 determines whether or not to set the priority of at least two speech systems 100 in advance. To judge.

S401단계의 판단결과, 우선순위가 기설정된 상태이면 속기제어부(220)는 S402단계로 진행하여 제1 우선순위에 해당하는 음성데이터를 활성화한다. 이때, 제1 우선순위에 해당하는 음성데이터는 설명의 편의를 위해 제1 발언시스템(110)의 제1 음성데이터로 예를 들어 설명한다. 반대로, S401단계의 판단결과 우선순위가 기설정된 상태가 아니면 속기제어부(220)는 S403단계로 진행한다. As a result of the determination in step S401, if the priority is a predetermined state, the shorthand controller 220 proceeds to step S402 to activate the voice data corresponding to the first priority. In this case, the voice data corresponding to the first priority will be described as an example of the first voice data of the first speech system 110 for convenience of description. On the contrary, if the priority of the determination result in step S401 is not a preset state, the shorthand controller 220 proceeds to step S403.

S403단계에서 속기제어부(220)는 도 6a 및 도 6b와 같이 참조번호 501과 502에 각각 표시된 제1 발언시스템(110)과 제2 발언시스템에 해당하는 발언자 중에서 임의의 발언자에 대한 선택신호를 속기입력부(241)로부터 제공받는다. 이때, 임의의 발언자가 선택되면 속기제어부(220)는 S404단계로 진행하고, 발언자가 선택되지 않으면 속기제어부(220)는 S416단계로 진행한다. 여기에서, S403단계에서 선택된 발언시스템을 제1 발언시스템(110)으로 예를 들어 설명한다.In step S403, the shorthand controller 220 shorthands a selection signal for an arbitrary speaker among the speakers corresponding to the first speech system 110 and the second speech system indicated by reference numerals 501 and 502 as shown in FIGS. 6A and 6B, respectively. It is provided from the input unit 241. At this time, if a random speaker is selected, the shorthand controller 220 proceeds to step S404, and if a speaker is not selected, the shorthand controller 220 proceeds to step S416. Here, the speech system selected in step S403 will be described as an example of the first speech system 110.

이어서, S403단계에서 제1 및 제2 발언시스템(110, 111) 중 어느 하나라도 선택되지 않으면 S416단계에서 속기제어부(220)는 제1 및 제2 발언시스템(110, 111)으로부터 전송되는 발언데이터를 녹화 및 녹음하여 발언저장부(231)에 저장한다. 발언데이터를 저장하는 도중에 S417단계에서 속기제어부(220)가 속기입력부(241)로부터 발언데이터를 재생하기 위한 재생신호를 수신하면, 속기제어부(220)는 S418단계로 진행한다. 반대로, S417단계에서 재생신호가 수신되지 않으면, 속기제어부(220)는 S420단계로 진행하여 발언데이터의 저장이 완료되었는지 판단한다. 발언데이터의 저장이 완료되면 속기제어부(220)는 속기모드를 종료하고, 저장이 완료되지 않으면 속기제어부(220)는 S417단계로 회귀한다. Subsequently, if any one of the first and second speech systems 110 and 111 is not selected in step S403, the shorthand controller 220 transmits speech data transmitted from the first and second speech systems 110 and 111 in step S416. Record and record the stored in the remark storage unit 231. If the shorthand controller 220 receives a playback signal for reproducing the talk data from the shorthand input unit 241 in step S417 while storing the talk data, the shorthand controller 220 proceeds to step S418. On the contrary, if the playback signal is not received in step S417, the shorthand controller 220 proceeds to step S420 and determines whether the storage of the speech data is completed. When the storage of the remark data is completed, the shorthand controller 220 ends the shorthand mode. If the storage is not completed, the shorthand controller 220 returns to step S417.

이어서, S418단계에서 속기제어부(220)는 속기입력부(241)에서 수신된 재생신호에 따라 발언저장부(231)에 저장된 발언데이터를 출력한다. 이때, 속기제어부(220)는 저장된 발언데이터를 출력하고, 저장 중이던 발언데이터의 저장을 계속 진행한다. 아울러, 저장된 발언데이터에는 제1 발언데이터와 제2 발언데이터가 있으므로, 속기입력부(241)에 의해 선택된 발언데이터의 출력을 수행한다. 도시되지 는 않았으나, 출력 중인 발언데이터에 대하여 속기입력부(241)에서 일시정지, 빨리감기, 뒤로감기 및 출력 중인 발언데이터의 출력속도를 조절하기 위한 신호가 입력되면, 속기제어부(220)는 입력되는 신호에 대응하도록 발언데이터의 출력을 제어한다. In operation S418, the shorthand controller 220 outputs the speech data stored in the speech storage 231 according to the playback signal received from the shorthand input unit 241. At this time, the shorthand controller 220 outputs the stored speech data and continues to store the stored speech data. In addition, since the stored speech data includes the first speech data and the second speech data, the speech data selected by the shorthand input unit 241 is output. Although not shown, when a signal for adjusting the output speed of the pause data being paused, fast-forwarded, rewinded, and outputted by the shorthand input unit 241 is input, the shorthand controller 220 is inputted. The output of the speech data is controlled to correspond to the signal.

이어서, S419단계에서 속기제어부(220)는 S418단계에서 출력되는 발언데이터에 대한 속기를 수행하고, S420단계에서 속기의 수행이 완료됨을 판단하여 S417단계로 회귀하거나, S314단계로 진행한다.Subsequently, in step S419, the shorthand controller 220 performs the shorthand on the speech data output in step S418, determines that the shorthand is completed in step S420, and returns to step S417, or proceeds to step S314.

반대로, S403단계에서 제1 발언시스템(110)이 선택되면 S404단계에서 속기제어부(220)는 제1 발언시스템(110)에서 전송되는 제1 음성데이터를 활성화하여 S405단계로 진행한다.On the contrary, if the first speech system 110 is selected in step S403, the shorthand controller 220 activates the first voice data transmitted from the first speech system 110 in step S404 and proceeds to step S405.

S405단계에서 속기제어부(220)는 활성화된 제1 음성데이터에 해당하는 제1 발언시스템(110)이 아닌 제2 발언시스템(111)에서 수신되는 제2 음성데이터와 제2 영상데이터를 녹음 및 녹화하여 발언저장부(231)로 제공한다. 이어서, S406단계에서 속기제어부(220)는 제1 음성데이터의 속기를 수행한다. In operation S405, the shorthand controller 220 records and records the second voice data and the second image data received from the second speech system 111 rather than the first speech system 110 corresponding to the activated first voice data. By providing a remark storage unit 231. In operation S406, the shorthand controller 220 performs the shorthand of the first voice data.

이어서, S407단계에서 속기제어부(220)는 발언데이터의 활성화시간이 할당된 상태인지 판단하여 활성화시간이 할당된 상태이면 S408단계로 진행하고, 할당된 상태가 아니면 S413단계로 진행한다. Subsequently, in step S407, the shorthand controller 220 determines whether the activation time of the speech data is allocated and proceeds to step S408 if the activation time is allocated, and proceeds to step S413 if the activation time is allocated.

S408단계에서 속기제어부(220)는 S402단계에서 활성화된 제1 음성데이터가 할당된 활성화시간을 경과하였는지 판단하여 활성화시간이 경과되면 S409단계로 진행하고, 활성화시간이 경과되지 않으면 경과될 때까지 제1 음성데이터의 속기를 수 행한다. In step S408, the shorthand controller 220 determines whether the first voice data activated in step S402 has passed the allotted activation time and proceeds to step S409 when the activation time has elapsed. 1 Shorten the voice data.

제1 음성데이터화 활성화되어 있는 시간이 설정된 활성화시간을 경과하면 S409단계에서 속기제어부(220)는 S406단계에서 속기를 수행중인 제1 음성데이터의 속기를 중지하고 제1 발언데이터를 발언저장부(231)에 저장한다. 이어서, 속기제어부(220)는 S410단계로 진행하여, S405단계에서 저장된 제2 발언데이터를 활성화한다. 이때, 속기제어부(220)는 저장된 제2 영상데이터와 제2 음성데이터를 동기화하여 제2 영상데이터를 참조번호 502에 출력하고, 제2 음성데이터를 속기스피커(243)로 출력한다. If the first voice data activation time has passed the set activation time, in step S409 the shorthand controller 220 stops shorthand of the first voice data being shorthand in step S406 and stores the first remark data in the remark storage unit 231. ). Subsequently, the shorthand controller 220 proceeds to step S410 to activate the second speech data stored in step S405. At this time, the shorthand controller 220 outputs the second video data to the reference number 502 by synchronizing the stored second video data and the second audio data, and outputs the second audio data to the shorthand speaker 243.

이어서, S411단계에서 속기제어부(220)는 제2 음성데이터에 대한 속기를 수행하고, S412단계에서 속기제어부(220)는 S408단계와 같이 제2 음성데이터에 대한 활성화시간이 할당된 활성화시간을 경과했는지 판단한다. 판단결과, 할당된 활성화시간을 경과하면 속기제어부(220)는 S314단계로 진행한다. Subsequently, in step S411, the shorthand controller 220 performs a shorthand on the second voice data, and in step S412, the shorthand controller 220 passes an activation time to which an activation time for the second voice data is allocated, as in step S408. Determine if you did. As a result of the determination, if the assigned activation time elapses, the shorthand controller 220 proceeds to step S314.

반대로, S407단계에서 발언데이터의 활성화시간이 할당된 상태가 아니면 S413단계에서 속기제어부(220)는 수신 중인 제1 음성데이터의 수신종료여부를 판단한다. S413단계에서 수신 중인 제1 음성데이터의 수신이 종료됨을 감지하면, 속기제어부(220)는 S414단계로 진행하여 S405단계에서 저장한 제2 발언데이터를 속기표시부(242)와 속기스피커(243)로 출력한다. 제2 발언데이터 출력 시 속기제어부(220)는 발언저장부(231)에 저장된 제2 음성데이터와 제2 영상데이터를 동기화하여 출력한다. 이어서, S415단계에서 속기제어부(220)는 재생되는 제2 발언데이터에 대한 속기를 수행한다. 이후, 속기제어부(220)는 S314단계로 진행한다.On the contrary, if the activation time of the speech data is not allocated in step S407, the shorthand controller 220 determines whether reception of the first voice data being received is terminated in step S413. If it is detected in step S413 that the reception of the first voice data being received, the shorthand controller 220 proceeds to step S414 and transfers the second speech data stored in step S405 to the shorthand display unit 242 and the shorthand speaker 243. Output When outputting the second speech data, the shorthand controller 220 outputs the second voice data stored in the speech storage 231 in synchronization with the second image data. In operation S415, the shorthand controller 220 performs a shorthand on the second speech data to be reproduced. Thereafter, the shorthand controller 220 proceeds to step S314.

상기에서는 속기표시부(242)를 분할하여 분할된 각 영역에 적어도 두 개의 영상데이터를 표시하는 것으로 설명되어 있으나, 속기표시부(242)를 분할하지 않고 우선순위 및 활성화시간에 따라 제1 발언시스템(110) 및 제2 발언시스템(111)에 해당하는 각각의 영상데이터를 속기표시부(242)에 교대로 표시할 수 있다. 즉, 제1 음성데이터가 활성화되면 참조번호 505에 제1 영상데이터를 표시하고, 제2 음성데이터가 활성화되면 참조번호 505에 제2 영상데이터를 표시할 수 있다. In the above description, although the shorthand display unit 242 is divided to display at least two image data in each divided region, the first speech system 110 is divided according to the priority and activation time without splitting the shorthand display unit 242. ) And the respective image data corresponding to the second speech system 111 may be alternately displayed on the shorthand display unit 242. That is, when the first audio data is activated, the first image data may be displayed at 505, and when the second audio data is activated, the second image data may be displayed at 505.

상기에서와 같이 본 발명은 적어도 두 개의 발언시스템과 속기시스템으로 구성되는 것을 특징으로 하지만, 적어도 두 개의 발언시스템, 서버시스템 및 속기시스템을 포함할 수 있다. 이때, 서버시스템은 인터넷을 통해 발언시스템과 속기시스템을 연계하는 매체가 되고, 속기시스템에서 할당되는 우선순위 및 활성화시간에 따라 발언시스템에서 획득되는 발언데이터를 순차적으로 속기시스템으로 전송할 수 있다. 즉, 서버시스템은 제1 발언시스템과 제2 발언시스템에서 전송되는 각각의 발언데이터를 저장하고 속기시스템에서 할당된 발언시스템의 우선순위 및 발언데이터의 활성화시간에 따라 저장된 각각의 발언데이터를 순차적으로 속기시스템에 전송할 수 있다. As described above, the present invention is characterized by being composed of at least two speech systems and a shorthand system, but may include at least two speech systems, a server system, and a shorthand system. In this case, the server system may be a medium for connecting the speech system and the shorthand system through the Internet, and may sequentially transmit the speech data obtained from the speech system to the shorthand system according to priority and activation time allocated from the shorthand system. That is, the server system stores respective speech data transmitted from the first speech system and the second speech system, and sequentially stores the respective speech data stored according to the priority of the speech system assigned by the shorthand system and the activation time of the speech data. Can be sent to shorthand system.

도 7은 본 발명의 다른 실시예에 따른 다자간 화상회의 속기 통합시스템을 나타낸 개략도이다. 도 8은 도 7에 도시된 수정시스템의 주요 구성을 나타낸 블록도이다. 도 7에서와 같이 다자간 화상회의 속기 통합시스템(10)을 구성하는 구성요소 중에서 발언시스템(100), 인터넷망(150) 및 속기시스템(200)에 대해서는 도 1 내지 도 3의 설명에 기재되어 있으므로 상세한 설명을 생략한다. 7 is a schematic diagram showing a multi-party video conferencing shorthand integration system according to another embodiment of the present invention. 8 is a block diagram showing a main configuration of the modification system shown in FIG. Since the speech system 100, the internet network 150, and the shorthand system 200 of the components constituting the multi-party video conference shorthand integrated system 10 as shown in FIG. 7 are described in the description of FIGS. Detailed description will be omitted.

도 2, 도 3, 도 7 및 도 8을 참조하면, 수정시스템(250)은 송수신부(260), 수정제어부(270), 수정저장부(280), 수정입출력부(290)를 포함한다. 수정제어부(270)는 변환모듈(271), 분할모듈(272), 할당모듈(273), 녹화모듈(274)을 포함하고, 수정저장부(280)는 발언저장부(281)와 변환어구DB(282)를 포함한다. 이때, 수정시스템(250)은 검수자에게 할당되는 시스템을 의미한다. 2, 3, 7 and 8, the correction system 250 includes a transceiver 260, a correction controller 270, a correction storage unit 280, and a correction input / output unit 290. The correction control unit 270 includes a conversion module 271, a division module 272, an allocation module 273, and a recording module 274. The correction storage unit 280 includes a speech storage unit 281 and a conversion phrase DB. (282). In this case, the modification system 250 refers to a system assigned to the inspector.

송수신부(260)는 수정제어부(270)의 제어에 의해 속기시스템(200)이 발언시스템(100)으로부터 수신하는 영상데이터 및 음성데이터와 동일한 영상데이터 및 음성데이터를 수신한다. 또한, 송수신부(260)는 수정제어부(270)의 제어에 의해 속기시스템(200)에서 수행되는 속기록을 수신한다.The transceiver 260 receives the same video data and audio data as the video data and audio data that the shorthand system 200 receives from the speech system 100 under the control of the correction controller 270. In addition, the transceiver 260 receives the fast recording performed by the shorthand system 200 under the control of the correction controller 270.

수정제어부(270)는 수정시스템(250)의 각 블록을 제어한다. 속기제어부(220)는 송수신부(260)를 통해서 수신되는 발언데이터를 수정표시부(292) 및 수정스피커(293)로 출력하고, 수정입력부(291)로부터 입력되는 속기문자를 변환어구로 변환하여 이를 수정표시부(292)에 표시하고, 속기시스템(200)으로 전송한다. 보다 구체적으로 수정제어부(270)는 송수신부(260)를 통해 속기시스템(200)으로부터 수신된 속기록을 수정표시부(292)에 표시한다. 그리고 수정입력부(291)를 통해 수정표시부(292)에 표시된 속기록이 수정되면, 수정된 속기록을 수정저장부(280)에 저장하고, 속기시스템(200)의 속기표시부(242)에 표시하도록 수정된 속기록을 속기시스템(200)으로 전송한다. The correction controller 270 controls each block of the correction system 250. The shorthand control unit 220 outputs the speech data received through the transceiver unit 260 to the correction display unit 292 and the correction speaker 293, and converts the shorthand characters inputted from the correction input unit 291 into conversion phrases. Displayed on the correction display unit 292, and transmits to the shorthand system (200). More specifically, the correction controller 270 displays the fast recording received from the shorthand system 200 through the transceiver 260 on the correction display unit 292. When the speed record displayed on the correction display unit 292 is modified through the correction input unit 291, the modified speed record is stored in the correction storage unit 280 and modified to be displayed on the shorthand display unit 242 of the shorthand system 200. The short record is transmitted to the shorthand system 200.

아울러, 수정제어부(270)에 포함된 변환모듈(271), 분할모듈(272), 할당모듈(273), 녹화모듈(274)은 속기시스템(200)의 변환모듈(221), 분할모듈(222), 할당 모듈(223), 녹화모듈(224)과 동일한 기능을 수행하므로 상세한 설명을 생략하고, 수정시스템(250)과 속기시스템(200)의 충돌을 방지하기 위해 속기시스템(200)에 우선순위를 부여하는 것이 바람직하다. In addition, the conversion module 271, the division module 272, the allocation module 273, and the recording module 274 included in the correction control unit 270 are the conversion module 221 and the division module 222 of the shorthand system 200. Since the same function as the allocation module 223 and the recording module 224 is omitted, the detailed description is omitted, and priority is given to the shorthand system 200 in order to prevent a collision between the modification system 250 and the shorthand system 200. It is preferable to give.

또한, 수정시스템(250)의 수정저장부(280), 수정입출력부(290)는 속기시스템(200)의 속기저장부(230), 속기입출력부(240)와 동일한 기능을 수행하므로 상세한 설명을 생략한다. In addition, since the correction storage unit 280 and the correction input and output unit 290 of the correction system 250 performs the same functions as the shorthand storage unit 230 and the shorthand input and output unit 240 of the shorthand system 200 will be described in detail. Omit.

도 9는 본 발명의 다른 실시예에 따른 속기시스템에서 수행된 속기록의 수정과정을 나타낸 흐름도이다. 도 10a 및 도 10b는 본 발명의 다른 실시예에 따른 다자간 화상회의를 속기 중인 속기시스템의 화면을 나타낸 화면예시도이다. 9 is a flowchart illustrating a process of correcting a fast recording performed in the shorthand system according to another embodiment of the present invention. 10A and 10B are exemplary screen diagrams illustrating screens of a shorthand system for shorthanding multi-party video conferencing according to another embodiment of the present invention.

도 7 내지 도 10b를 참조하면, S901단계에서 수정제어부(270)는 수정입력부(291)의 입력에 따라 속기시스템(200)에서 작성하고 있는 속기록을 수정하기 위한 수정모드로 진입한다. S902단계에서 수정제어부(270)는 송수신부(260)를 제어하여 속기시스템(200)에서 속기록을 작성하기 위해 발언시스템(100)으로부터 수신하는 발언데이터와 동일한 발언데이터를 수신한다. 7 to 10B, in operation S901, the correction control unit 270 enters a modification mode for correcting the fast writing created by the shorthand system 200 according to the input of the correction input unit 291. In operation S902, the correction controller 270 receives the same speech data as the speech data received from the speech system 100 in order to control the transceiver 260 to write a short recording in the shorthand system 200.

이어서, S903단계에서 수정제어부(270)는 송수신부(260)를 제어하여 속기시스템(200)에서 작성 중인 속기록을 수신한다. 수정제어부(270)는 송수신부(260)를 통해 속기시스템(200)으로부터 수신된 속기록을 수정표시부(292)에 표시한다. 이는 도 10a와 같이 표시될 수 있다. 즉, 수정시스템(250)이 속기시스템(200)에서 작성되는 속기록 수정을 요청하면 속기시스템(200)의 속기표시부(242)와 수정시스템(250)의 수정표시부(292)에 도 10a와 같은 화면이 동일하게 표시된다. 도 10a에 서 701은 속기시스템(200)에서 입력되는 속기록을 입력하기 위한 커서(cursor)를 나타내고, 702는 속기시스템(200)에서 입력된 속기록을 수정시스템(250)에서 수정하기 위한 커서를 나타낸다.Subsequently, in step S903, the correction control unit 270 controls the transceiver unit 260 to receive the fast recording being written in the shorthand system 200. The correction controller 270 displays the fast recording received from the shorthand system 200 through the transceiver 260 on the correction display unit 292. This may be displayed as shown in FIG. 10A. That is, when the correction system 250 requests the correction of the shorthand written in the shorthand system 200, the screen shown in FIG. 10A is displayed on the shorthand display unit 242 of the shorthand system 200 and the corrected display unit 292 of the corrective system 250. Is displayed the same. In FIG. 10A, reference numeral 701 denotes a cursor for inputting a fast recording input from the shorthand system 200, and 702 denotes a cursor for correcting the fast recording input in the shorthand system 200 in the correction system 250. .

이후, S904단계에서 수정제어부(270)는 수정입력부(291)의 입력에 의해 S903단계에서 수신된 속기록을 수정하고, S905단계에서 수정제어부(270)는 송수신부(260)를 제어하여 수정된 속기록을 속기시스템(200)으로 전송한다. 보다 구체적으로, 이는 도 10b와 같이 표시될 수 있다. 즉, 수정시스템(250)이 속기시스템(200)에서 작성된 속기록을 수정하면 속기록에서 수정된 부분이 703과 같이 표시된다. 이 역시 도 10a와 마찬가지로 수정시스템(250)의 수정표시부(292)와 속기시스템(200)의 속기표시부(242)에 동일하게 표시된다. After that, in step S904, the correction control unit 270 modifies the fast recording received in step S903 by the input of the correction input unit 291, and in step S905, the correction control unit 270 controls the transmission / reception unit 260 to modify the fast recording. To the shorthand system 200. More specifically, this may be displayed as shown in FIG. 10B. That is, when the correction system 250 modifies the fast writing created by the shorthand writing system 200, the modified portion of the fast writing is displayed as 703. This is also displayed on the correction display unit 292 of the correction system 250 and the shorthand display unit 242 of the shorthand system 200 as in FIG. 10A.

이어서, S906단계에서 수정제어부(270)는 화상회의가 종료됨을 감지하면 속기록의 속기모드를 종료하고, 화상회의가 종료되지 않음을 감지하면 S904단계로 진행하여 속기록의 수정을 지속적으로 수행한다. Subsequently, in step S906, the correction control unit 270 terminates the shorthand mode of quick recording when it detects that the video conference is finished, and proceeds to step S904 to continuously correct the fast recording when the video conference is not finished.

지금까지 실시예를 통하여 본 발명에 따른 다자간 화상회의 속기 통합시스템 및 방법에 대하여 설명하였다. 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.So far, the system and method for integrating a multi-party video conferencing shorthand according to the present invention have been described. In the present specification and drawings, preferred embodiments of the present invention have been disclosed, and although specific terms have been used, these are merely used in a general sense to easily explain the technical contents of the present invention and to help the understanding of the present invention. It is not intended to limit the scope. It is to be understood by those skilled in the art that other modifications based on the technical idea of the present invention are possible in addition to the embodiments disclosed herein.

도 1은 본 발명의 일 실시예에 따른 다자간 화상회의 속기 통합시스템을 나타낸 개략도1 is a schematic diagram showing a multi-party video conference shorthand integration system according to an embodiment of the present invention

도 2는 도 1에 도시된 발언시스템의 주요 구성을 나타낸 블록도Figure 2 is a block diagram showing the main configuration of the speech system shown in FIG.

도 3은 도 1에 도시된 속기시스템의 주요 구성을 나타낸 블록도3 is a block diagram showing the main configuration of the shorthand system shown in FIG.

도 4는 본 발명의 일 실시예에 따른 속기시스템에서 다자간 화상회의 속기 수행과정을 나타낸 흐름도4 is a flowchart illustrating a process of performing a short-term video conference in a shorthand system according to an exemplary embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 속기시스템에서 적어도 두 개의 발언시스템으로부터 전송되는 발언데이터의 속기 수행과정을 상세히 나타낸 상세흐름도FIG. 5 is a detailed flowchart illustrating a shorthand process of speech data transmitted from at least two speech systems in a shorthand system according to an exemplary embodiment of the present invention. FIG.

도 6a 및 도 6b는 본 발명의 일 실시예에 따른 다자간 화상회의를 속기 중인 속기시스템의 화면을 나타낸 화면예시도6A and 6B illustrate screen examples of a screen of a shorthand system that is shorthand for multi-party video conferencing according to an embodiment of the present invention.

도 7은 본 발명의 다른 실시예에 따른 다자간 화상회의 속기 통합시스템을 나타낸 개략도7 is a schematic diagram showing a multi-party video conferencing shorthand integration system according to another embodiment of the present invention.

도 8은 도 7에 도시된 수정시스템의 주요 구성을 나타낸 블록도8 is a block diagram showing the main configuration of the modification system shown in FIG.

도 9는 본 발명의 다른 실시예에 따른 속기시스템에서 수행된 속기록의 수정과정을 나타낸 흐름도9 is a flowchart illustrating a process of correcting a fast recording performed in the shorthand system according to another embodiment of the present invention.

도 10a 및 도 10b는 본 발명의 다른 실시예에 따른 다자간 화상회의를 속기 중인 속기시스템의 화면을 나타낸 화면예시도10A and 10B illustrate screen examples of a screen of a shorthand system in which a multi-party video conference is shorthanded according to another exemplary embodiment of the present invention.

Claims

At least two speech systems having speech rights and presenting at different positions and acquiring speech data in real time;

Receive speech data obtained from the speech system in real time through the web to shorten the voice data among the speech data in order of the received speech data, and receive speech data from the at least two speech systems simultaneously. A shorthand system for assigning speech opportunities to data to shorten speech data corresponding to the assigned speech opportunities;

Multi-party video conferencing shorthand integrated system comprising a.

The method of claim 1,

The shorthand system

Transmitting and receiving unit for receiving the speech data transmitted from the speech system in real time via the web;

A shorthand input / output unit including a shorthand input unit for inputting a shorthand character corresponding to voice data among the received voice data, a shorthand display unit for displaying image data among the received voice data, and a shorthand speaker for outputting voice data;

A shorthand storage unit including a utterance storage unit for storing the received speech data and a conversion phrase database in which a conversion phrase corresponding to the shorthand character is stored;

If the received speech data is at least two speech data received at the same time, the speech opportunity is assigned to each speech data according to a predetermined priority and the activation time is assigned to each speech system, or the speech opportunity is selected from one speech system selected by the shorthand input unit. And an assignment module for allocating a number and a conversion module for converting shorthand characters inputted from the shorthand input unit into the conversion phrase, and controlling the shorthand input / output unit to display at least two image data transmitted from the at least two speech systems. Shorthand control unit;

Multi-party video conferencing shorthand integrated system comprising a.

The method of claim 2,

The shorthand control unit

A division module for dividing a screen of the shorthand display unit to display at least two image data transmitted from the at least two speech systems;

Multi-party video conferencing shorthand integrated system further comprising a.

The method of claim 3,

The shorthand control unit

A recording module for recording and recording the speech data and providing the speech data to the speech storage unit when speech data is received in excess of an activation time allocated by the allocation module or when speech data is received in a speech system to which speech opportunities are not assigned;

The method of claim 2,

The shorthand control unit

And a short-term video conferencing integrated system for controlling the playback speed of the speech data during playback, pause, fast forward, reverse, and playback of the speech data stored in the speech storage.

The method of claim 1,

A correction system for receiving the same speech data identical to the speech data received by the shorthand system through the web, correcting the shorthand written in the shorthand system and then transmitting the shorthand recording to the shorthand system;

The method of claim 1,

The speech system

A camera for recording the image data;

A microphone for recording the voice data;

A transmission unit transmitting image data recorded by the camera and audio data recorded by the microphone to the shorthand system through a web;

A shorthand controller that controls the camera, the microphone, and the transmitter;

Multi-party video conferencing shorthand integrated system comprising a.

Transmitting and receiving unit for receiving in real time via the web the speech data transmitted from at least two speech systems present in different locations;

A shorthand input / output unit including a shorthand input unit for inputting a shorthand character corresponding to voice data among the received speech data, a shorthand display unit for displaying image data transmitted from the speech system, and a shorthand speaker for outputting voice data;

A shorthand storage unit including a utterance storage unit for storing the utterance data transmitted from the utterance system and a conversion phrase DB in which a conversion phrase corresponding to the shorthand character is stored;

A splitting module for dividing the screen of the shorthand display to display the at least two speakers, a conversion module for converting shorthand characters inputted from the shorthand inputting unit into the conversion phrase, and simultaneously speaking data from the at least two speech systems A shorthand control unit including an allocation module for allocating a speaking opportunity to each speech system when transmitted;

Multi-party video conference shorthand system comprising a.

The method of claim 8,

The allocation module

When speech data is simultaneously received from the at least two speech systems, one is assigned a speech opportunity according to a priority set in each speech system and an activation time for speech for each speech system is selected, or one selected by input of the shorthand input unit. Multi-party video conferencing shorthand system, characterized in that it assigns a speech opportunity to the speech system.

10. The method of claim 9,

The shorthand control unit

A recording module for recording and recording the speech data to the speech storage unit when speech data is received in excess of an activation time allocated by the assignment module or when speech data is received in a speech system that is not given a speech opportunity;

Multi-party video conference shorthand system, characterized in that it further comprises.

10. The method of claim 9,

The shorthand control unit

And a playback speed control system for reproducing, pausing, fast-forwarding, rewinding, and reproducing speech data stored in the speech storage unit.

The method of claim 8,

The shorthand control unit

If the shorthand correction is requested from the modification system, the transmission module controls the transceiver to transmit the converted phrase to the correction system, and if the modified shorthand is received from the correction system, the shorthand display to display the modified shorthand. Multi-party video conferencing shorthand system, characterized in that for controlling the wealth.

The shorthand system enters the shorthand mode and receives, in real time, video data and audio data, each of the speech data, from the at least two speech systems in different positions and at different positions, and receives the received at least two video data. Displaying;

The shorthand system performs shorthand of speech data in the order received through the web, and when speech data is simultaneously received from the at least two speech systems, speech opportunity is allocated to each speech system to correspond to the speech opportunity assigned thereto. Performing shorthand of remark data;

Multi-party video conferencing shorthand method comprising a.

The method of claim 13,

The shortening of the remark data is performed

The shorthand system determines whether priority is set for each speech system when the speech data is simultaneously received from the at least two speech systems, and if the priority is set, the shorthand system receives the first speech received from the speech system corresponding to the first priority. Activating the first speech data and performing shorthand on the activated first speech data;

Recording and recording the second speech data when the second speech data having a lower priority is received when the first speech data is received;

The shorthand system determines whether to allocate an activation time for the speech system, and when the activation time has elapsed, records and records the first speech data in shorthand, activates second speech data having a lower priority, and activates the second speech data that is activated. Performing shorthand on;

Multi-party video conferencing shorthand method further comprising a.

The method of claim 14,

If the activation time is not assigned, the shorthand system activates the second speech data after the reception of the first speech data being received and performs the shorthand on the second speech data;

Multi-party video conferencing shorthand method further comprising a.

The method of claim 14,

Determining, by the shorthand system, whether the priority is selected for any one of the displayed at least two speech systems if the priority is not set;

As a result of the determination, when the first speech system is selected, the shorthand system activates the first speech data received by the selected first speech system, and the shorthand is performed on the first speech data, and when the shorthand speech is performed, the second speech system is performed. Recording and recording the second speech data when the second speech data is received from the second speech data;

As a result of the determination, when the second speech system is selected, the shorthand system activates the second speech data received by the selected second speech system and shorthand is performed on the second speech data. Recording and recording the first speech data when the first speech data is received from the apparatus;

Determining, by the shorthand system, whether an activation time is allocated to the first and second speech systems;

Multi-party video conferencing shorthand method further comprising a.

The method of claim 16,

Recording and recording at least two pieces of speech data received if one of the at least two speech systems is not selected;

The shorthand system may include: reproducing the speech data and performing the shorthand for the speech data when receiving the playback signal for the recorded and recorded speech data;

Multi-party video conferencing shorthand method further comprising a.

The method of claim 13,

The shorthand system transmits the shorthand being performed to the correction system in real time when a shorthand correction is requested to the correction system;

The shorthand system receiving the modified shorthand from the correcting system and displaying a shorthand being performed and the corrected shorthand;

Multi-party video conferencing shorthand method further comprising a.