[go: up one dir, main page]

KR100839623B1 - Electronic Information Providing System and Control Method for Word, Symbol and Image of Physical Document - Google Patents

Electronic Information Providing System and Control Method for Word, Symbol and Image of Physical Document Download PDF

Info

Publication number
KR100839623B1
KR100839623B1 KR1020070103137A KR20070103137A KR100839623B1 KR 100839623 B1 KR100839623 B1 KR 100839623B1 KR 1020070103137 A KR1020070103137 A KR 1020070103137A KR 20070103137 A KR20070103137 A KR 20070103137A KR 100839623 B1 KR100839623 B1 KR 100839623B1
Authority
KR
South Korea
Prior art keywords
information
image data
target image
document
electronic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020070103137A
Other languages
Korean (ko)
Inventor
안종길
오충석
Original Assignee
유니챌(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 유니챌(주) filed Critical 유니챌(주)
Priority to KR1020070103137A priority Critical patent/KR100839623B1/en
Application granted granted Critical
Publication of KR100839623B1 publication Critical patent/KR100839623B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00095Systems or arrangements for the transmission of the picture signal
    • H04N1/00114Systems or arrangements for the transmission of the picture signal with transmission of additional information signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00281Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
    • H04N1/00312Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a digital transmission apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, SMS or ISDN device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/387Composing, repositioning or otherwise geometrically modifying originals
    • H04N1/3876Recombination of partial images to recreate the original image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

A system and a method for controlling digital information about words, symbols, and images in a physical document are provided to output hypertext type digital information by photographing the physical document with an imaging device, and searching the stored digital information or obtaining/accessing a stored URL(Uniform Resource Locator) based on the image data. An input device includes a main unit, a reference line lighting system, a reference bar, an imaging device, and a transmitter. An information device(200) includes a receiver(210) receiving document information and image data from the transmitter, a database(220), an image recognizer(230), an information searcher(240) searching the digital information corresponding to ID data generated from the image recognizer, a display unit(250), and a controller(260). The database stores hyperlink tables including e-document images, image data, digital information, corresponding addresses, and URLs of web pages representing the digital information for the image data. The image recognizer extracts the digital information corresponding to the image data when the image data is stored in the database, and generates the ID data by recognizing characters included in the image data when the image data is not stored in the database.

Description

물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템 및 그 제어방법 { Digital Information Offering System about Word, Symbol, Image of Physical Document and Method for Control Thereof } Digital Information Offering System about Word, Symbol, Image of Physical Document and Method for Control Thereof}

본 발명은 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템 및 그 제어방법에 관한 것으로서, 더욱 상세하게는 물리문서상에서 사용자가 숙지하지 못하여 추가적인 정보를 얻고자하는 단어, 심볼 및 이미지 등의 대상이미지를 입력장치로 촬영하여 대상이미지 데이터를 생성하고, 생성한 대상이미지 데이터를 이용하여 자체적으로 기 저장하고 있는 전자정보를 검색하거나 기 저장하고 있던 인터넷상의 링크주소를 획득하여 접속함으로써 전자정보를 제공한다. The present invention relates to an electronic information providing system for a word, a symbol and an image of a physical document and a control method thereof, and more particularly, to a word, a symbol and an image for obtaining additional information without the user's knowledge on the physical document. Create the target image data by shooting the target image with the input device, and use the generated target image data to search the electronic information stored in advance or obtain and access the link address on the Internet. to provide.

또한, 전자사전과 웹검색기를 이용하여 전자정보를 검색함으로써 건너뛰어 각주를 읽거나 또는 다른 문서를 참조하기위하여 읽기를 멈추지 않고 다양한 형태의 전자정보를 빠르고 쉽게 검색할 수 있도록 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템 및 그 제어방법에 관한 것이다. In addition, by searching electronic information using electronic dictionaries and web searchers, you can skip and read footnotes or refer to other documents by using words in physical documents that allow you to quickly and easily search for various forms of electronic information without stopping reading. An electronic information providing system for a symbol and an image, and a control method thereof.

아울러, 본 발명은 기준선 조명계와 기준바를 이용하여 추가적인 정보를 얻고자 하는 물리문서상의 대상이미지를 명확하게 표시한 대상이미지 데이터를 정보 기기에 입력하고, 상기 대상이미지를 촬영함에 있어서 촬영초점을 항상 일정하게 유지하는 촬영기기에 의하여 상기 대상이미지를 재촬영하는 경우에도 상기 대상이미지 데이터가 동일하게 생성되도록 하여 정보기기에 입력할 수 있기 때문에 정보기기에서 보다 정확하게 정보검색을 할 수 있다.In addition, the present invention inputs the target image data that clearly displays the target image on the physical document to obtain additional information by using a reference line illumination system and the reference bar to the information device, the shooting focus is always constant in taking the target image Even when the target image is re-photographed by the photographing apparatus, the target image data can be generated in the same manner so that the target image data can be input to the information apparatus.

일반적으로 물리문서는 단어, 심볼 및 이미지 등의 대상이미지가 기록된 오프 라인(off-line)상의 책, 신문 및 기타 모든 인쇄물을 의미한다. 종래에는 상기 물리문서로 된 인쇄물의 읽기 도중에 사용자가 숙지하지 못하여 추가적인 정보를 얻고자하는 경우에, 읽기도중 건너뛰어 각주를 읽거나 또는 다른 문서를 참조하기 위하여 읽기를 멈추어야만 했다.In general, a physics document means an off-line book, newspaper, and all other printed materials in which a target image such as words, symbols, and images is recorded. Conventionally, when a user does not know while reading a physical document, and the user wants to obtain additional information, the user has to skip reading and stop reading to read a footnote or refer to another document.

개인용 정보기기와 인터넷의 발전으로 하이퍼텍스트 형태의 전자문서를 구성함으로써 이러한 불편함 없이 문서를 읽을 수 있게 되었다. 하이퍼텍스트는 처음부터 끝까지 읽어가지 않으면 의미를 알 수 없는 책과는 달리 어떤 정보를 보고자 할 때 그것에 관련된 정보를 즉시 참조 할 수 있는 비선형의 문서를 말한다. 예를 들면 책을 읽을 때 “세종대왕”라는 인물이 나오고 그 인물에 대해 자세히 알고 싶은 경우 끝까지 계속해서 읽어가거나 색인을 보아서 관련된 정보를 찾아야만 한다. 그러나 문서가 하이퍼텍스트의 방법으로 만들어져 있다면 세종대왕이라는 단어는 약력, 업적, 한글창제 등의 관련정보와 연결되어 있으므로 링크를 찾아감으로서 세종대왕에 관한 자세한 정보를 간단하게 즉시 얻을 수 있다. 그러나 위와 같이 효율 적인 읽기를 가능하게 하는 상기 하이퍼텍스트는 컴퓨터상의 전자문서에서만 활용 가능하였다. The development of personal information devices and the Internet has made it possible to read documents without this inconvenience by constructing hypertext-type electronic documents. Hypertext is a non-linear document that, when read from beginning to end, does not know its meaning, and when you want to see something, you can immediately refer to the information related to it. For example, when you read a book, a person named “Sejong the Great” comes up and you want to know more about that person. You have to read through the index or look up the index to find related information. However, if the document is made in the way of hypertext, the word King Sejong is linked to related information such as biography, achievements, and Hangeul creation, so you can get detailed information about King Sejong simply and easily by searching the link. However, the hypertext, which enables efficient reading as described above, has been available only in electronic documents on a computer.

또한, 정보기기에 입력하는 방법에 있어서 종래에는 카메라나 스캐너 등의 입력기기로 이미지를 생성하여 정보기기에 입력하는 방법이 있었다. 그러나 상기 입력기기로 생성된 이미지는 입력기기의 촬영영역 또는 스캔영역 전체에 포함되는 다수의 단어, 이미지 및 심볼 등으로 인하여 특정 단어, 이미지 및 심볼을 주변의 이미지와 명확히 구분하여 입력하기에는 한계가 있었다. 게다가, 이미지를 생성하여 정보기기에 입력하는 종래기술은 동일한 대상이미지를 재촬영하는 경우에도, 입력장치를 조작하는 사용자에 따라서 또는 촬영 환경에 따라서 변하는 촬영배율 및 촬영초점에 의하여 동일한 결과물이 생성되기가 어려웠다. In addition, in the method of inputting to an information device, there has been a conventional method of generating an image with an input device such as a camera or a scanner and inputting it to the information device. However, the image generated by the input device has a limitation in clearly inputting a specific word, image, and symbol from the surrounding image due to the plurality of words, images, and symbols included in the photographing area or the scan area of the input device. . In addition, the prior art of generating an image and inputting the same to an information device is that even when re-shooting the same target image, the same result is generated by the shooting magnification and the focusing point that change according to the user operating the input device or the shooting environment. Was difficult.

따라서 상기한 문제점을 해결하기 위해서 보다 현실적이고 활용도가 높은 해결방안이 절실히 요구되는 실정이다. Therefore, in order to solve the above problems, a more realistic and highly available solution is urgently needed.

따라서, 본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로서, 본 발명은 하이퍼텍스트로 구성된 전자문서의 편리함을 물리문서에 적용하여 물리문서상에서 사용자가 숙지하지 못하여 추가적인 정보를 얻고자하는 단어, 심볼 및 이미지 등의 대상이미지를 입력장치로 촬영하여 대상이미지 데이터를 생성하고, 생성한 대상이미지 데이터를 이용하여 자체적으로 기 저장하고 있는 전자정보를 검색하거나 기 저장하고 있던 인터넷상의 링크주소를 획득하여 접속함으로써 하이퍼텍스트 형태의 전자정보를 제공한다. Accordingly, the present invention has been made to solve the above problems, the present invention is to apply the convenience of an electronic document consisting of a hypertext to a physical document words, symbols and to obtain additional information that the user does not know on the physical document By taking a target image such as an image by using an input device to generate target image data, and by using the generated target image data, searching for electronic information stored in advance or obtaining and accessing a link address on the Internet previously stored. Provides electronic information in the form of hypertext.

또한, 상기 정보기기 내에 저장하고 있지 않은 상기 대상이미지 데이터에 대한 전자정보는 전자사전과 웹검색기를 이용하여 정보를 검색함으로써 인터넷상에서 하이퍼텍스트를 이용하여 즉각적으로 정보를 습득하는 것과 마찬가지로 읽기 도중에 건너뛰어 각주를 읽거나 또는 다른 문서를 참조하기 위하여 읽기를 멈추지 않고도 다양한 형태의 전자정보를 빠르고 쉽게 검색할 수 있도록 하는데 활용할 수 있는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템 및 그 제어방법을 제공하기 위한 것이다.In addition, the electronic information on the target image data not stored in the information device is skipped during reading, similarly to obtaining information using hypertext on the Internet by searching the information using an electronic dictionary and a web searcher. An electronic information providing system and control method for words, symbols and images in physical documents that can be used to quickly and easily search for various types of electronic information without stopping reading to read footnotes or refer to other documents. It is to provide.

아울러, 단어, 이미지 및 심볼이 기록된 물리문서에 기준선 조명계와 기준바를 이용하여 추가적인 정보를 얻고자 하는 대상이미지를 명확하게 표시한 대상이미지 데이터를 정보기기에 입력하고, 상기 대상이미지를 촬영함에 있어서 촬영초점을 항상 일정하게 유지하는 촬영기기에 의하여 상기 대상이미지를 재촬영하는 경우에도 상기 대상이미지 데이터가 동일하게 생성되도록 하여 정보기기에 입력할 수 있기 때문에 정보기기에서 보다 정확하게 정보검색을 할 수 있도록 하는 입력장치를 제공한다.In addition, in the physical document in which words, images, and symbols are recorded, the target image data is clearly inputted to the information device using the baseline illumination system and the reference bar. Even if the target image is re-photographed by a photographing device that maintains a constant focus at all times, the target image data can be generated in the same manner so that the target image data can be input to the information device so that the information device can be searched more accurately. It provides an input device.

상기 목적을 달성하기 위한 본 발명의 일실시예에 따른 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템은, 물리문서상에 기록된 단어, 이미지, 심볼의 대상이미지를 촬영하여 대상이미지 데이터를 생성하고 전송하는 입력장치 및 상기 입력장치로부터 상기 대상이미지 데이터를 수신하고, 상기 수신한 대상이미지 데이터를 기 저장된 단어, 이미지, 심볼의 이미지 데이터와 비교 검색하여 상기 대상이미지 데이터에 대응하는 전자정보를 검색 및 추출하여 표시하는 정보기기로 이루어지는 것을 특징으로 한다.In order to achieve the above object, an electronic information providing system for a word, a symbol, and an image of a physical document according to an embodiment of the present invention captures a target image of a word, an image, and a symbol recorded on the physical document. Receiving the target image data from the input device and the input device to generate and transmit, and compares the received target image data with the image data of the word, image, symbol stored in advance to obtain electronic information corresponding to the target image data Characterized in that it comprises an information device for searching, extracting and displaying.

본 발명의 다른 일실시예에 따른 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템은, 설치면과 평행하게 배치되는 상단부와, 상기 설치면과 수직방향으로 일측은 상기 상단부의 일측에 고정되어 연결되고 타측은 상기 설치면에 접하여 설치되는 하단부로 이루어지는 본체와, 상기 본체의 상단부에 고정 배치되어 물리문서에 기록된 단어, 이미지, 심볼의 대상이미지를 조명하는 기준선 조명계와; 상기 본체의 하단부 저면에 상기 설치면과 평행하게 고정 배치되어 상기 대상이미지를 표시하는 기준바와, 상기 본체의 상단부에 설치되어 상기 대상이미지를 촬영하여 대상이미지 데이터를 생성하는 촬영기기, 및 상기 촬영기기에서 생성한 대상이미지 데이터를 정보기기로 전송하는 전송부를 포함하는 입력장치와; 상기 입력장치로부터 상기 대상이미지 데이터를 수신하는 수신부와, 다수의 상기 이미지 데이터와 다수의 상기 전자정보 및 다수의 상기 전자정보의 주소가 저장된 DB 저장부와, 상기 대상이미지 데이터를 상기 DB 저장부에 저장된 다수의 상기 이미지 데이터와 비교 검색하여 상기 대상이미지 데이터에 대응하는 전자정보를 추출하고 이미지상의 문자를 판독·식별하여 문자로 전환하는 문자인식 기술에 의하여 상기 대상이미지 데이터를 인식하여 식별데이터를 생성하는 이미지 인식부와, 상기 식별데 이터에 대한 전자정보를 검색 및 추출하는 정보검색부와, 상기 이미지 인식부 및 정보검색부에서 추출된 상기 전자정보를 표시하는 표시부 및 상기 이미지 인식부의 요청에 의하여 상기 식별데이터에 대한 상기 전자정보를 검색 및 추출하도록 상기 정보검색부를 제어하고 상기 이미지 인식부와 상기 정보검색부가 검색 및 추출한 상기 전자정보를 표시하도록 상기 표시부를 제어하는 제어부를 포함하는 정보기기로 이루어지는 것을 특징으로 한다.Electronic information providing system for the words, symbols and images of the physical document according to another embodiment of the present invention, the upper end is disposed parallel to the installation surface, one side in the vertical direction and the installation surface is fixed to one side of the upper end A main line consisting of a main body consisting of a lower end connected to the installation surface and connected to the installation surface, and a base line illumination system fixedly disposed at an upper end of the main body to illuminate a target image of a word, an image, and a symbol recorded in a physical document; A reference bar fixedly disposed at a lower surface of the lower end of the main body in parallel with the installation surface to display the target image; a photographing device installed at an upper end of the main body to photograph the target image to generate target image data; and the photographing apparatus An input device including a transmission unit for transmitting the target image data generated by the controller to the information device; A receiving unit for receiving the target image data from the input device, a DB storage unit storing a plurality of the image data, a plurality of electronic information, and a plurality of addresses of the electronic information, and storing the target image data in the DB storage unit The identification data is generated by recognizing the target image data by a character recognition technique that compares and searches the stored image data with electronic data corresponding to the target image data, and reads and identifies the characters on the image and converts them into characters. An image recognizing unit, an information retrieval unit for retrieving and extracting electronic information on the identification data, a display unit for displaying the electronic information extracted from the image recognizing unit and the information retrieval unit, and the image recognizing unit upon request Search and extract the electronic information for the identification data; Beam Search control section, and is characterized in that comprising the information device to a control unit for controlling the display unit to display the image recognition unit and the search portion searches and the electronic information extracted.

본 발명의 또 다른 일실시예에 따른 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법은, 촬영 및 송수신 기능을 갖춘 입력장치가 물리문서의 제목과 ISBN 및 쪽 번호를 촬영하여 문서정보 데이터를 생성하고 정보기기로 전송하는 단계와, 상기 정보기기가 상기 문서정보데이터를 수신하여 하이퍼링크정보 DB에서 검색하는 단계와, 상기 입력장치가 대상이미지를 촬영하여 대상이미지 데이터를 생성하고 정보기기로 전송하는 단계와, 상기 정보기기가 대상이미지 데이터를 수신하는 단계와, 수신한 상기 대상이미지 데이터를 상기 이미지 DB에서 검색하는 단계와, 상기 이미지 DB에서 검색된 상기 대상이미지 데이터에 대한 전자정보의 주소를 획득하는 단계 및 상기 획득한 전자정보의 주소에 의하여 전자정보를 표시하는 단계로 이루어지는 것을 특징으로 한다.According to another embodiment of the present invention, a control method of an electronic information providing system for a word, a symbol, and an image of a physical document includes an input device having a photographing and transmitting / receiving function that captures the title, ISBN, and page number of the physical document. Generating document information data and transmitting the document information data to the information device; receiving the document information data from the information device and searching the hyperlink information DB; Transmitting to the information device, receiving the target image data by the information device, retrieving the received target image data from the image DB, and electronic information about the target image data retrieved from the image DB. Acquiring an address of and displaying electronic information by the obtained address of the electronic information. Characterized in that made.

본 발명은 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템에 의하여 물리문서상에서 사용자가 숙지하지 못하여 추가적인 정보를 얻고자하는 단 어, 심볼 및 이미지의 대상이미지를 입력장치로 촬영하여 대상이미지 데이터를 생성하고, 생성한 대상이미지 데이터를 이용하여 자체적으로 기 저장하고 있는 전자정보를 검색하여 제공하거나 기 저장하고 있던 인터넷상의 링크주소를 획득하여 접속함으로써 필요한 전자정보를 제공함은 물론이고, 상기 정보기기 내에 저장하고 있지 않은 상기 대상이미지 데이터에 대한 전자정보는 전자사전과 웹검색기를 이용하여 정보를 검색하여 제공함으로써, 인터넷상에서 하이퍼텍스트를 이용하여 즉각적으로 정보를 습득하는 것과 마찬가지로 읽기 도중에 건너뛰어 각주를 읽거나 또는 다른 문서를 참조하기위하여 읽기를 멈추지 않고도 다양한 형태의 전자정보를 신속하면서도 쉽게 검색할 수 있다.According to the present invention, a target image of a word, a symbol, and an image of which a user wants to obtain additional information on a physical document by an electronic information providing system for a word, a symbol, and an image of a physical document is captured by an input device. By generating the data and using the generated target image data, it searches for and provides electronic information that is stored in advance, or obtains and accesses a link address on the Internet that was previously stored to provide necessary electronic information. Electronic information about the target image data that is not stored in the device is searched and provided by using an electronic dictionary and a web searcher, so that the information is skipped during reading as if the information was immediately acquired by using hypertext on the Internet. Read or another document You can quickly and easily search for various types of electronic information without stopping reading for reference.

아울러, 단어, 이미지 및 심볼이 기록된 물리문서에 기준선 조명계와 기준바를 이용하여 추가적인 정보를 얻고자 하는 대상이미지를 명확하게 표시한 대상이미지 데이터를 정보기기에 입력하고, 상기 대상이미지를 촬영함에 있어서 촬영초점을 항상 일정하게 유지하는 촬영기기에 의하여 상기 대상이미지를 재촬영하는 경우에도 상기 대상이미지 데이터가 동일하게 생성되도록 하여 정보기기에 입력할 수 있기 때문에 정보기기에서 보다 정확하게 정보검색을 할 수 있다.In addition, in the physical document in which words, images, and symbols are recorded, the target image data is clearly inputted to the information device using the baseline illumination system and the reference bar. Even when the target image is re-photographed by a photographing device that maintains a constant focus at all times, the target image data can be generated in the same manner and input to the information device, so that the information can be searched more accurately. .

본 발명은 물리문서상에서 사용자가 숙지하지 못하여 추가적인 정보를 얻고자하는 단어, 심볼 및 이미지의 대상이미지를 입력장치로 촬영하여 대상이미지 데이터를 생성하고, 생성한 대상이미지 데이터를 이용하여 자체적으로 기 저장하고 있는 전자정보를 검색하거나, 기 저장하고 있던 인터넷상의 링크주소를 획득하여 접속함으로써 필요한 전자정보를 제공함은 물론이고, 상기 정보기기 내에 저장하고 있지 않은 상기 대상이미지 데이터에 대한 전자정보는 전자사전과 웹검색기를 이용함으로써 건너뛰어 각주를 읽거나 또는 다른 문서를 참조하기 위하여 읽기를 멈추지 않고 다양한 형태의 전자정보를 빠르고 쉽게 검색할 수 있도록 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템 및 그 제어 방법을 제공하는 것이다. 따라서, 본 발명은 인터넷이 가능한 환경에 정보기기가 설치되어 실시된다는 것을 전제로 한다.According to the present invention, a target image of a word, a symbol, and an image, which the user does not know on a physical document, to obtain additional information, is photographed with an input device, and the target image data is generated, and the image is stored by using the generated target image data. The electronic information for the target image data which is not stored in the information device is not only provided with the necessary electronic information by searching the electronic information, or by obtaining and accessing a pre-stored link address on the Internet. Electronic information providing system for words, symbols, and images of physical documents, which makes it possible to quickly and easily search various types of electronic information without stopping to read footnotes or refer to other documents by using a web searcher. It is to provide a control method. Accordingly, the present invention is based on the premise that an information apparatus is installed and implemented in an environment where the Internet is available.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템 구성도로서, 상기 전자정보 제공시스템은 입력장치(100), 정보기기(200), 물리문서(300) 및 인터넷(400)으로 이루어진다.1 is a block diagram of an electronic information providing system for words, symbols, and images of a physical document according to the present invention. The electronic information providing system includes an input device 100, an information device 200, a physical document 300, and the Internet. It consists of 400.

상기 입력장치(100)는 물리문서(300)의 제목과 ISBN 및 쪽 번호 등의 문서정보를 촬영하여 문서정보 데이터를 생성하고, 물리문서(300)상에 기록된 단어, 심볼 및 이미지 등의 대상이미지를 촬영하여 대상이미지 데이터를 생성하고, 생성된 상기 문서정보 데이터와 상기 대상이미지 데이터를 상기 정보기기(200)로 전송한다The input device 100 generates document information data by photographing document information such as the title, ISBN, and page number of the physical document 300, and targets such as words, symbols, and images recorded on the physical document 300. Takes an image to generate target image data, and transmits the generated document information data and the target image data to the information device 200.

더욱 상세하게는, 도 2에 도시한 바와 같이, 상기 입력장치(100)는 본체(110), 기준선 조명계(120), 기준바(130), 촬영기기(140) 및 전송부(150)로 이루어진다.More specifically, as shown in FIG. 2, the input device 100 includes a main body 110, a reference line illumination system 120, a reference bar 130, a photographing device 140, and a transmission unit 150. .

상기 본체(110)는 ㄱ자 형태의 구조물로 설치되는 설치면과 평행하게 배치되는 상단부와, 상기 설치면과 수직방향으로 일측은 상기 상단부에 고정되어 연결되고 타측은 평평한 설치면에 접하여 안정적으로 설치되는 하단부로 이루어진다.The main body 110 has an upper end disposed in parallel with an installation surface installed in an L-shaped structure, and one side is fixedly connected to the upper end in a vertical direction with the installation surface, and the other side is stably installed in contact with a flat installation surface. It consists of the lower part.

상기 기준선 조명계(120)는 상기 본체(110)의 상단부에 고정되어 상기 물리문서(300)에 기록된 단어, 이미지, 심볼 등의 대상이미지를 촬영하기 위한 상기 물리문서(300)에 기준선(121)을 조명하여 표시한다. 상기 기준선(121)은 대상이미지의 하단에 적색 선으로 표시된다.The baseline illumination system 120 is fixed to the upper end of the main body 110 and the baseline 121 in the physical document 300 for photographing the target image, such as words, images, symbols recorded in the physical document 300 Illuminate to display. The reference line 121 is displayed as a red line at the bottom of the target image.

상기 기준선 조명계(120)가 조명하는 광은 적외선 또는 레이저이며, 상기 기준선 조명계(120)가 조명하여 나타나는 기준선(121)의 길이는 상기 대상이미지의 너비에 따라 가변적으로 조절된다. 상기 대상이미지의 너비에 대응되도록 가변적인 상기 기준선(121)의 길이에 의하여 상기 대상이미지 데이터에서 대상이미지를 보다 명확하게 구분하여 조명할 수 있다. 상기 기준선 조명계(120)는 상기 대상이미지의 너비에 대응되어 조절된 기준선(121)의 길이를 인식하여 상기 촬영기기로 전송한다.The light illuminated by the reference line illumination system 120 is infrared or laser, and the length of the reference line 121 displayed by the reference line illumination system 120 is variably adjusted according to the width of the target image. The target image may be more clearly distinguished and illuminated from the target image data by the length of the reference line 121 which is variable to correspond to the width of the target image. The reference line illumination system 120 recognizes the length of the reference line 121 adjusted to correspond to the width of the target image and transmits it to the photographing apparatus.

상기 기준바(130)는 상기 본체(110)의 하단부 저면에 상기 설치면과 평행하도록 고정 배치되어 상기 물리문서(300)에 기록된 대상이미지를 표시한다. 상기 대상이미지의 좌측 하단에 상기 기준바(130)의 좌측 상단이 위치되도록 상기 기준바(130) 하부면에 상기 물리문서(300)가 배치된다. 상기 기준바(130)는 상기 대상이미지 데이터에서 상기 대상이미지를 보다 명확하게 구분할 수 있도록 표시한다.The reference bar 130 is fixedly disposed parallel to the installation surface on the bottom surface of the lower end of the main body 110 to display a target image recorded in the physical document 300. The physical document 300 is disposed on the lower surface of the reference bar 130 such that the upper left of the reference bar 130 is positioned at the lower left of the target image. The reference bar 130 displays the target image to more clearly distinguish the target image data.

상기 촬영기기(140)는 상기 본체(110)의 상단부 중앙에 배치되어 상기 본체(110)의 상단부의 길이방향으로 이동이 가능하며, 상기 대상이미지를 촬영하여 대상이미지 데이터를 생성한다. 상기 촬영기기(140)는 상기 기준선 조명계(120)에 의하여 조명되어 명확히 표시되고, 상기 기준바(130)의 하부면에 배치된 상기 물리문서(300)상에 기록된 대상이미지를 촬영하여 대상이미지 데이터를 생성하며, 상기 생성한 대상이미지 데이터를 상기 전송부(150)로 전송한다. The photographing apparatus 140 is disposed at the center of the upper end of the main body 110 and is movable in the longitudinal direction of the upper end of the main body 110, and photographs the target image to generate target image data. The photographing device 140 is illuminated by the reference line illumination system 120 and is clearly displayed, and photographs the target image recorded on the physical document 300 disposed on the lower surface of the reference bar 130. Generates data and transmits the generated target image data to the transmission unit 150.

상기 촬영기기(140)는 촬영초점을 일정하게 유지할 수 있기 때문에 상기 대상이미지를 재촬영하는 경우에도 대상이미지 데이터를 항상 일정하게 생성한다.Since the photographing device 140 may maintain a constant focusing point, the photographing device 140 constantly generates the object image data even when the object image is re-photographed.

또한, 상기 촬영기기(140)는 상기 대상이미지의 너비가 상기 촬영영역의 너비보다 큰 너비를 갖는 경우에, 기 저장하고 있는 촬영영역의 너비 단위로 상기 대상이미지를 각각 분할하고, 상기 본체(110) 상단부의 길이 방향에 따라 상기 촬영영역의 너비 단위로 분할된 대상이미지를 순차적으로 촬영하여 다수의 대상이미지 데이터를 생성한다. 즉, 상기 기준선 조명계(120)로부터 수신한 대상이미지의 너비와 상기 촬영기기(140)에 기 설정된 촬영영역의 너비를 비교하여 상기 대상이미지의 너비가 촬영영역의 너비보다 큰 경우에, 상기 촬영기기(140)는 촬영영역의 너비 단위로 이동하며 상기 대상이미지를 분할하여 순차적으로 촬영한다. 또한, 상기 촬영기기(140)는 상기 물리문서(300)의 제목과 ISBN 및 쪽 번호 등의 문서정보를 기준선 조명계(120)에 의하여 조명하여 촬영하는 경우에도 상기 대상이미지와 동일한 방법에 의하여 상기 물리문서(300)에 기준선(121)을 조명하여 표시하고, 기 설정된 촬영영역의 너비 단위로 상기 문서정보를 분할하고 순차적으로 촬영하여 생성한 문서정보 데이터를 전송부(150)로 전송한다.In addition, when the width of the target image has a width larger than the width of the photographing area, the photographing device 140 divides the target image into units of the width of the photographing area previously stored, and the main body 110. A plurality of target image data are generated by sequentially photographing the target image divided by the width unit of the photographing area along the length direction of the upper end. That is, when the width of the target image is greater than the width of the shooting area by comparing the width of the target image received from the reference line illumination system 120 and the width of the shooting area set in the shooting device 140, the shooting device 140 moves in units of widths of the photographing regions and sequentially photographs the target image by dividing the target image. In addition, even when the photographing device 140 is photographed by illuminating the document information such as the title, ISBN and page number of the physical document 300 by the reference line illumination system 120, the physical image by the same method as the target image The reference line 121 is illuminated and displayed on the document 300, and the document information data generated by dividing the document information by a width unit of a preset photographing area and photographing sequentially is transmitted to the transmission unit 150.

상기 전송부(150)는 상기 촬영기기(140)가 생성한 대상이미지 데이터를 정보기기(200)로 전송한다. 상기 촬영기기(140)가 상기 대상이미지를 촬영하여 생성한 상기 대상이미지 데이터를 상기 전송부(150)로 전송하면, 상기 전송부(150)는 상기 대상이미지 데이터를 단어, 이미지 또는 심볼 등의 대상이미지에 의하여 전자정보를 검색하고 제공하는 정보기기(200)로 전송한다. 또한, 상기 전송부(150)는 상기 촬영기기(140)가 생성한 문서정보 데이터도 상기 대상이미지 데이터와 함께 정보기기(200)로 전송한다.The transmission unit 150 transmits the target image data generated by the photographing device 140 to the information device 200. When the photographing device 140 transmits the target image data generated by photographing the target image to the transmitter 150, the transmitter 150 transmits the target image data to a word, an image, or a symbol. The electronic device transmits the information to the information device 200 that searches for and provides electronic information. In addition, the transmission unit 150 also transmits the document information data generated by the photographing device 140 to the information device 200 together with the target image data.

또한, 상기 전송부(150)는 상기 촬영기기(140)가 기 설정된 촬영영역의 너비 단위로 분할하고 순차적으로 촬영하여 생성한 다수의 대상이미지 데이터를 순차적으로 상기 정보기기(200)로 전송한다.In addition, the transmission unit 150 sequentially transmits a plurality of target image data generated by dividing the photographing device 140 by a width unit of a preset photographing area and photographing sequentially to the information device 200.

상기 전송부(150)는, 상기 촬영기기(140)가 생성한 대상이미지 데이터를 USB(Universal Serial Bus), IrDA(Infrared Data Association), UART(Universal Asynchronous Receiver Transmitter), WUSB(Wireless Ubiversal Serial Bus), 블루투스(Bluetooth) 및 지그비(zigBee) 중 어느 하나에 의하여 상기 정보기기(200)로 전송한다.The transmission unit 150 may convert the target image data generated by the photographing device 140 to a universal serial bus (USB), an infrared data association (IrDA), a universal asynchronous receiver transmitter (UART), or a wireless ubiversal serial bus (WUSB). , Bluetooth and ZigBee to transmit to the information device 200 by any one of.

따라서, 상기 입력장치(100)는 기준선 조명계(120)와 기준바(130)를 이용하여 단어, 이미지 및 심볼 등이 기록된 물리문서(300)로부터 추가적인 정보를 얻고자 하는 대상이미지를 명확하게 표시하여 촬영하여 생성한 대상이미지 데이터를 정보기기(200)로 전송하고, 상기 촬영기기(140)는 촬영초점이 항상 일정하게 유지되는 구조로서 상기 대상이미지를 재촬영하는 경우에도 동일한 대상이미지 데이터가 생성하여 정보기기(200)에 전송할 수 있기 때문에, 상기 정보기기(200)는 보다 정확하게 정보검색을 할 수 있다.Accordingly, the input device 100 clearly displays a target image to obtain additional information from the physical document 300 in which words, images, and symbols are recorded using the reference line illumination system 120 and the reference bar 130. And transmits the target image data generated by photographing to the information device 200, and the photographing device 140 has a structure in which the focusing point is always kept constant, even when the target image is re-photographed. Since the information device 200 can be transmitted to the information device 200, the information device 200 can more accurately search for information.

상기 정보기기(200)는 상기 입력장치(100)로부터 상기 문서정보 데이터와 대상이미지 데이터를 수신하고, 사용자가 숙지하지 못하는 추가적인 정보를 얻고자 하는 제목과 ISBN 및 쪽 번호에 관한 문서정보와 단어, 이미지 및 심볼 등의 대상이미지에 의하여 전자정보를 검색 및 추출하여 이를 제공한다.The information device 200 receives the document information data and the target image data from the input device 100, and obtains document information and words about a title, ISBN, and page number to obtain additional information that the user does not know. The electronic information is searched and extracted based on the target image such as an image and a symbol.

더욱 상세하게는, 도 3에 도시한 바와 같이, 상기 정보기기(200)는, 수신부(210), DB 저장부(220), 이미지 인식부(230), 정보검색부(240), 표시부(250) 및 제어부(260)로 이루어진다. In more detail, as shown in FIG. 3, the information device 200 includes a receiver 210, a DB storage 220, an image recognition unit 230, an information search unit 240, and a display unit 250. ) And the control unit 260.

상기 수신부(210)는 상기 입력장치(100)로부터 제목과 ISBN 및 쪽 번호 등이 기록된 물리문서(300)가 촬영되어 수신된 문서정보 데이터와, 상기 문서정보 데이터에 이어서 단어, 이미지 및 심볼 등이 기록된 물리문서(300)가 촬영되어 수신된 상기 대상이미지 데이터를 수신한다. 즉, 상기 물리문서(300)의 제목과 ISBN 및 쪽 번호 등의 문서정보 또는 상기 물리문서(300)에 기록된 단어, 이미지, 심볼 등의 대상이미지를 상기 입력장치(100)가 촬영하여 문서정보 데이터 또는 대상이미지 데이터를 생성하고, 생성한 상기 문서정보 데이터 또는 대상이미지 데이터를 상기 정보기기(200)로 전송하면, 상기 정보기기(200)의 상기 수신부(210)는 상기 문서정보 데이터 또는 대상이미지 데이터를 수신하여 이미지 인식부(230)로 전송한다The receiving unit 210 captures the document information data received from the input device 100 by recording the physical document 300 including the title, the ISBN, the page number, etc., and the word, image, symbol, etc., following the document information data. The recorded physical document 300 is photographed to receive the received target image data. That is, the input device 100 photographs document information such as the title, ISBN and page number of the physical document 300, or a target image such as a word, an image, a symbol, or the like recorded in the physical document 300. After generating the data or the target image data and transmitting the generated document information data or the target image data to the information device 200, the receiving unit 210 of the information device 200 is the document information data or the target image. Receives data and transmits it to the image recognition unit 230

또한, 상기 수신부(210)는, 상기 입력장치(100)로부터 연속적으로 둘 이상 다수의 상기 대상이미지 데이터를 수신한 경우에 이를 임시 저장하고, 상기 입력장치(100)로부터 대상이미지 데이터의 수신이 종료되면 다수의 상기 대상이미지 데이터를 이미지 인식부(230)로 전송한다.In addition, the receiver 210 temporarily stores two or more pieces of the target image data from the input apparatus 100 continuously, and ends reception of the target image data from the input apparatus 100. When the plurality of target image data is transmitted to the image recognition unit 230.

상기 수신부(210)는, 상기 입력장치(100)가 생성한 대상이미지 데이터를 USB(Universal Serial Bus), IrDA(Infrared Data Association), UART(Universal Asynchronous Receiver Transmitter), WUSB(Wireless Ubiversal Serial Bus), 블루투스(Bluetooth) 및 지그비(zigBee) 등에 의하여 수신한다.The receiver 210 may include target image data generated by the input apparatus 100 by using a universal serial bus (USB), an infrared data association (IRDA), a universal asynchronous receiver transmitter (UART), a wireless ubiversal serial bus (WUSB), Received by Bluetooth and ZigBee.

상기 DB 저장부(220)는 상기 다수의 전자문서 이미지 및 다수의 이미지 데이터를 비롯한 상기 다수의 이미지 데이터에 대한 다수의 전자정보와, 상기 다수의 전자문서 이미지의 주소, 상기 다수의 이미지 데이터의 주소, 상기 다수의 전자정보의 주소 및 상기 다수의 이미지 데이터에 대한 전자정보가 표시된 인터넷상의 URL주소를 포함하여 이루어지는 다수의 하이퍼링크표가 저장된다.The DB storage unit 220 includes a plurality of electronic information for the plurality of image data including the plurality of electronic document images and a plurality of image data, addresses of the plurality of electronic document images, addresses of the plurality of image data. And a plurality of hyperlink tables including addresses of the plurality of electronic information and URL addresses on the Internet on which the electronic information of the plurality of image data is displayed.

더욱 상세하게는, 상기 DB 저장부(220)는, 전자문서 DB(221)와 이미지 DB(222)와 전자정보 DB(223) 및 하이퍼링크정보 DB(224)로 이루어진다. In more detail, the DB storage unit 220 includes an electronic document DB 221, an image DB 222, an electronic information DB 223, and a hyperlink information DB 224.

상기 전자문서 DB(221)는 상기 다수의 물리문서(300)를 스캔하여 생성된 전자문서 이미지가 저장된다. 상기 전자문서 DB(221)에 저장된 상기 다수의 전자문서 이미지는 각 전자문서 이미지와 동일한 물리문서(300)에 기록된 대상이미지 데이터에 관한 전자정보를 표시할 때 상기 제어부(260)의 제어에 의하여 상기 표시부(250)의 배경이미지로 사용된다. 즉, 상기 문서정보 데이터에 해당되는 전자문서 이미지를 검색하여 검색된 전자문서 이미지를 배경이미지로 표시하고, 상기 표시된 배경이미지 위에 상기 대상 이미지 데이터를 참조하여 검색 추출된 전자정보를 중첩하여 표시한다.The electronic document DB 221 stores an electronic document image generated by scanning the plurality of physical documents 300. The plurality of electronic document images stored in the electronic document DB 221 are controlled by the control unit 260 when displaying electronic information about target image data recorded in the same physical document 300 as each electronic document image. It is used as a background image of the display unit 250. That is, the searched electronic document image corresponding to the document information data is displayed and the searched electronic document image is displayed as a background image, and the electronic information searched and extracted by referring to the target image data is displayed on the displayed background image.

상기 이미지 DB(222)는 상기 다수의 전자문서 이미지로부터 선택 추출한 다수의 이미지 데이터가 저장된다. 상기 이미지 DB(222)에 저장된 상기 다수의 이미지 데이터는 상기 전자문서 이미지로부터 선택 추출된다. 상기 이미지 데이터는 상기 이미지 인식부(230)가 상기 수신부(210)로부터 수신한 상기 대상이미지 데이터와 사이즈 및 초점이 동일하다. 상기 다수의 이미지 데이터는 상기 입력장치(100)의 촬영영역과 동일한 사이즈이며, 촬영영역 내에서 기준선(121) 및 기준바(130)와 항목의 위치관계를 고려하여 추출되므로, 추출된 이미지 데이터는 입력장치(100)를 통하여 입력된 대상이미지 데이터와 동일한 형태가 된다. 이는 상기 대상이미지 데이터에서 대상이미지를 보다 정확하게 인식하기 위한 것이다.The image DB 222 stores a plurality of image data selectively extracted from the plurality of electronic document images. The plurality of image data stored in the image DB 222 is selectively extracted from the electronic document image. The image data has the same size and focus as the target image data received by the image recognition unit 230 from the receiver 210. The plurality of image data are the same size as the photographing area of the input device 100, and extracted in consideration of the positional relationship between the reference line 121 and the reference bar 130 and the items in the photographing area. It becomes the same shape as the target image data input through the input device 100. This is to more accurately recognize the target image from the target image data.

상기 전자정보 DB(223)는 상기 이미지 DB(222)에 저장된 상기 다수의 이미지 데이터에 대응하는 다수의 전자정보가 저장된다. The electronic information DB 223 stores a plurality of electronic information corresponding to the plurality of image data stored in the image DB 222.

마지막으로, 상기 하이퍼링크정보 DB(224)는 상기 다수의 전자문서 이미지의 주소와, 상기 다수의 이미지 데이터의 주소와, 상기 다수의 전자정보의 주소 및 상기 다수의 이미지 데이터에 해당되는 정보가 표시된 인터넷상의 URL주소를 포함하여 이루어지는 하이퍼링크표가 다수 저장된다. 더욱 상세하게는 상기 하이퍼링크표는 하이퍼링크헤더와 하이퍼링크리스트로 이루어진다. Finally, the hyperlink information DB 224 displays addresses of the plurality of electronic document images, addresses of the plurality of image data, addresses of the plurality of electronic information, and information corresponding to the plurality of image data. Many hyperlink tables including URL addresses on the Internet are stored. More specifically, the hyperlink table includes a hyperlink header and a hyperlink list.

Doc ID : 0000 0001Doc ID: 0000 0001 제목 : 동물의 세계백과Title: Animal World Encyclopedia 저자 : 홍길동Author: 홍길동 ISBN : 07-123-0885-2ISBN: 07-123-0885-2 전자문서이미지주소 : .. \Doc \"UEID"\EDocElectronic Document Image Address: .. \ Doc \ "UEID" \ EDoc 이미지 데이터 주소: .. \Doc \"UEID"\ImgImage data address: .. \ Doc \ "UEID" \ Img 전자정보 주소: .. \Doc \"UEID"\ECElectronic address: .. \ Doc \ "UEID" \ EC 날자-버전 : 07-09-008-0001Date-Version: 07-09-008-0001

pagepage 인덱스index 이미지 데이터Image data 문자text 링크link URLURL 1One 1One PI-00-0001PI-00-0001 e_contentse_contents ED-00-0001ED-00-0001 22 22 PI-00-0002PI-00-0002 호랑이Tiger Tiger of KoreaTiger of Korea http://www.unichal.com\tiger.htmlhttp: //www.unichal.com \ tiger.html ...... ...... ...... ...... ...... ...... nn NN PI-00-000NPI-00-000N 사자Lion LionLion http://www.unichal.com\lionkr.htmlhttp: //www.unichal.com \ lionkr.html

Doc ID : 0000 0001Doc ID: 0000 0001 제목 : 동물의 세계백과Title: Animal World Encyclopedia 저자 : 홍길동Author: 홍길동 ISBN : 07-123-0885-2ISBN: 07-123-0885-2 전자문서이미지주소 : .. \Doc \"UEID"\EDocElectronic Document Image Address: .. \ Doc \ "UEID" \ EDoc 이미지 데이터 주소: .. \Doc \"UEID"\ImgImage data address: .. \ Doc \ "UEID" \ Img 전자정보 주소: .. \Doc \"UEID"\ECElectronic address: .. \ Doc \ "UEID" \ EC 날자-버전 : 07-09-008-0001Date-Version: 07-09-008-0001 pagepage 인덱스index 이미지 데이터Image data 문자text 링크link URLURL 1One 1One PI-00-0001PI-00-0001 e_contentse_contents ED-00-0001ED-00-0001 22 22 PI-00-0002PI-00-0002 호랑이Tiger TigerOfKoreaTigerOfKorea http://www.unichal.com/tiger.htmlhttp://www.unichal.com/tiger.html ...... ...... ...... ...... ...... ...... nn NN PI-00-000NPI-00-000N 사자Lion LionLion http://www.unichal.com/lionkr.htmlhttp://www.unichal.com/lionkr.html

상기 [표 1]은 하이퍼링크헤더의 구조를 나타내는 표이다. [표 1]에서와 같이 하이퍼링크헤더는 문서의 고유 식별번호인 Doc ID, 문서의 제목, 문서의 저자, 국제표준도서번호인 ISBN(International Standard Book Number), 해당 전자문서 이미지가 저장된 상기 전자문서 DB(221)내의 주소, 해당 전자문서에서 추출한 이미지 데이터가 저장된 이미지 DB(222)내의 주소, 해당 전자문서에서 추출한 이미지 데이터에 해당하는 상기 전자정보 DB(223)내에 저장된 전자정보 및 해당 하이퍼링크표가 작성된 날짜-버전으로 이루어진다. [Table 1] is a table showing the structure of the hyperlink header. As shown in [Table 1], the hyperlink header includes a Doc ID, a document's unique identification number, a document's title, a document's author, an international standard book number (ISBN), and the electronic document in which an image of the electronic document is stored. The address in the DB 221, the address in the image DB 222 where the image data extracted from the electronic document is stored, the electronic information stored in the electronic information DB 223 corresponding to the image data extracted from the electronic document, and the corresponding hyperlink table. Consists of the date-version created.

상기 [표 2]는 하이퍼링크리스트의 구조를 나타내는 표이다. 상기 [표 2]에서와 같이 하이퍼링크리스트는 해당 문서정보 데이터에 포함되어 있는 물리문서(300)의 페이지, 상기 이미지 DB(222)내에 저장된 이미지 데이터명, 이미지상의 문자를 판독·식별하여 생성된 문자, 인터넷상의 웹페이지 링크명을 의미하는 링크, 상기 이미지 데이터에 해당하는 전자정보의 인터넷상에서의 URL 또는 상기 정보기기(200)내에 자체적으로 제작한 전자정보가 저장된 파일명을 나타내는 URL을 포함하여 이루어진다. [Table 2] is a table showing the structure of the hyperlink list. As shown in [Table 2], the hyperlink list is generated by reading and identifying the page of the physical document 300 included in the document information data, the image data name stored in the image DB 222, and the characters on the image. It includes a character, a link representing a web page link name on the Internet, a URL on the Internet of electronic information corresponding to the image data, or a URL indicating a file name in which electronic information produced in the information device 200 is stored. .

상기 [표 3]은 상기 하이퍼링크헤더와 상기 하이퍼링크리스트가 결합되어 완성된 하이퍼링크표의 구조이다.[Table 3] is a structure of a hyperlink table completed by combining the hyperlink header and the hyperlink list.

상기 이미지 인식부(230)는, 상기 입력장치(100)로부터 제목과 ISBN 및 쪽 번호가 기록된 물리문서(300)가 촬영되어 수신된 문서정보 데이터를 판독 식별하여 문서정보를 생성하고, 생성된 상기 문서정보가 상기 하이퍼링크정보 DB(224)의 하이퍼링크표에서 검색하여 상기 정보기기(200)가 상기 문서정보에 해당되는 기 저장된 물리문서(300)인지의 여부를 판단한다. 이어서 상기 이미지 인식부(230)는 상기 수신부(210)가 수신한 상기 대상이미지 데이터 내에서 대상이미지 주변의 이미지로부터 상기 DB 저장부(220)에 저장된 상기 다수의 이미지 데이터와 비교 검색하여 기 저장하고 있는 이미지 데이터인지 판단한다. 상기 대상이미지 데이터에 해당하는 이미지 데이터가 기 저장되어 존재하는 경우에는, 상기 기 저장된 이미지 데이터에 해당하는 전자정보가 바로 추출되어 표시부(250)로 전송된다. 그러나, 상기 검색결과 상기 대상이미지 데이터에 해당하는 이미지 데이터가 상기 DB 저장부(220)에 기 저장하고 있지 않은 경우에는, 상기 대상이미지 데이터 내의 문자를 판독·식별하여 식별데이터를 생성하고, 상기 생성된 식별데이터를 상기 제어부(260)로 전송하여 상기 정보검색부(240)가 상기 식별데이터에 해당되는 전자정보를 검색하도록 한다.The image recognizing unit 230 generates a document information by reading and identifying the document information data received by photographing the physical document 300 having the title, ISBN and page number recorded from the input device 100. The document information is searched in the hyperlink table of the hyperlink information DB 224 to determine whether the information device 200 is a previously stored physical document 300 corresponding to the document information. Subsequently, the image recognition unit 230 compares the plurality of image data stored in the DB storage unit 220 with the image data stored in the DB storage unit 220 and stores the image in the target image data received by the receiver 210. Determine if the image data is present. If image data corresponding to the target image data is pre-stored and present, electronic information corresponding to the pre-stored image data is immediately extracted and transmitted to the display unit 250. However, if the image data corresponding to the target image data is not stored in the DB storage unit 220 as a result of the search, identification data is generated by reading and identifying characters in the target image data, and generating the identification data. The identification data is transmitted to the control unit 260 to allow the information retrieval unit 240 to search for electronic information corresponding to the identification data.

또한, 상기 이미지 인식부(230)는, 상기 수신부(210)가 수신하여 상기 이미지 인식부(230)로 동회에 전송한 다수의 상기 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식한다. 상기 입력장치(100)에서는 대상이미지의 너비가 상기 입력장치(100)의 촬영영역의 너비보다 큰 경우에, 상기 입력장치(100)의 촬영기기(140)는 상기 대상이미지를 기 저장된 촬영영역의 너비 단위로 분할하고 촬영하여 상기 정보기기(200)로 전송한다. 이 경우에 상기 수신부(210)는 분할된 대상이미지 데이터를 연속적으로 수신하여 임시 저장하였다가 수신이 종료되면 임시 저장한 다수의 대상이미지 데이터를 순차적으로 상기 이미지 인식부(230)로 전송한다. 상기 이미지 인식부(230)는 상기 수신부(210)로부터 수신한 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식한다.In addition, the image recognition unit 230 recognizes a combination of the plurality of target image data received by the receiving unit 210 and transmitted to the image recognition unit 230 in the same target image data. In the input device 100, when the width of the target image is larger than the width of the photographing area of the input device 100, the photographing device 140 of the input device 100 stores the target image in the pre-stored photographing area. The image is divided into units of width, photographed, and transmitted to the information device 200. In this case, the receiving unit 210 continuously receives and temporarily stores the divided target image data, and when the reception is completed, sequentially transmits the plurality of temporarily stored target image data to the image recognition unit 230. The image recognition unit 230 recognizes the plurality of target image data received from the receiving unit 210 by combining them into one target image data.

아울러, 상기 입력장치(100)로부터 제목과 일련번호 및 쪽 번호가 기록된 물리문서(300)가 촬영되어 수신된 문서정보 데이터를 식별한 문서정보 및 상기 대상이미지 데이터 내에서 대상이미지 주변의 이미지를 함께 참조하여, 수신된 상기 대상이미지 데이터를 상기 정보기기에 구비된 DB 저장부 내의 이미지 DB(222)에서 검색함으로써 해당 대상이미지에 대한 전자정보 검색의 정확성이 향상된다.In addition, a physical document 300 having a title, a serial number, and a page number recorded from the input apparatus 100 is photographed, and the document information identifying the received document information data and an image around the target image in the target image data. Referring together, the received image data is retrieved from the image DB 222 in the DB storage unit provided in the information device, thereby improving the accuracy of the electronic information search for the target image.

예를 들어, 동일한 물리문서(300) 내에서 대상이미지인 "호랑이"가 다수 존재하고 각각 북방지역의 "호랑이"와 남방지역의 "호랑이"를 지칭하는 경우를 가정해 본다면, 호랑이라는 대상이미지는 같지만 실제적으로는 북방지역의 호랑이와 남방지역의 호랑이는 실제로 그 생김새와 포효하는 울음소리 그리고 주 생활 지역 등이 서로 상이하다. 즉, 대상이미지에 연결되어 표시되어야 하는 전자문서의 내용이 서로 상이하다. 그러므로 대상이미지 자체는 동일하더라도 그 내용이 상이한 경우에도 정확한 전자정보를 검색 및 표시할 수 있도록 대상이미지가 포함된 페이지 그리고 주변의 이미지를 참조하여 대상이미지를 좀 더 정확하게 구분함으로써 이미지 인식률을 향상시키면서 동시에 정확한 전자정보를 제공할 수 있다.For example, assuming that there are a large number of target images "tigers" in the same physical document 300 and refer to "tigers" in the north and "tigers" in the south, respectively, the target image called tiger is In reality, the northern tiger and the southern tiger actually differ in appearance, roaring cry, and main living area. That is, the contents of the electronic document to be displayed in connection with the target image are different from each other. Therefore, even if the target image itself is the same, even if the contents are different, it is possible to improve the image recognition rate by identifying the target image more accurately by referring to the page containing the target image and the surrounding image so that accurate electronic information can be searched and displayed. It can provide accurate electronic information.

도 4는 본 발명에 따른 상기 대상이미지 데이터의 구성도이다. 도 4에서 도시하는 바와 같이, 상기 대상이미지 데이터는 상기 정보기기(200)의 상기 이미지 인식부(230)가 대상이미지를 정확하게 인식하기 위하여 상기 대상이미지와 상기 입력장치(100)의 기준선(121)의 이미지와 기준바(130)의 이미지를 포함한다. 4 is a block diagram of the target image data according to the present invention. As shown in FIG. 4, the target image data includes the target image and the reference line 121 of the input device 100 in order for the image recognition unit 230 of the information device 200 to accurately recognize the target image. And an image of the reference bar 130.

상기 정보검색부(240)는 전자사전(241)과 웹검색기(242)로 이루어지고, 상기 식별데이터에 대한 전자정보를 검색 및 추출한다. 상기 이미지 인식부(230)가 입력장치(100)로부터 수신된 문서정보 데이터에 해당되는 문서정보가 상기 DB 저장부(220)내에서 검색되지 않은 경우에, 상기 이미지 인식부(230)는 수신된 대상이미지 데이터 내의 문자를 판독 식별하여 식별데이터를 생성하고, 생성한 식별데이터를 상기 제어부(260)로 전송한다. 상기 제어부(260)는 상기 이미지 인식부(230)로부터 전송된 상기 식별데이터에 해당되는 전자정보를 전자사전(241)이나 웹검색기(242)를 이용하여 검색하도록 상기 정보검색부(240)를 제어하고, 상기 정보검색부(240)는 검색된 전자정보를 다시 제어부(260)로 전송한다. The information search unit 240 is composed of an electronic dictionary 241 and a web searcher 242 to search and extract electronic information about the identification data. When the document information corresponding to the document information data received from the input apparatus 100 is not retrieved in the DB storage unit 220, the image recognition unit 230 receives the image recognition unit 230. Characters in the target image data are read and identified to generate identification data, and the generated identification data is transmitted to the controller 260. The controller 260 controls the information search unit 240 to search for electronic information corresponding to the identification data transmitted from the image recognition unit 230 using the electronic dictionary 241 or the web searcher 242. The information retrieval unit 240 transmits the retrieved electronic information to the control unit 260 again.

또한, 상기 입력장치(100)로부터 수신된 문서정보 데이터가 상기 이미지 인식부(230)에 의해서 상기 DB 저장부(220)에서 검색되었지만, 상기 입력장치(100)로부터 수신한 대상이미지 데이터가 상기 이미지 인식부(230)에 의해서 상기 DB 저장부(220)내에서 검색되지 않는 경우에도, 상기 이미지 인식부(230)는 상기 대상이미지 데이터 내의 문자를 판독 식별하여 식별데이터를 생성하고, 생성한 식별데이터를 상기 제어부(260)로 전송한다. 상기 제어부(260)는 상기 이미지 인식부(230)로부터 전송된 상기 식별데이터에 해당되는 전자정보를 전자사전(241)이나 웹검색기(242)를 이용하여 검색하도록 상기 정보검색부(240)를 제어하고, 상기 정보검색부(240)는 검색된 전자정보를 다시 제어부(260)로 전송한다. In addition, although the document information data received from the input device 100 was retrieved from the DB storage unit 220 by the image recognition unit 230, the target image data received from the input device 100 is the image Even when the recognition unit 230 does not search the DB storage unit 220, the image recognition unit 230 generates identification data by reading and identifying characters in the target image data, and generates the identification data. Transmits to the control unit 260. The controller 260 controls the information search unit 240 to search for electronic information corresponding to the identification data transmitted from the image recognition unit 230 using the electronic dictionary 241 or the web searcher 242. The information retrieval unit 240 transmits the retrieved electronic information to the control unit 260 again.

상기 표시부(250)는 상기 이미지 인식부(230) 또는 정보검색부(240)로부터 검색 및 추출된 전자정보를 표시한다. 상기 표시부(250)는 상기 이미지 인식부(230)가 상기 DB 저장부(220)내에서 추출한 전자정보 또는 상기 정보검색부(240)의 상기 전자사전(241) 및 웹검색기(242)가 검색한 전자정보를 상기 제어부(260)로부터 수신하여 표시한다. 상기 입력장치(100)로부터 수신된 문서정보 데이터가 상기 이미지 인식부(230)에 의해서 상기 DB 저장부(220)내에서 검색된 경우에, 검색된 문서정보 데이터에 해당하는 전자문서 이미지를 표시부(250)에 배경이미지로 표시하고, 상기 표시된 배경이미지 위에 추후 검색 및 추출된 상기 대상이미지 데이터에 대한 전자정보를 중첩하여 표시하게 된다. The display unit 250 displays electronic information retrieved and extracted from the image recognition unit 230 or the information retrieval unit 240. The display unit 250 is the electronic information extracted by the image recognition unit 230 in the DB storage unit 220 or the electronic dictionary 241 and the web searcher 242 of the information search unit 240 searched Electronic information is received from the controller 260 and displayed. When the document information data received from the input apparatus 100 is searched in the DB storage unit 220 by the image recognition unit 230, the display unit 250 displays an electronic document image corresponding to the retrieved document information data. Displayed as a background image, and superimposed electronic information on the target image data to be retrieved and extracted later on the displayed background image.

상기 제어부(260)는 상기 이미지 인식부(230)의 요청에 의하여 상기 식별데이터에 대한 전자정보를 검색 및 추출하도록 상기 정보검색부(240)를 제어하고, 상기 이미지 인식부(230)와 상기 정보검색부(240)가 검색 및 추출한 상기 전자정보를 표시하도록 상기 표시부(250)를 제어한다. 상기 제어부(260)는 상기 입력장치(100)로부터 수신된 문서정보 데이터가 상기 이미지 인식부(230)에 의해서 상기 DB 저장부(220)내에서 검색되지 않은 경우와 상기 입력장치(100)로부터 수신된 문서정보 데이터가 상기 이미지 인식부(230)에 의해서 상기 DB 저장부(220)내에서 검색되었지만, 이어서 수신한 대상이미지 데이터를 상기 DB 저장부(220)내에서 검색되지 않는 경우에, 상기 이미지 인식부(230)에서 상기 대상이미지 데이터 내의 문자를 판독 및 식별하여 생성한 식별데이터를 상기 제어부(260)로 전송하고, 상기 제어부(260)는 상기 식별데이터를 전자사전(241)이나 웹검색기(242)를 이용하여 전자정보를 검색하도록 상기 정보검색부(240)를 제어한다.The controller 260 controls the information retrieval unit 240 to retrieve and extract electronic information about the identification data at the request of the image recognizing unit 230, and the image recognizing unit 230 and the information. The display unit 250 controls the display unit 250 to display the electronic information searched and extracted. The control unit 260 is received when the document information data received from the input device 100 is not retrieved from the DB storage unit 220 by the image recognition unit 230 and received from the input device 100. When the document information data is retrieved in the DB storage unit 220 by the image recognition unit 230, but the received target image data is not retrieved in the DB storage unit 220, the image The recognition unit 230 transmits identification data generated by reading and identifying a character in the target image data to the controller 260, and the controller 260 transmits the identification data to an electronic dictionary 241 or a web searcher ( The information retrieval unit 240 is controlled to retrieve the electronic information using the reference numeral 242.

또한, 상기 제어부(260)는 상기 이미지 인식부(230)와 상기 정보검색부(240)가 전송한 전자정보를 수신하고, 수신한 전자정보를 표시부(250)에서 표시하도록 제어한다.In addition, the controller 260 receives the electronic information transmitted from the image recognition unit 230 and the information retrieval unit 240 and controls the display unit 250 to display the received electronic information.

상기 물리문서(300)는, 단어, 심볼 및 이미지 등의 대상이미지가 기록된 오프 라인(off-line)상의 책, 신문 및 기타 모든 인쇄물이다. The physical document 300 is an off-line book, a newspaper, and all other printed matters on which a target image such as a word, a symbol, and an image is recorded.

상기 인터넷(400)은 컴퓨터가 서로 연결되어 정보를 교환할 수 있는 하나의 거대한 컴퓨터 통신망이다. 상기 인터넷(400)상의 전자문서 내의 하나의 단어나 구, 기호, 이미지 및 심볼 등과 같은 요소와 상기 전자문서 내의 다른 요소 또는 다른 하이퍼텍스트 전자문서 내의 다른 요소 사이는 하이퍼링크에 의하여 연결된다. 사용자는 하이퍼텍스트 전자문서 내의 밑줄 쳐진 요소 또는 전자문서 내의 나머지 부분과 다른 색으로 표시되어 링크된 요소를 클릭함으로써 하이퍼링크를 기동 또는 활성화한다. 그렇게 함으로써 같은 하이퍼텍스트 전자문서 내의 한 요소와 다른 요소의 연결을 선택하여 해당 전자정보를 검색할 수 있고, 다른 인터넷 호스트에 있는 월드 와이드 웹 서버상의 하이퍼텍스트 전자문서 내 다른 요소와의 연결을 선택하여 전자정보를 검색할 수도 있다. 인터넷(400)은 결국 하이퍼링크에 의하여 다수의 하이퍼텍스트가 연결됨으로써, 거대한 양의 전자정보 내용이 서로 연결되어 있는 것이다. The Internet 400 is one huge computer communication network through which computers can connect and exchange information. An element such as a word or phrase, symbol, image, symbol, etc. in an electronic document on the Internet 400 and another element in the electronic document or another element in another hypertext electronic document are connected by a hyperlink. The user activates or activates a hyperlink by clicking on an underlined element in the hypertext electronic document or an element linked and displayed in a different color than the rest of the electronic document. By doing so, you can select a link between one element and another in the same hypertext electronic document to retrieve that electronic information, and select a link to another element in a hypertext electronic document on a World Wide Web server on another Internet host. You can also search for electronic information. In the Internet 400, a plurality of hypertexts are connected by hyperlinks, so that a huge amount of electronic information content is connected to each other.

도 5는 본 발명에 따른 물리문서(300)의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법 흐름도로서, 상기 전자정보 제공시스템의 제어방법은 다음과 같은 단계로 이루어진다.5 is a flowchart illustrating a control method of an electronic information providing system for a word, a symbol, and an image of a physical document 300 according to the present invention. The control method of the electronic information providing system includes the following steps.

제목과 ISBN 및 쪽 번호 등의 문서정보가 기록된 물리문서(300)를 촬영하여 문서정보 데이터를 생성하고, 상기 물리문서(300)상에 기록된 단어, 심볼 및 이미지에 대한 대상이미지를 촬영하여 다수의 대상이미지 데이터를 생성하는 촬영 및 송수신 기능을 갖는 입력장치(100)와, 상기 입력장치에 의하여 생성된 문서정보 데이터와 대상이미지 데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 정보기기(200)로 이루어지는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법에 있어서, 상기 입력장치(100)에 의하여 촬영되어 생성된 상기 문서정보 데이터를 상기 정보기기(200)로 전송하는 단계(S10)와; 상기 정보기기(200)에 구비된 수신부가 상기 문서정보 데이터를 수신하고, 수신된 상기 문서정보 데이터 내의 문자를 판독· 식별하여 문서정보를 생성하며, 생성된 상기 문서정보가 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)의 하이퍼링크표에서 검색하여 존재하는 문서인지를 확인하는 단계(S20)와; 상기 문서정보가 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)에 존재하는 기 저장된 문서인 경우에는, 상기 입력장치(100)에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기(200)로 전송하는 단계(S30)와; 상기 정보기기(200)에 구비된 수신부(210)가 다수의 대상이미지 데이터를 수신하는 단계(S40)와; 상기 정보기기(200)에 구비된 이미지 인식부(230)가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터를 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에서 검색하는 단계(S50)와; 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터가 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에 저장되어 있는 경우에는, 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에서 검색된 상기 이미지 데이터에 대한 전자정보의 주소를 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)의 하이퍼링크표로부터 획득하는 단계(S60); 및 상기 정보기기(200)에 구비된 표시부(250)가 상기 획득한 전자정보의 주소에 의하여 전자정보를 표시하는 단계(S70)로 이루어진다.The document information data is recorded by recording the document information such as the title, ISBN, and page number, and the document information is generated, and the target image of the words, symbols, and images recorded on the physical document 300 is photographed. An input apparatus 100 having a photographing and transmitting / receiving function for generating a plurality of target image data, and an information apparatus for searching, extracting and displaying electronic information corresponding to document information data and target image data generated by the input apparatus ( In the control method of the electronic information providing system for the words, symbols and images of the physical document consisting of 200, to transmit the document information data photographed and generated by the input device 100 to the information device 200 Step S10; The receiving unit provided in the information device 200 receives the document information data, reads and identifies the text in the received document information data to generate document information, and the generated document information is the information device 200. Checking whether the document exists by searching the hyperlink table of the hyperlink information DB 224 provided in the DB storage unit 220 (S20); When the document information is a pre-stored document existing in the hyperlink information DB 224 in the DB storage unit 220 provided in the information device 200, a plurality of photographed images generated by the input device 100 are generated. Transmitting target image data to the information device 200 (S30); Receiving, by the receiving unit 210 of the information device 200, a plurality of target image data (S40); The image recognition unit 230 included in the information device 200 recognizes the plurality of received target image data by combining them into one target image data, and recognizes the image data corresponding to the recognized target image data. Searching in the image DB 222 in the DB storage unit 220 provided in the device 200 (S50); When the image data corresponding to the recognized target image data is stored in the image DB 222 in the DB storage unit 220 provided in the information device 200, the DB provided in the information device 200 The hyperlink table of the hyperlink information DB 224 in the DB storage unit 220 provided in the information device 200 with the address of the electronic information for the image data retrieved from the image DB 222 in the storage unit 220. Obtaining from (S60); And displaying, by the display unit 250 provided in the information device 200, the electronic information by the obtained address of the electronic information (S70).

더욱 상세하게는, 상기 입력장치(100)에 의하여 촬영되어 생성된 상기 문서정보 데이터를 상기 정보기기(200)로 전송하는 단계(S10)는, 단어, 심볼 및 이미지 등의 대상이미지가 기록된 물리문서(300)의 제목과 ISBN 및 쪽 번호 등의 문서정보를 상기 입력장치(100)가 촬영하여 생성한 문서정보 데이터를 상기 정보기기(200)로 전송한다. More specifically, the step (S10) of transmitting the document information data photographed and generated by the input device 100 to the information device 200, the physical image recording the target image, such as words, symbols and images The document information data generated by the input apparatus 100 by photographing the document information such as the title, ISBN, and page number of the document 300 is transmitted to the information device 200.

상기 정보기기(200)에 구비된 수신부가 상기 문서정보 데이터를 수신하고, 수신된 상기 문서정보 데이터 내의 문자를 판독· 식별하여 문서정보를 생성하며, 생성된 상기 문서정보가 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)의 하이퍼링크표에서 검색하여 존재하는 문서인지를 확인하는 단계(S20)는, 상기 정보기기(200)의 수신부(210)가 상기 입력장치(100)로부터 상기 문서정보 데이터를 수신하여 상기 정보기기(200)의 이미지 인식부(230)로 전송하고, 상기 이미지 인식부(230)는 상기 문서정보 데이터상의 문자를 판독· 식별하여 상기 물리문서(300)의 제목과 ISBN 및 쪽 번호 등의 문서정보를 생성한다. 상기 생성된 문서정보를 이용하여 상기 정보기기에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)의 하이퍼링크표에서 검색하여 기 저장된 문서인지 확인한다. The receiving unit provided in the information device 200 receives the document information data, reads and identifies the text in the received document information data to generate document information, and the generated document information is the information device 200. The step S20 of checking whether the document exists by searching the hyperlink table of the hyperlink information DB 224 provided in the DB storage unit 220 is performed by the receiving unit 210 of the information device 200. The document information data is received from the input device 100 and transmitted to the image recognition unit 230 of the information device 200, and the image recognition unit 230 reads and identifies the text on the document information data. Document information such as the title, ISBN, and page number of the physical document 300 is generated. The document information is searched in the hyperlink table of the hyperlink information DB 224 in the DB storage unit 220 provided in the information device by using the generated document information.

상기 문서정보가 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)에 존재하는 기 저장된 문서인 경우에는, 상기 입력장치(100)에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기(200)로 전송하는 단계(S30)는, 상기 입력장치(100)에 구비된 기준바(130)의 좌측상단이 대상이미지의 좌측하단에 위치하도록 상기 대상이미지가 기록된 물리문서(300)가 배치되는 단계와, 상기 입력장치(100)에 구비된 기준선 조명계(120)가 상기 대상이미지 하단에 상기 대상이미지의 너비에 대응되도록 그 길이가 가변적인 기준선(121)을 조명하는 단계(S32)와, 상기 입력장치(100)의 촬영기기(140)가 상기 대상이미지를 촬영하여 대상이미지 데이터를 생성하는 단계(S33) 및 상기 입력장치(100)에 구비된 전송부(150)가 상기 생성된 대상이미지 데이터를 정보기기(200)로 전송하는 단계(S34)로 이루어진다. When the document information is a pre-stored document existing in the hyperlink information DB 224 in the DB storage unit 220 provided in the information device 200, a plurality of photographed images generated by the input device 100 are generated. In the step S30 of transmitting the target image data to the information device 200, the target image is recorded such that the upper left side of the reference bar 130 provided in the input device 100 is located at the lower left side of the target image. And a reference line 121 having a variable length thereof so that the reference line illumination system 120 provided in the input device 100 corresponds to the width of the target image at the bottom of the target image. Illuminating step (S32), the photographing device 140 of the input device 100 to take the target image to generate the target image data (S33) and the transmission unit provided in the input device (100) 150) to define the generated target image data The transmission is made to the viewer 200 (S34).

도 6은 본 발명에 따른 상기 입력장치(100)에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기(200)로 전송하는 단계(S30)를 구체적으로 도시한 흐름도이다.6 is a flowchart specifically illustrating a step (S30) of transmitting a plurality of target image data photographed and generated by the input apparatus 100 according to the present invention to the information device 200.

더욱 상세하게는, 기준바(130)의 좌측상단이 대상이미지의 좌측하단에 위치하도록 상기 대상이미지가 기록된 상기 물리문서(300)가 배치되는 단계(S31)는, 상기 본체(110)의 하단에 위치한 상기 기준바(130)의 좌측 상단이 단어, 이미지, 심볼 등의 상기 대상이미지의 좌측하단에 위치하도록, 상기 대상이미지가 기록된 상기 물리문서(300)가 구겨짐이나 흔들림 없이 상기 기준바(130)의 하단에 배치된다.More specifically, the step (S31) in which the physical document 300 in which the target image is recorded is disposed such that the upper left side of the reference bar 130 is located at the lower left side of the target image, the lower end of the main body 110. The reference bar 130 is located at the lower left of the target image, such as a word, an image, a symbol, and so on, so that the physical document 300 on which the target image is recorded is not crimped or shaken. 130 is disposed at the bottom.

기준선 조명계(120)가 상기 대상이미지 하단에 기준선(121)을 조명하는 단계(S32)는, 상기 본체(110)의 상단부에 고정 배치된 상기 기준선 조명계(120)가 상기 물리문서(300)에 기록된 단어, 이미지, 심볼 등의 대상이미지 하단에 적색 선으로 기준선(121)을 조명하여 표시한다. 상기 기준선 조명계(120)가 적외선 또는 레이저를 조명하여 나타나는 기준선(121)의 길이는 상기 대상이미지의 너비에 따라 가변적이고, 이후에 촬영기기(140)가 촬영하여 생성하는 대상이미지 데이터 내에서 대상이미지를 보다 명확하게 구분될 수 있도록 한다. 상기 기준선 조명계(120)는 상기 대상이미지의 너비에 따라 가변적인 기준선(121)의 길이를 인식하여 상기 촬영기기(140)로 전송한다.The step S32 of illuminating the reference line 121 at the bottom of the target image by the reference line illumination system 120 is recorded in the physical document 300 by the reference line illumination system 120 fixedly disposed at the upper end of the main body 110. The reference line 121 is illuminated by a red line at the bottom of the target image such as a word, an image, or a symbol. The length of the reference line 121, which appears when the reference line illumination system 120 illuminates an infrared ray or a laser, is variable according to the width of the target image, and then the target image within the target image data generated by the photographing device 140. To make it clearer. The reference line illumination system 120 recognizes the length of the reference line 121 variable according to the width of the target image and transmits the length to the photographing device 140.

촬영기기(140)가 상기 대상이미지를 촬영하여 대상이미지 데이터를 생성하는 단계(S33)는, 상기 기준바(130)를 기준으로 배치된 상기 물리문서(300)에 기록된 상기 대상이미지를 상기 기준선 조명계(120)에 의하여 명확하게 표시되고 상기 촬영기기(140)가 촬영하여 대상이미지 데이터를 생성하여 상기 전송부(150)로 전송한다. 상기 촬영기기(140)는 촬영초점을 일정하게 유지하여 상기 대상이미지가 재촬영되는 경우에도 동일한 상기 대상이미지 데이터를 생성한다.In step S33, when the photographing device 140 photographs the target image to generate target image data, the target image recorded in the physical document 300 arranged based on the reference bar 130 is the reference line. It is clearly displayed by the illumination system 120 and the photographing device 140 captures and generates the target image data and transmits it to the transmission unit 150. The photographing device 140 maintains a constant photographing focus to generate the same target image data even when the target image is retaken.

촬영기기(140)가 상기 대상이미지를 촬영하여 대상이미지 데이터를 생성하는 단계(S33)에서, 상기 촬영기기(140)는 촬영영역의 너비보다 큰 너비를 갖는 상기 대상이미지를 촬영영역의 너비 단위로 분할하고 순차적으로 촬영하여 다수의 대상이미지 데이터를 생성한다. 상기 기준선 조명계(120)로부터 수신한 대상이미지의 너비가 상기 촬영기기(140)에 기설정된 촬영영역의 너비에 비하여 큰 경우에 상기 촬영기기(140)는 촬영영역의 너비 단위로 이동하며 상기 대상이미지를 분할하여 순차적으로 촬영한다. In operation S33, when the photographing device 140 captures the target image to generate target image data, the photographing device 140 uses the target image having a width larger than that of the photographing area in units of widths of the photographing area. A plurality of target image data are generated by dividing and photographing sequentially. When the width of the target image received from the reference line illumination system 120 is larger than the width of the photographing area preset in the photographing device 140, the photographing device 140 moves in units of the width of the photographing area and the target image. To shoot sequentially.

전송부(150)가 상기 생성된 대상이미지 데이터를 정보기기(200)로 전송하는 단계(S34)는, 상기 촬영기기(140)가 상기 대상이미지를 촬영하여 생성한 상기 대상이미지 데이터를 상기 전송부(150)로 전송하면, 상기 전송부(150)는 상기 대상이미지 데이터를 단어 또는 이미지를 이용하여 전자정보를 검색하고 제공하는 정보기기(200)로 전송한다. The transmitting unit 150 transmits the generated target image data to the information device 200 (S34), wherein the photographing device 140 captures the target image and generates the target image data. When transmitting to 150, the transmitting unit 150 transmits the target image data to the information device 200 that searches for and provides electronic information using a word or an image.

상기 전송부(150)는, 상기 촬영기기(140)가 상기 촬영영역의 너비보다 큰 너비를 갖는 상기 대상이미지를 촬영영역의 너비 단위로 분할 및 촬영하여 생성한 다수의 대상이미지 데이터를 순차적으로 정보기기(200)로 전송한다.The transmission unit 150 sequentially stores a plurality of pieces of target image data generated by dividing and capturing the target image having a width greater than the width of the photographing region by the unit of the photographing region. Send to the device 200.

상기 정보기기(200)에 구비된 수신부(210)가 다수의 대상이미지 데이터를 수신하는 단계(S40)는, 상기 정보기기(200)의 수신부(210)에서 상기 입력장치(100)로부터 상기 대상이미지 데이터를 수신한다. 상기 입력장치(100)로부터 수신한 상기 대상이미지 데이터가 다수인 경우에 다수의 상기 대상이미지 데이터를 순차적으로 조합하여 하나의 대상이미지 데이터로 인식한다.Receiving unit 210 provided in the information device 200 receives a plurality of target image data (S40), the target image from the input device 100 in the receiving unit 210 of the information device 200 Receive data. When the target image data received from the input device 100 is plural, the plurality of target image data are sequentially combined to be recognized as one target image data.

상기 정보기기(200)에 구비된 이미지 인식부(230)가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터를 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에서 검색하는 단계(S50)는, 상기 입력장치(100)로부터 수신한 상기 대상이미지 데이터를 상기 정보기기(200)에 구비된 이미지 DB(222)에 기 저장 되어있는 이미지 데이터와 비교하여 동일한 이미지 데이터가 존재하는지 검색한다. The image recognition unit 230 included in the information device 200 recognizes the plurality of received target image data by combining them into one target image data, and recognizes the image data corresponding to the recognized target image data. Searching in the image DB 222 in the DB storage unit 220 provided in the device 200 (S50), the information device 200 is provided with the target image data received from the input device 100. The image data is compared with the image data pre-stored in the image DB 222 to search whether the same image data exists.

상기 이미지 데이터는, 상기 입력장치(100)로부터 수신한 상기 대상이미지 데이터와 사이즈 및 초점이 동일한 형태로 전자문서 이미지로부터 선택 추출된다. 상기 이미지 데이터는 상기 입력장치(100)의 촬영영역과 동일한 사이즈이며, 촬영영역 내에서 기준선(121)과 기준바(130) 및 항목의 위치관계를 고려하여 대상이미지를 추출하므로, 추출된 이미지 데이터는 실제 물리문서(300)로부터 입력장치(100)를 통하여 입력된 대상이미지 데이터와 동일한 형태이므로 보다 정확하게 비교할 수 있다.The image data is selectively extracted from the electronic document image in the same size and focus as the target image data received from the input apparatus 100. The image data is the same size as the photographing area of the input device 100, and extracts the target image in consideration of the positional relationship between the reference line 121, the reference bar 130, and the items in the photographing area. Since the same form as the target image data input through the input device 100 from the actual physical document 300 can be compared more accurately.

상기 대상이미지 데이터와 비교되는 상기 이미지 데이터의 순서는 상기 수신한 문서정보 데이터의 쪽 번호를 기초로 하여 정해진다. 비교 순서는 현재의 쪽 번호에 포함되는 이미지 데이터를 시작으로 현재의 쪽 번호에서 가까운 순서로 진행된다. 만약, 동일한 차이의 쪽 번호를 갖는 페이지가 전후로 존재하는 경우에는, 현재의 쪽 번호보다 큰 쪽 번호의 이미지 데이터를 우선 비교한 후에 현재의 쪽 번호보다 작은 쪽 번호의 이미지 데이터를 비교한다.The order of the image data to be compared with the target image data is determined based on the page number of the received document information data. The comparison procedure proceeds in the order close to the current page number, starting with the image data included in the current page number. If pages with the same page numbers of the same difference exist before and after, image data of a page number larger than the current page number is first compared, and then image data of a page number smaller than the current page number is compared.

예를 들어, 상기 입력장치(100)로부터 수신한 물리문서(300)의 쪽 번호가 15이고 하이퍼링크표에서 쪽 번호 13과 쪽 번호 17이 모두 존재한다면, 쪽 번호 17에서 추출한 이미지 데이터를 먼저 비교하고 난 이후에 쪽 번호 13에서 추출한 이미지 데이터를 비교하게 된다.For example, if the page number of the physical document 300 received from the input device 100 is 15 and both the page number 13 and the page number 17 are present in the hyperlink table, the image data extracted from the page number 17 is first compared. After that, the image data extracted from page 13 is compared.

상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터가 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에 저장되어 있는 경우에는, 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에서 검색된 상기 이미지 데이터에 대한 전자정보의 주소를 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)의 하이퍼링크표로부터 획득하는 단계(S60)는, 상기 수신한 대상이미지 데이터가 상기 이미지 DB(222)에 기 저장 되어있는 이미지 데이터와 동일한 이미지 데이터가 존재하면, 상기 하이퍼링크표에서 해당 이미지 데이터에 대한 전자정보의 주소를 획득한다. 상기 전자정보의 주소는 인터넷상의 URL주소인 경우와 자체적으로 제작하여 상기 전자정보 DB(223)에 저장되어있는 파일명 두 가지 종류가 있다.When the image data corresponding to the recognized target image data is stored in the image DB 222 in the DB storage unit 220 provided in the information device 200, the DB provided in the information device 200 The hyperlink table of the hyperlink information DB 224 in the DB storage unit 220 provided in the information device 200 with the address of the electronic information for the image data retrieved from the image DB 222 in the storage unit 220. In operation S60, if the received target image data includes the same image data as the image data previously stored in the image DB 222, the electronic information on the corresponding image data may be included in the hyperlink table. Obtain the address. The address of the electronic information has two kinds of file names, which are produced by themselves and stored in the electronic information DB 223, as the URL address on the Internet.

상기 정보기기(200)에 구비된 표시부(250)가 상기 획득한 전자정보의 주소에 의하여 전자정보를 표시하는 단계(S70)는, 상기 획득한 전자정보의 URL 주소 또는 정보기기(200)내 전자정보 파일명에 의하여 상기 표시부(250)에 상기 대상이미지 데이터에 대한 전자정보를 표시한다. 이 경우에, 상기 전자정보의 주소에 의하여 표시된 전자정보에 대응하는 이미지 데이터가 추출된 전자문서 이미지를 검색하여, 검색된 상기 전자문서 이미지를 배경이미지로 표시한다.The display unit 250 of the information device 200 displays the electronic information by the obtained address of the electronic information (S70), the URL address of the obtained electronic information or the electronic device in the information device 200. Electronic information about the target image data is displayed on the display unit 250 according to the information file name. In this case, the electronic document image from which image data corresponding to the electronic information indicated by the address of the electronic information is extracted is searched, and the retrieved electronic document image is displayed as a background image.

또한, 본 발명의 다른 실시예에 따른 물리문서(300)의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법의 제어방법은 다음과 같이 즉, 본 발명의 일실시예에서 따른 물리문서(300)의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법에서 상기 단계(S10) 내지 단계(S20)는 동일한 과정에 의하여 이루어지며, 다만, 상기 정보기기(200)에 구비된 수신부가 상기 문서정보 데이터를 수신하고, 수신된 상기 문서정보 데이터 내의 문자를 판독· 식별하여 문서정보를 생성하며, 생성된 상기 문서정보가 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)의 하이퍼링크표에서 검색하여 존재하는 문서인지를 확인하는 단계(S20)에서, 상기 문서정보 데이터에 해당하는 문서정보가 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)에 존재하고 있지 않은 경우에는, 상기 정보기기(200)에 구비된 수신부가 상기 문서정보 데이터를 수신하고, 수신된 상기 문서정보 데이터 내의 문자를 판독· 식별하여 문서정보를 생성하며, 생성된 상기 문서정보가 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 하이퍼링크정보 DB(224)의 하이퍼링크표에서 검색하여 존재하는 문서인지를 확인하는 단계(S20) 이후에 상기 입력장치(100)에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기(200)로 전송하는 단계(S30)와; 상기 정보기기(200)에 구비된 수신부(210)가 다수의 대상이미지 데이터를 수신하는 단계(S40)와; 상기 정보기기(200)에 구비된 이미지 인식부(230)가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 인식된 대상이미지 데이터 내의 문자를 판독· 식별하여 식별데이터를 생성하는 단계(S80)와; 상기 정보기기(200)에 구비된 정보검색부(240)의 전자사전(241)에 의하여 상기 이미지 인식부(230)로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계(S90) 또는 상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 상기 이미지 인식부(230)로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계(S100)로 이루어진다.In addition, the control method of the control method of the electronic information providing system for the words, symbols and images of the physical document 300 according to another embodiment of the present invention is as follows, that is, the physical document according to an embodiment of the present invention ( In the control method of the electronic information providing system for the word, symbol and image of 300, the steps S10 to S20 are performed by the same process, except that the receiving unit provided in the information device 200 Receives document information data, reads and identifies the received character in the document information data to generate document information, the generated document information is a hyperlink in the DB storage unit 220 provided in the information device 200 In step S20 of checking the hyperlink table of the information DB 224 to determine whether the document exists, the document information corresponding to the document information data is stored in the DB storage unit 220 provided in the information device 200. Ha If it is not present in the perlink information DB 224, the receiving unit provided in the information device 200 receives the document information data, reads and identifies the characters in the received document information data, and displays the document information. Generating and checking whether the generated document information is an existing document by searching the hyperlink table of the hyperlink information DB 224 in the DB storage unit 220 provided in the information device 200 (S20). Transmitting a plurality of target image data photographed and generated by the input apparatus 100 to the information device 200 (S30); Receiving, by the receiving unit 210 of the information device 200, a plurality of target image data (S40); The image recognition unit 230 included in the information device 200 recognizes the plurality of received target image data by combining them into one target image data, and reads, identifies, and identifies characters in the recognized target image data. Generating data (S80); Searching, extracting, and displaying electronic information corresponding to identification data generated from the image recognition unit 230 by the electronic dictionary 241 of the information retrieval unit 240 provided in the information device 200 (S90). Or searching and extracting and displaying electronic information corresponding to the identification data generated from the image recognition unit 230 by the web searcher 242 provided in the information search unit 240 (S100).

더욱 상세하게는, 상기 입력장치(100)에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기(200)로 전송하는 단계(S30)는, 상기 입력장치(100)가 상기 물리문서(300)상에 기록된 단어, 심볼 및 이미지 등의 대상이미지를 촬영하여 대상이미지 데이터를 생성하고, 생성한 상기 대상이미지 데이터를 상기 정보기기(200)로 전송한다.More specifically, in the step S30 of transmitting the plurality of target image data photographed and generated by the input device 100 to the information device 200, the input device 100 may transmit the physical document 300. The target image such as a word, a symbol, and an image recorded on the image is taken to generate target image data, and the generated target image data is transmitted to the information device 200.

상기 입력장치(100)는 사용자가 의도하는 대상이미지의 너비가 상기 입력장치(100)의 촬영영역의 너비보다 큰 경우에, 상기 대상이미지를 촬영영역의 너비 단위로 분할하고 촬영하여 다수의 상기 대상이미지 데이터를 생성하고, 생성된 상기 다수의 대상이미지 데이터를 순차적으로 모두 정보기기(200)로 전송한다.When the width of the target image intended by the user is larger than the width of the shooting area of the input device 100, the input device 100 divides the target image into units of the width of the shooting area and captures the plurality of the target images. Image data is generated and all of the generated plurality of target image data are sequentially transmitted to the information device 200.

상기 입력장치(100)가 대상이미지를 촬영하여 대상이미지 데이터를 생성하고 정보기기로 전송하는 단계(S30)의 더욱 구체적인 내용은 상기에서와 같이 본 발명의 일실시예에서 따른 물리문서(300)의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법과 동일한 과정에 의하여 이루어지며 생략하도록 한다.The input device 100 captures the target image to generate target image data and transmits the target image data to the information device (S30). As described above, the physical document 300 according to an embodiment of the present invention is described. It is made by the same process as the control method of the electronic information providing system for the word, symbol and image and will be omitted.

상기 정보기기(200)에 구비된 수신부(210)가 다수의 대상이미지 데이터를 수신하는 단계(S40)는, 상기 정보기기(200)의 수신부(210)는 상기 입력장치(100)로부터 상기 대상이미지 데이터를 수신한다. 상기 입력장치(100)로부터 수신한 상기 대상이미지 데이터가 다수인 경우에, 다수의 상기 대상이미지 데이터를 순차적으로 조합하여 하나의 대상이미지 데이터로 인식한다.Receiving unit 210 provided in the information device 200 receives a plurality of target image data (S40), the receiving unit 210 of the information device 200 is the target image from the input device 100 Receive data. When the target image data received from the input apparatus 100 is plural, the plurality of target image data are sequentially combined to be recognized as one target image data.

상기 정보기기(200)에 구비된 이미지 인식부(230)가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 인식된 대상이미지 데이터 내의 문자를 판독· 식별하여 식별데이터를 생성하는 단계(S80)는, 상기 이미지 인식부(230)가 다수의 수신된 대상 이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고 인식된 대상이미지 데이터 내의 문자를 판독· 식별하여 문자변환에 의하여 식별데이터를 생성한다.The image recognition unit 230 included in the information device 200 recognizes the plurality of received target image data by combining them into one target image data, and reads, identifies, and identifies characters in the recognized target image data. In the generating of the data (S80), the image recognition unit 230 recognizes by combining a plurality of received target image data into one target image data, and reads and identifies a character in the recognized target image data to convert the characters. Generate identification data.

상기 정보기기(200)에 구비된 정보검색부(240)의 전자사전(241)에 의하여 상기 이미지 인식부(230)로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계(S90)는, 상기 이미지 인식부(230)에서 생성된 식별데이터에 대한 전자정보가 상기 정보검색부(240)의 전자사전(241)에 의하여 검색되고, 검색된 상기 전자정보가 상기 표시부(250)에 표시된다.Searching, extracting, and displaying electronic information corresponding to identification data generated from the image recognition unit 230 by the electronic dictionary 241 of the information retrieval unit 240 provided in the information device 200 (S90). ), The electronic information on the identification data generated by the image recognition unit 230 is searched by the electronic dictionary 241 of the information search unit 240, the searched electronic information is displayed on the display unit 250 do.

상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 상기 이미지 인식부(230)로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계(S100), 상기 이미지 인식부(230)에서 생성된 식별데이터에 대한 전자정보가 상기 웹검색기(242)에 의하여 검색되고, 검색된 상기 전자정보가 상기 표시부(250)에 표시된다.Searching, extracting and displaying the electronic information corresponding to the identification data generated from the image recognition unit 230 by the web searcher 242 provided in the information search unit 240 (S100), the image recognition unit Electronic information on the identification data generated at 230 is searched by the web searcher 242, and the searched electronic information is displayed on the display unit 250.

또한, 상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 상기 이미지 인식부(230)로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계(S100) 이후에는 상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 검색된 전자정보를 DB 저장부(220)에 저장하는 단계(S110)를 더 포함하여 이루어진다.In addition, after searching, extracting and displaying the electronic information corresponding to the identification data generated from the image recognition unit 230 by the web searcher 242 provided in the information search unit 240 (S100) The method may further include storing the electronic information searched by the web searcher 242 included in the information searcher 240 in the DB storage 220 (S110).

상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 검색된 전자정보를 DB 저장부(220)에 저장하는 단계(S110)는 상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 상기 식별데이터를 검색하여 상기 식별데이터에 관한 전자정보를 표시하는 단계(S100)에서 검색된 인터넷상의 전자정보의 URL과 상기 식별이미지와 상기 대상이미지 데이터를 DB 저장부(220)에 저장하고, 새로 저장된 상기 대상이미지 데이터에 관한 사항을 상기 하이퍼링크표에 추가하거나 상기 하이퍼링크표가 존재하지 않는 물리문서(300)의 대상이미지 데이터인 경우에 하이퍼링크표를 새로 생성하여 저장한다.The step S110 of storing the electronic information searched by the web searcher 242 provided in the information search unit 240 in the DB storage unit 220 may include the web searcher 242 provided in the information search unit 240. Storing the URL, the identification image and the target image data of the electronic information on the Internet searched at the step S100 of displaying the electronic information related to the identification data by searching the identification data; The newly stored information about the target image data is added to the hyperlink table, or a new hyperlink table is generated and stored when the target image data of the physical document 300 does not exist.

아울러, 본 발명의 또 다른 실시예에 따른 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법에 있어서, 또한, 본 발명의 다른 실시예에 따른 물리문서(300)의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법의 제어방법은 다음과 같이 즉, 본 발명의 일실시예에서 따른 물리문서(300)의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법의 상기 단계(S10) 내지 단계(S50)는 동일한 과정에 의하여 이루어지며, 다만, 상기 정보기기(200)에 구비된 이미지 인식부(230)가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터를 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에서 검색하는 단계(S50)에서, 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터가 상기 정보기기(200)에 구비된 DB 저장부(220) 내의 이미지 DB(222)에 저장되어 있지 않는 경우에는, 상기 이미지 인식부(230)가 상기 인식된 대상이미지 데이터 내의 문자를 판독· 식별하여 식별데이터를 생성하는 단계(S80)와; 상기 정보기기(200)에 구비된 정보검색부(240)의 전자사전(241)에 의하여 상기 이미지 인식부(230)로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계(S90) 또는 상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 상기 이미지 인식부(230)로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계(S100)로 이루어지며, 이후에는 상기 정보검색부(240)에 구비된 웹검색기(242)에 의하여 검색된 전자정보를 DB 저장부(220)에 저장하는 단계(S110)를 더 포함하여 이루어진다.In addition, in the control method of the electronic information providing system for the words, symbols and images of the physical document according to another embodiment of the present invention, and also, the words, symbols of the physical document 300 according to another embodiment of the present invention And a control method of a control method of an electronic information providing system for an image as follows: That is, the control method of the electronic information providing system for a word, a symbol, and an image of a physical document 300 according to an embodiment of the present invention. Steps S10 to S50 are performed by the same process, except that the image recognition unit 230 included in the information device 200 converts the received plurality of target image data into one target image data. In step S50 of combining and recognizing and retrieving the image data corresponding to the recognized target image data in the image DB 222 in the DB storage unit 220 provided in the information device 200, If the image data corresponding to the previously recognized target image data is not stored in the image DB 222 in the DB storage unit 220 provided in the information device 200, the image recognition unit 230 is Generating identification data by reading and identifying characters in the recognized object image data (S80); Searching, extracting, and displaying electronic information corresponding to identification data generated from the image recognition unit 230 by the electronic dictionary 241 of the information retrieval unit 240 provided in the information device 200 (S90). Or searching and extracting and displaying electronic information corresponding to the identification data generated from the image recognition unit 230 by the web searcher 242 provided in the information search unit 240 (S100). After that, the method further includes storing the electronic information searched by the web searcher 242 included in the information searcher 240 in the DB storage 220 (S110).

따라서, 본 발명의 일실시예에 따른 물리문서(300)의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템과 그 제어방법에 의하면, 물리문서(300)상에서 사용자가 숙지하지 못하여 추가적인 정보를 얻고자하는 단어, 심볼 및 이미지 등의 대상이미지를 입력장치(100)로 촬영하여 대상이미지 데이터를 생성하고, 생성한 대상이미지 데이터를 이용하여 자체적으로 기 저장하고 있는 전자정보를 검색하거나 기 저장하고 있던 인터넷상의 링크주소를 획득하여 접속함으로써 필요한 전자정보를 제공함은 물론이고, 상기 정보기기(200) 내에 저장하고 있지 않은 상기 대상이미지 데이터에 대한 전자정보는 전자사전(241)과 웹검색기(242)를 이용하여 정보를 검색함으로써, 인터넷상에서 하이퍼텍스트를 이용하여 즉각적으로 정보를 습득하는 것과 마찬가지로 읽기 도중에 건너뛰어 각주를 읽거나 또는 다른 문서를 참조하기 위하여 읽기를 멈추지 않고도 다양한 형태의 전자정보를 신속하면서도 쉽게 검색할 수 있는 효과가 있다.Therefore, according to the electronic information providing system for the words, symbols and images of the physical document 300 and the control method thereof according to an embodiment of the present invention, the user does not know on the physical document 300 to obtain additional information Target image such as words, symbols and images to be taken by the input device 100 to generate the target image data, and using the generated target image data to retrieve the electronic information that is stored in advance or the Internet was previously stored Obtaining and accessing the link address of the electronic device, as well as providing the necessary electronic information, the electronic information for the target image data that is not stored in the information device 200 using the electronic dictionary 241 and the web searcher 242 By retrieving information from the Internet, using the hypertext on the Internet to instantly read the information. While the skip reading the footnotes or other documents without stopping to read to see quickly the various forms of electronic information there is an effect that can be easily retrieved.

또한, 상기 입력장치(100)에 의하여 단어, 이미지 및 심볼이 기록된 물리문서(300)에 기준선 조명계(120)와 기준바(130)를 이용하여 추가적인 정보를 얻고자 하는 대상이미지를 명확하게 표시한 대상이미지 데이터를 정보기기(200)에 입력하고, 상기 대상이미지를 촬영함에 있어서 촬영초점을 항상 일정하게 유지하는 촬영기기(140)에 의하여 상기 대상이미지를 재촬영하는 경우에도 상기 대상이미지 데이터가 동일하게 생성되도록 하여 정보기기(200)에 입력할 수 있기 때문에 정보기기(200)에서 보다 정확하게 정보검색을 할 수 있다.In addition, by using the reference line illumination system 120 and the reference bar 130 on the physical document 300 in which words, images, and symbols are recorded by the input device 100, the target image to obtain additional information is clearly displayed. The target image data is input even when the target image data is input to the information device 200 and the target image is re-photographed by the photographing apparatus 140 which always maintains a constant focus in capturing the target image. Since the same information can be input to the information device 200, the information device 200 can search information more accurately.

지금까지 본 발명에 대해서 상세히 설명하였으나, 그 과정에서 언급한 실시예는 예시적인 것일 뿐, 한정적인 것은 아님이 분명히 하며, 본 발명은 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상이나 분야를 벗어나지 않는 범위 내에서, 균등하게 대처될 수 있는 정도의 구성요소 변경은 본 발명의 범위에 속한다 할 것이다.The present invention has been described in detail so far, but the embodiments mentioned in the process are merely illustrative and are not intended to be limiting, and the present invention is provided by the following claims. Within the scope of not departing from the scope of the present invention, changes in the components that can be coped evenly will fall within the scope of the present invention.

도 1은 본 발명에 따른 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템 구성도1 is a block diagram of an electronic information providing system for words, symbols, and images of a physical document according to the present invention.

도 2는 본 발명에 따른 입력장치 사시도2 is a perspective view of an input device according to the present invention;

도 3은 본 발명에 따른 정보기기 블록도3 is a block diagram of an information device according to the present invention.

도 4는 본 발명에 따른 대상이미지 데이터의 구성도4 is a configuration diagram of target image data according to the present invention;

도 5는 본 발명에 따른 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법 흐름도 5 is a flowchart illustrating a control method of an electronic information providing system for words, symbols, and images of a physical document according to the present invention.

도 6은 본 발명에 따른 입력장치가 대상이미지를 촬영하여 대상이미지 데이터를 생성하고 정보기기로 전송하는 단계를 구체적으로 도시한 흐름도6 is a flowchart specifically illustrating a step in which an input apparatus photographs a target image, generates target image data, and transmits the same to an information device according to the present invention;

*주요 도면부호에 대한 설명** Description of the major reference marks *

100 : 입력장치 110 : 본체100: input device 110: main body

120 : 기준선 조명계 121 : 기준선120: reference line illumination system 121: reference line

130 : 기준바 140 : 촬영기기130: reference bar 140: recording device

150 : 전송부 200 : 정보기기 150: transmission unit 200: information equipment

210 : 수신부 220 : DB 저장부210: receiver 220: DB storage unit

221 : 전자문서 DB 222 : 이미지 DB 221: Electronic document DB 222: Image DB

223 : 전자정보 DB 224 : 하이퍼링크정보 DB223: Electronic information DB 224: Hyperlink information DB

230 : 이미지 인식부 240 : 정보검색부 230: image recognition unit 240: information search unit

241 : 전자사전 242 : 웹검색기 241: Electronic Dictionary 242: Web Search Machine

250 : 표시부 260 : 제어부250: display unit 260: control unit

300 : 물리문서 400 : 인터넷300: Physics Document 400: Internet

Claims (24)

삭제delete 삭제delete 삭제delete 물리문서의 제목과 ISBN 및 쪽 번호 등의 문서정보를 촬영하여 문서정보 데이터를 생성하고, 상기 물리문서상에 기록된 단어, 심볼 및 이미지에 대한 대상이미지를 촬영하여 대상이미지 데이터를 생성하는 입력장치와, 상기 입력장치에 의하여 생성된 상기 문서정보 데이터와 대상이미지 데이터에 해당되는 문서정보 또는 전자정보를 검색 및 추출하여 표시하는 정보기기로 이루어지는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템에 있어서, An input device for generating document information data by capturing document information such as a title, ISBN, and page number of a physical document, and photographing a target image of words, symbols, and images recorded on the physical document; And an electronic information providing system for a word, a symbol, and an image of a physical document comprising an information device for searching, extracting, and displaying document information or electronic information corresponding to the document information data and target image data generated by the input device. In 상기 입력장치는: 설치면과 평행하게 배치되는 상단부와, 상기 설치면과 수직방향으로 일측은 상기 상단부에 고정되어 연결되고 타측은 상기 설치면에 접하여 설치되는 하단부로 이루어지는 본체와; 상기 본체의 상단부에 고정 배치되어 상기 문서정보 및 상기 대상이미지의 너비에 대응되도록 그 길이가 가변적인 기준선을 조명하는 기준선 조명계와; 상기 설치면과 평행하게 상기 본체의 하단부 저면에 고정 배치되어 상기 문서정보 및 대상이미지를 표시하는 기준바와; 상기 본체의 상단부에 설치되어 상기 문서정보 및 대상이미지를 촬영하여 상기 문서정보 데이터와 대상이미지 데이터를 생성하는 촬영기기; 및 상기 촬영기기에서 생성한 문서정보 데이터와 대상이미지 데이터를 상기 정보기기로 전송하는 전송부를 포함하며; The input device may include: a main body including an upper end disposed in parallel with an installation surface, one end fixedly connected to the upper end in a direction perpendicular to the installation surface, and the other end connected to the installation surface; A reference line illumination system fixedly disposed at an upper end of the main body to illuminate a reference line whose length is variable so as to correspond to the document information and the width of the target image; A reference bar fixedly disposed at the bottom of the lower end of the main body in parallel with the installation surface to display the document information and the target image; A photographing apparatus installed at an upper end of the main body to photograph the document information and the target image to generate the document information data and the target image data; And a transmission unit for transmitting the document information data and the target image data generated by the photographing device to the information device. 상기 정보기기는: 상기 입력장치의 전송부에 의하여 전송된 상기 문서정보 데이터 및 대상이미지 데이터를 수신하는 수신부와; 다수의 전자문서 이미지, 다수의 이미지 데이터와 다수의 전자정보, 상기 다수의 전자문서 이미지의 주소, 상기 다수의 이미지 데이터의 주소, 상기 다수의 전자정보의 주소 및 상기 다수의 이미지 데이터에 대한 전자정보가 표시된 인터넷상의 URL주소를 포함하여 이루어지는 다수의 하이퍼링크표가 저장된 DB 저장부와; 상기 문서정보 데이터 및 상기 대상이미지 데이터 내에서 대상이미지 주변의 이미지를 참조하여, 상기 대상이미지 데이터와 상기 DB 저장부에 기 저장된 상기 다수의 이미지 데이터를 비교 검색하고, 상기 비교 검색결과 상기 대상이미지 데이터에 해당되는 이미지 데이터가 상기 DB 저장부에 기 저장된 이미지 데이터인 경우에는 기 저장된 이미지 데이터에 해당되는 전자정보를 추출하고, 상기 비교 검색결과 상기 대상이미지 데이터에 해당되는 이미지 데이터가 상기 DB 저장부에 저장되어 있지 않은 경우에는 상기 대상이미지 데이터를 인식하고 인식된 대상이미지 데이터 내의 문자를 판독· 식별하여 식별데이터를 생성하는 이미지 인식부와; 상기 이미지 인식부로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하는 정보검색부와; 상기 이미지 인식부 또는 정보검색부에서 추출된 상기 전자정보를 표시하는 표시부; 및 상기 이미지 인식부의 요청에 의하여 상기 이미지 인식부로부터 생성된 상기 식별데이터에 대한 상기 전자정보를 검색 및 추출하도록 상기 정보검색부를 제어하고, 상기 이미지 인식부 또는 상기 정보검색부가 검색 및 추출한 상기 전자정보를 표시하도록 상기 표시부를 제어하는 제어부로 이루어지는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템.The information device includes: a receiving unit for receiving the document information data and the target image data transmitted by the transmitting unit of the input device; A plurality of electronic document images, a plurality of image data and a plurality of electronic information, addresses of the plurality of electronic document images, addresses of the plurality of image data, addresses of the plurality of electronic information and electronic information about the plurality of image data A DB storage unit for storing a plurality of hyperlink tables including URL addresses on the Internet; The target image data is compared with the image around the target image in the document information data and the target image data, and the target image data is compared with the plurality of image data previously stored in the DB storage unit. If the image data corresponding to the image data are pre-stored in the DB storage unit, the electronic information corresponding to the pre-stored image data is extracted, and as a result of the comparison search, the image data corresponding to the target image data is stored in the DB storage unit. An image recognition unit that recognizes the target image data and generates identification data by reading and identifying a character in the recognized target image data, if not stored; An information search unit for searching and extracting electronic information corresponding to the identification data generated from the image recognition unit; A display unit which displays the electronic information extracted by the image recognition unit or the information retrieval unit; And controlling the information retrieval unit to retrieve and extract the electronic information on the identification data generated from the image recognizing unit at the request of the image recognizing unit, and the electronic information retrieved and extracted by the image recognizing unit or the information retrieval unit. Electronic information providing system for a word, symbol and image of a physical document comprising a control unit for controlling the display unit to display. 청구항 4에 있어서, 상기 대상이미지 데이터는,The method according to claim 4, wherein the target image data, 상기 대상이미지와 상기 기준선 조명계에 의하여 조명된 기준선의 이미지와 기준바의 이미지를 포함하는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템.And an image of a reference line illuminated by the target image, the reference line illumination system, and an image of a reference bar. 청구항 4에 있어서, 상기 촬영기기는,The method according to claim 4, wherein the photographing apparatus, 상기 대상이미지를 재촬영하는 경우에도 촬영초점을 일정하게 유지하여 상기 대상이미지 데이터와 동일한 대상이미지 데이터를 생성하는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템.Even when re-shooting the target image, the electronic image providing system for words, symbols, and images of the physical document, characterized in that to maintain a constant shooting focus to generate the same target image data as the target image data. 삭제delete 청구항 4에 있어서, 상기 대상이미지의 너비가 상기 촬영영역의 너비보다 큰 경우에, 상기 입력장치에 구비된 촬영기기는 기 저장된 촬영영역의 너비 단위로 상기 대상이미지를 분할하고, 상기 본체 상단부의 길이방향에 따라 상기 분할된 대상 이미지를 순차적으로 촬영하여 다수의 대상이미지 데이터를 생성하고; 상기 입력장치에 구비된 전송부는 상기 생성된 다수의 대상이미지 데이터를 순차적으로 정보기기로 전송하고; 상기 정보기기에 구비된 수신부는 상기 순차적으로 전송된 다수의 대상이미지 데이터를 수신하며; 상기 정보기기에 구비된 이미지 인식부는 상기 순차적으로 수신한 다수의 대상이미지 데이터를 조합하여 하나의 대상이미지 데이터로 인식하는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템.The apparatus of claim 4, wherein when the width of the target image is larger than the width of the photographing region, the photographing apparatus provided in the input device divides the subject image by the width unit of the pre-stored photographing region, and length of the upper end of the main body. Generating a plurality of target image data by sequentially photographing the divided target images according to a direction; A transmission unit provided in the input device sequentially transmits the generated plurality of target image data to an information device; A receiving unit provided in the information device receives the plurality of target image data transmitted sequentially; And an image recognizing unit provided in the information device combines the plurality of target image data received sequentially and recognizes the target image data as one target image data. 삭제delete 삭제delete 청구항 4에 있어서, 상기 DB 저장부는,The method of claim 4, wherein the DB storage unit, 다수의 물리문서를 스캔하여 생성한 다수의 전자문서 이미지가 저장되는 전자문서 DB와;An electronic document DB storing a plurality of electronic document images generated by scanning a plurality of physical documents; 상기 다수의 전자문서 이미지로부터 선택 추출한 상기 다수의 이미지 데이터가 저장되는 이미지 DB와; An image DB storing the plurality of image data selected and extracted from the plurality of electronic document images; 상기 다수의 이미지 데이터에 대응하는 상기 다수의 전자정보가 저장되는 전자정보 DB; 및An electronic information DB in which the plurality of electronic information corresponding to the plurality of image data is stored; And 상기 다수의 전자문서 이미지의 주소, 상기 다수의 이미지 데이터의 주소, 상기 다수의 전자정보의 주소 및 상기 다수의 이미지 데이터에 대한 전자정보가 표시된 인터넷상의 URL주소를 포함하여 이루어지는 다수의 하이퍼링크표가 저장되는 하이퍼링크정보 DB;로 이루어지는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템.A plurality of hyperlink tables comprising addresses of the plurality of electronic document images, addresses of the plurality of image data, addresses of the plurality of electronic information, and URL addresses on the Internet on which electronic information for the plurality of image data is displayed. Electronic information providing system for the words, symbols and images of the physical document, characterized in that consisting of; hyperlink information DB to be stored. 삭제delete 청구항 4에 있어서, 상기 정보검색부는, The method according to claim 4, wherein the information search unit, 전자사전 및 웹검색기로 이루어지며, 상기 전자사전 및 웹검색기 중 어느 하나에 의하여 상기 식별데이터에 대응하는 전자정보를 검색 및 추출하는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템.It consists of an electronic dictionary and a web searcher, and provides electronic information for words, symbols, and images of a physical document, wherein the electronic information corresponding to the identification data is searched and extracted by any one of the electronic dictionary and a web searcher. system. 청구항 4에 있어서, 상기 표시부는,The method of claim 4, wherein the display unit, 상기 문서정보 데이터에 해당되는 전자문서 이미지를 검색하여 검색된 전자문서 이미지를 배경이미지로 표시하고, 상기 표시된 배경이미지 위에 상기 대상 이미지 데이터를 참조하여 검색 추출된 전자정보를 중첩하여 표시하는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템.Search for the electronic document image corresponding to the document information data and display the searched electronic document image as a background image, and superimpose and display the extracted electronic information with reference to the target image data on the displayed background image. Electronic information provision system for words, symbols, and images in physical documents. 제목과 ISBN 및 쪽 번호 등의 문서정보가 기록된 물리문서를 촬영하여 문서정보 데이터를 생성하고, 상기 물리문서상에 기록된 단어, 심볼 및 이미지에 대한 대상이미지를 촬영하여 다수의 대상이미지 데이터를 생성하는 촬영 및 송수신 기능을 갖는 입력장치와, 상기 입력장치에 의하여 생성된 문서정보 데이터와 대상이미지 데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 정보기기로 이루어지는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법에 있어서, Generates document information data by photographing a physical document in which document information such as title, ISBN, and page number are recorded, and generates a plurality of target image data by photographing a target image of words, symbols, and images recorded on the physical document. An input device having a photographing and transmitting / receiving function, and an information device for searching, extracting and displaying electronic information corresponding to document information data and target image data generated by the input device. In the control method of the electronic information providing system for, 상기 입력장치에 의하여 촬영되어 생성된 상기 문서정보 데이터를 상기 정보기기로 전송하는 단계와;Transmitting the document information data photographed and generated by the input device to the information device; 상기 정보기기에 구비된 수신부가 상기 문서정보 데이터를 수신하는 단계와;Receiving, by the receiver, the document information data provided in the information device; 상기 수신된 문서정보데이터 내의 문자를 판독· 식별하여 문서정보를 생성하고, 생성된 상기 문서정보가 상기 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB의 하이퍼링크표에서 검색하여 존재하는 문서인지를 확인하는 단계와;The document information is generated by reading and identifying the characters in the received document information data, and the generated document information is a document existing by searching in the hyperlink table of the hyperlink information DB in the DB storage unit provided in the information apparatus. Confirming; 상기 문서정보가 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB에 존재하는 기 저장된 문서인 경우에는, 상기 입력장치에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기로 전송하는 단계와;If the document information is a pre-stored document existing in the hyperlink information DB in the DB storage unit provided in the information device, transmitting a plurality of target image data photographed and generated by the input device to the information device; ; 상기 정보기기에 구비된 수신부가 다수의 대상이미지 데이터를 수신하는 단계와;Receiving a plurality of target image data by a receiver provided in the information device; 상기 정보기기에 구비된 이미지 인식부가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 대상이미지 주변의 이미지를 함께 참조하여 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터를 상기 정보기기에 구비된 DB 저장부 내의 이미지 DB에서 검색하는 단계와;The image recognition unit included in the information device recognizes the received plurality of target image data by combining them into one target image data, and refers to the image around the target image together, and image data corresponding to the recognized target image data. Searching for an image DB in a DB storage unit provided in the information device; 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터가 상기 정보기기에 구비된 DB 저장부 내의 이미지 DB에 저장되어 있는 경우에는, 상기 정보기기에 구비된 DB 저장부 내의 이미지 DB에서 검색된 상기 이미지 데이터에 대한 전자정보의 주소를 상기 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB의 하이퍼링크표로부터 획득하는 단계와;If the image data corresponding to the recognized target image data is stored in the image DB in the DB storage unit provided in the information device, the image data retrieved from the image DB in the DB storage unit provided in the information device Obtaining an address of electronic information from a hyperlink table of a hyperlink information DB in a DB storage unit provided in the information device; 상기 정보기기에 구비된 표시부가 상기 획득한 전자정보의 주소에 의하여 전자정보를 표시하는 단계;Displaying, by the display unit provided in the information device, electronic information based on the obtained address of the electronic information; 로 이루어지는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.A control method of an electronic information providing system for words, symbols, and images of a physical document, characterized in that consisting of. 제목과 ISBN 및 쪽 번호 등의 문서정보가 기록된 물리문서를 촬영하여 문서정보 데이터를 생성하고, 상기 물리문서상에 기록된 단어, 심볼 및 이미지에 대한 대상이미지를 촬영하여 다수의 대상이미지 데이터를 생성하는 촬영 및 송수신 기능을 갖는 입력장치와, 상기 입력장치에 의하여 생성된 문서정보 데이터와 대상이미지 데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 정보기기로 이루어지는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법에 있어서,Generates document information data by photographing a physical document in which document information such as title, ISBN, and page number are recorded, and generates a plurality of target image data by photographing a target image of words, symbols, and images recorded on the physical document. An input device having a photographing and transmitting / receiving function, and an information device for searching, extracting and displaying electronic information corresponding to document information data and target image data generated by the input device. In the control method of the electronic information providing system for, 상기 입력장치에 의하여 촬영되어 생성된 상기 문서정보 데이터를 상기 정보기기로 전송하는 단계와;Transmitting the document information data photographed and generated by the input device to the information device; 상기 정보기기에 구비된 수신부가 상기 문서정보 데이터를 수신하는 단계와;Receiving, by the receiver, the document information data provided in the information device; 상기 수신된 문서정보데이터 내의 문자를 판독· 식별하여 문서정보를 생성하고, 생성된 상기 문서정보가 상기 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB의 하이퍼링크표에서 검색하여 존재하는 문서인지를 확인하는 단계와;The document information is generated by reading and identifying the characters in the received document information data, and the generated document information is a document existing by searching in the hyperlink table of the hyperlink information DB in the DB storage unit provided in the information apparatus. Confirming; 상기 문서정보가 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB에 존재하는 기 저장된 문서인 경우에는, 상기 입력장치에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기로 전송하는 단계와;If the document information is a pre-stored document existing in the hyperlink information DB in the DB storage unit provided in the information device, transmitting a plurality of target image data photographed and generated by the input device to the information device; ; 상기 정보기기에 구비된 수신부가 다수의 대상이미지 데이터를 수신하는 단계와;Receiving a plurality of target image data by a receiver provided in the information device; 상기 정보기기에 구비된 이미지 인식부가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 대상이미지 주변의 이미지를 함께 참조하여 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터를 상기 정보기기에 구비된 DB 저장부 내의 이미지 DB에서 검색하는 단계와;The image recognition unit included in the information device recognizes the received plurality of target image data by combining them into one target image data, and refers to the image around the target image together, and image data corresponding to the recognized target image data. Searching for an image DB in a DB storage unit provided in the information device; 상기 인식된 대상이미지 데이터에 대응하는 이미지 데이터가 상기 정보기기에 구비된 DB 저장부 내의 이미지 DB에 저장되어 있지 않은 경우에는, 상기 이미지 인식부가 상기 인식된 대상이미지 데이터 내의 문자를 판독· 식별하여 식별데이터를 생성하는 단계와; If the image data corresponding to the recognized target image data is not stored in the image DB in the DB storage unit provided in the information device, the image recognition unit reads, identifies and identifies characters in the recognized target image data. Generating data; 상기 정보기기에 구비된 정보검색부의 전자사전 또는 웹검색기에 의하여 상기 이미지 인식부로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계;Searching, extracting and displaying electronic information corresponding to identification data generated from the image recognition unit by an electronic dictionary or a web searcher of the information retrieval unit provided in the information device; 로 이루어지는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.A control method of an electronic information providing system for words, symbols, and images of a physical document, characterized in that consisting of. 제목과 ISBN 및 쪽 번호 등의 문서정보가 기록된 물리문서를 촬영하여 문서정보 데이터를 생성하고, 상기 물리문서상에 기록된 단어, 심볼 및 이미지에 대한 대상이미지를 촬영하여 다수의 대상이미지 데이터를 생성하는 촬영 및 송수신 기능을 갖는 입력장치와, 상기 입력장치에 의하여 생성된 문서정보 데이터와 대상이미지 데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 정보기기로 이루어지는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법에 있어서,Generates document information data by photographing a physical document in which document information such as title, ISBN, and page number are recorded, and generates a plurality of target image data by photographing a target image of words, symbols, and images recorded on the physical document. An input device having a photographing and transmitting / receiving function, and an information device for searching, extracting and displaying electronic information corresponding to document information data and target image data generated by the input device. In the control method of the electronic information providing system for, 상기 입력장치에 의하여 촬영되어 생성된 상기 문서정보 데이터를 상기 정보기기로 전송하는 단계와;Transmitting the document information data photographed and generated by the input device to the information device; 상기 정보기기에 구비된 수신부가 상기 문서정보 데이터를 수신하는 단계와; Receiving, by the receiver, the document information data provided in the information device; 상기 수신된 문서정보데이터 내의 문자를 판독· 식별하여 문서정보를 생성하고, 생성된 상기 문서정보가 상기 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB의 하이퍼링크표에서 검색하여 존재하는 문서인지를 확인하는 단계와;The document information is generated by reading and identifying the characters in the received document information data, and the generated document information is a document existing by searching in the hyperlink table of the hyperlink information DB in the DB storage unit provided in the information apparatus. Confirming; 상기 문서정보가 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB에 존재하고 있지 않은 경우에는, 상기 입력장치에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기로 전송하는 단계와;If the document information does not exist in the hyperlink information DB in the DB storage unit provided in the information device, transmitting a plurality of target image data photographed and generated by the input device to the information device; 상기 정보기기에 구비된 수신부가 다수의 대상이미지 데이터를 수신하는 단계와;Receiving a plurality of target image data by a receiver provided in the information device; 상기 정보기기에 구비된 이미지 인식부가 상기 수신된 다수의 대상이미지 데이터를 하나의 대상이미지 데이터로 조합하여 인식하고, 상기 인식된 대상이미지 데이터 내의 문자를 판독· 식별하여 식별데이터를 생성하는 단계와; An image recognizing unit provided in the information device recognizes the plurality of received target image data by combining them into one target image data, and generates identification data by reading and identifying a character in the recognized target image data; 상기 정보기기에 구비된 정보검색부의 전자사전 또는 웹검색기에 의하여 상기 이미지 인식부로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계;Searching, extracting and displaying electronic information corresponding to identification data generated from the image recognition unit by an electronic dictionary or a web searcher of the information retrieval unit provided in the information device; 로 이루어지는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.A control method of an electronic information providing system for words, symbols, and images of a physical document, characterized in that consisting of. 청구항 15 또는 청구항 17항에 있어서, 상기 입력장치에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기로 전송하는 단계는, The method of claim 15 or 17, wherein the transmitting of the plurality of target image data photographed and generated by the input device to the information device, 상기 입력장치에 구비된 기준바의 좌측상단이 대상이미지의 좌측하단에 위치하도록 상기 대상이미지가 기록된 물리문서가 배치되어 상기 입력장치에 구비된 기준선 조명계가 상기 대상이미지 하단에 상기 대상이미지의 너비에 대응되도록 그 길이가 가변적인 기준선을 조명하는 단계와; The physical document on which the target image is recorded is disposed such that the upper left side of the reference bar provided in the input device is located at the lower left side of the target image. Illuminating a baseline whose length is variable so as to correspond to a; 상기 대상이미지를 재촬영하는 경우에도 동일한 상기 대상이미지 데이터를 생성하도록 촬영기기가 촬영초점을 일정하게 유지하고 상기 대상이미지를 촬영하여 대상이미지 데이터를 생성하는 단계; 및 Generating a target image data by maintaining a consistent focus of the photographing apparatus and capturing the target image so as to generate the same target image data even when re-shooting the target image; And 상기 입력장치에 구비된 전송부가 상기 생성된 대상이미지 데이터를 정보기기로 전송하는 단계로 이루어지는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.And a transmitting unit provided in the input device to transmit the generated target image data to an information device. 청구항 15 또는 청구항 17항에 있어서, 상기 입력장치에 의하여 촬영되어 생성된 다수의 대상이미지 데이터를 상기 정보기기로 전송하는 단계는, The method of claim 15 or 17, wherein the transmitting of the plurality of target image data photographed and generated by the input device to the information device, 상기 대상이미지가 기 설정된 상기 촬영영역의 너비보다 큰 너비를 갖는 경우에, 상기 입력장치가 상기 대상이미지를 촬영영역의 너비 단위로 분할하고, 상기 입력장치에 구비된 본체 상단부의 길이방향으로 촬영영역의 너비 단위로 이동하여 순차적으로 촬영하고, 다수의 상기 대상이미지 데이터를 생성하여 상기 정보기기로 순차적으로 전송하는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.When the target image has a width larger than the width of the preset shooting area, the input device divides the target image by the width unit of the shooting area, and captures the shooting area in the longitudinal direction of the upper end of the main body provided in the input device. The photographing method sequentially moves by the width unit of the photographing, and generates a plurality of the target image data to be transmitted to the information device sequentially characterized in that the control method of the electronic information providing system for the words, symbols and images of the physical document. 삭제delete 삭제delete 청구항 16 또는 청구항 17에 있어서, 상기 정보기기에 구비된 정보검색부의 전자사전 또는 웹검색기에 의하여 상기 이미지 인식부로부터 생성된 식별데이터에 해당되는 전자정보를 검색 및 추출하여 표시하는 단계 이후에,The method according to claim 16 or 17, after the step of searching, extracting and displaying electronic information corresponding to the identification data generated from the image recognition unit by an electronic dictionary or a web searcher of the information retrieval unit provided in the information device, 상기 정보검색부에 구비된 웹검색기에 의하여 검색된 전자정보를 DB 저장부에 저장하는 단계를 더 포함하여 이루어지는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.And storing the electronic information retrieved by the web searcher provided in the information retrieval unit in a DB storage unit. 청구항 15에 있어서, 상기 정보기기에 구비된 DB 저장부 내의 이미지 DB에서 검색된 상기 이미지 데이터에 대한 전자정보의 주소를 상기 정보기기에 구비된 DB 저장부 내의 하이퍼링크정보 DB의 하이퍼링크표로부터 획득하는 단계에서 상기 이미지 데이터에 대한 전자정보의 주소는,The method according to claim 15, wherein the address of the electronic information for the image data retrieved from the image DB in the DB storage unit provided in the information device is obtained from the hyperlink table of the hyperlink information DB in the DB storage unit provided in the information device. In step, the address of the electronic information for the image data, 상기 정보기기에 구비된 전자정보 DB 내에 기 저장된 전자정보의 주소 또는 인터넷상의 전자정보의 URL주소 중 어느 하나인 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.Control method of the electronic information providing system for the words, symbols and images of the physical document, characterized in that any one of the address of the electronic information previously stored in the electronic information DB provided in the information device or the URL address of the electronic information on the Internet. 청구항 15에 있어서, 상기 정보기기에 구비된 표시부가 상기 획득한 전자정보의 주소에 의하여 전자정보를 표시하는 단계는,The method of claim 15, wherein the display unit provided in the information device to display the electronic information by the address of the obtained electronic information, 상기 문서정보 데이터에 대응되는 전자문서 이미지를 검색하여 검색된 전자문서 이미지를 배경이미지로 표시하고, 상기 표시된 배경이미지 위에 획득한 상기 대상 이미지 데이터에 대한 전자정보의 주소에 의하여 전자정보를 중첩하여 표시하는 것을 특징으로 하는 물리문서의 단어, 심볼 및 이미지에 대한 전자정보 제공시스템의 제어방법.Searching for the electronic document image corresponding to the document information data and displaying the searched electronic document image as a background image, and superimposing the electronic information by the address of the electronic information on the target image data obtained on the displayed background image. A control method of an electronic information providing system for words, symbols, and images of a physical document.
KR1020070103137A 2007-10-12 2007-10-12 Electronic Information Providing System and Control Method for Word, Symbol and Image of Physical Document Expired - Fee Related KR100839623B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070103137A KR100839623B1 (en) 2007-10-12 2007-10-12 Electronic Information Providing System and Control Method for Word, Symbol and Image of Physical Document

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070103137A KR100839623B1 (en) 2007-10-12 2007-10-12 Electronic Information Providing System and Control Method for Word, Symbol and Image of Physical Document

Publications (1)

Publication Number Publication Date
KR100839623B1 true KR100839623B1 (en) 2008-06-19

Family

ID=39771862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070103137A Expired - Fee Related KR100839623B1 (en) 2007-10-12 2007-10-12 Electronic Information Providing System and Control Method for Word, Symbol and Image of Physical Document

Country Status (1)

Country Link
KR (1) KR100839623B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011044000A3 (en) * 2009-10-05 2011-09-29 Sony Corporation Mobile device visual input systems and methods

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017267A (en) * 2001-08-24 2003-03-03 (주) 시온텍 Method of building the database using automatically file-storing system
KR20040074689A (en) * 2003-02-18 2004-08-26 한국기계연구원 Digital scanner for recording documents
KR20060036592A (en) * 2004-10-26 2006-05-02 에스케이 텔레콤주식회사 Search service provision method using image data
KR20070081507A (en) * 2006-02-13 2007-08-17 주식회사 와이비엠시사닷컴 Dictionary search system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030017267A (en) * 2001-08-24 2003-03-03 (주) 시온텍 Method of building the database using automatically file-storing system
KR20040074689A (en) * 2003-02-18 2004-08-26 한국기계연구원 Digital scanner for recording documents
KR20060036592A (en) * 2004-10-26 2006-05-02 에스케이 텔레콤주식회사 Search service provision method using image data
KR20070081507A (en) * 2006-02-13 2007-08-17 주식회사 와이비엠시사닷컴 Dictionary search system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011044000A3 (en) * 2009-10-05 2011-09-29 Sony Corporation Mobile device visual input systems and methods
US8374646B2 (en) 2009-10-05 2013-02-12 Sony Corporation Mobile device visual input system and methods

Similar Documents

Publication Publication Date Title
US8244037B2 (en) Image-based data management method and system
US7305435B2 (en) Internet access via smartphone camera
US10192279B1 (en) Indexed document modification sharing with mixed media reality
US20180218008A1 (en) Method and apparatus for obtaining information relating to the existence of at least one object in an image
US20070171482A1 (en) Method and apparatus for managing information, and computer program product
US9183224B2 (en) Identifying matching canonical documents in response to a visual query
US20170322932A1 (en) Method for automatically taggin documents with matrix barcodes and providing access to a plurality of said document versions
US20010053252A1 (en) Method of knowledge management and information retrieval utilizing natural characteristics of published documents as an index method to a digital content store
US20090150792A1 (en) Method and arrangement for sharing information search results
US20110191328A1 (en) System and method for extracting representative media content from an online document
JP2010072842A (en) Image processing apparatus and image processing method
US7715625B2 (en) Image processing device, image processing method, and storage medium storing program therefor
KR20100101204A (en) Method for retrievaling ucc image region of interest based
CN109344275B (en) Image identification-based resource acquisition device and method
US20090100023A1 (en) Information processing apparatus and computer readable information recording medium
KR101307325B1 (en) System for dual-searching image using region of interest set
US20050080818A1 (en) Active images
US20110305406A1 (en) Business card recognition system
KR100839623B1 (en) Electronic Information Providing System and Control Method for Word, Symbol and Image of Physical Document
JP5484113B2 (en) Document image related information providing apparatus and document image related information acquisition system
JP2009075678A (en) Image processing apparatus, image processing method, image processing program, and storage medium
JP4246650B2 (en) Image input device and image data management device
JP5384315B2 (en) SEARCH DEVICE, METHOD, AND PROGRAM
JP5913774B2 (en) Web site sharing method, electronic device, and computer program
US20090031203A1 (en) Hyperlinks

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

A302 Request for accelerated examination
PA0302 Request for accelerated examination

St.27 status event code: A-1-2-D10-D17-exm-PA0302

St.27 status event code: A-1-2-D10-D16-exm-PA0302

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20130531

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20140603

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20150603

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20170613

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20170613

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301