[go: up one dir, main page]

KR20070045448A - 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법 - Google Patents

지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법 Download PDF

Info

Publication number
KR20070045448A
KR20070045448A KR1020050101741A KR20050101741A KR20070045448A KR 20070045448 A KR20070045448 A KR 20070045448A KR 1020050101741 A KR1020050101741 A KR 1020050101741A KR 20050101741 A KR20050101741 A KR 20050101741A KR 20070045448 A KR20070045448 A KR 20070045448A
Authority
KR
South Korea
Prior art keywords
screen
harmfulness
capture
harmful
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020050101741A
Other languages
English (en)
Other versions
KR100759798B1 (ko
Inventor
정치윤
한승완
최수길
남택용
장종수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020050101741A priority Critical patent/KR100759798B1/ko
Priority to US11/443,660 priority patent/US20070101353A1/en
Publication of KR20070045448A publication Critical patent/KR20070045448A/ko
Application granted granted Critical
Publication of KR100759798B1 publication Critical patent/KR100759798B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00Methods or arrangements for processing data by operating upon the order or content of the data handled

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 개인용 컴퓨터(이하 "PC"라고 함)에서 지능적 화면 감시를 통하여 유해 멀티미디어를 차단하는 장치 및 그 방법에 관한 것으로서, PC 상태에 기초하여 화면을 캡쳐할 시점을 결정하는 화면 캡쳐 판단부; 상기 결정 시점에 활성화되어 있는 프로그램의 화면을 캡쳐하는 활성 화면 캡쳐부; 상기 캡쳐된 화면의 유해성을 판단하는 이미지 유해성 판단부; 및 유해한 것으로 판단되면 상기 캡쳐된 화면을 사용하는 응용 프로그램을 차단하는 유해 프로그램 차단부;를 포함하는 것을 특징으로 하며, 지능적으로 PC화면을 캡쳐하고, 캡쳐된 화면의 유해성을 검사하여 유해하다고 판정 되는 경우에 캡쳐된 화면을 사용한 해당 응용 프로그램을 차단함으로써 화면 캡쳐 방법을 사용하여 실시간으로 유해 멀티미디어 정보에 접근하는 것을 차단할 수 있다.
지능적 화면 감시, 화면 감시, 멀티미디어, 유해 정보 차단 장치

Description

지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그 방법{Apparatus for blocking harmful multimedia in PC through intelligent screen monitoring and method thereof}
도 1은 본 발명의 바람직한 일 실시 예에 따른 개인용 컴퓨터에서 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치에 대한 블록도이다.
도 2는 도 1의 화면 캡쳐 판단부를 보다 구체적으로 나타낸 블록도이다.
도 3은 도 2의 화면 캡쳐 분류 모델을 생성하기 위한 세부 기능 블록을 보여주는 도면이다.
도 4는 도 1의 이미지 유해성 판단부를 보다 구체적으로 나타낸 블록도이다.
도 5는 본 발명의 바람직한 일 실시 예에 따른 개인용 컴퓨터에서 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법을 보여주는 흐름도이다.
본 발명은 개인용 컴퓨터(이하 "PC"라고 함)에서 지능적 화면 감시를 통하여 유해 멀티미디어를 차단하는 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 PC에서 CPU, 메모리, 저장장치, 입력 장치 등의 PC 상태를 관찰하여 지능적으로 PC 화면을 캡쳐할 시점을 결정하고, 캡쳐된 화면의 유해성을 판단하여 실시간으로 유해 멀티미디어 정보를 차단하는 장치 및 그 방법에 관한 것이다.
최근 네트워크 인프라의 급격한 발전으로 인하여 사람들은 대용량의 멀티미디어 자료들을 파일 전송 프로토콜(File Transfer Protocol), 일대일 파일 공유(Peer to Peer)을 통해서 빠르게 전송 받을 수 있게 되었다. 하지만 대용량 자료의 상당수를 유해 멀티미디어 정보가 차지하기 때문에, 네트워크 인프라의 발전은 유해 멀티미디어 정보의 빠른 확산이라는 문제점을 야기시켰다. 유해 멀티미디어 정보의 경우 청소년들에게 악영향을 미칠 수 있기 때문에 유해 멀티미디어 정보를 차단하기 위한 방법 및 장치가 필요하다.
지금까지 유해 멀티미디어 정보를 차단하기 위해서 주로 사용되는 방법들은 메일 클라이언트, 웹 브라우져 등의 프로그램과 연동하여 네트워크를 통해서 전송되는 데이터를 분석하여 유해 멀티미디어 정보를 차단하는 방법, PC 화면을 관리자가 정의한 시간에 따라서 캡쳐하고 저장하여, 저장된 화면을 나중에 관리자가 확인하는 방법 등이 있었다. 메일 클라이언트, 웹 브라우져 등의 프로그램과 연동하여 네트워크를 통해서 전송되는 데이터를 분석하여 유해 멀티미디어 정보를 차단하는 방법의 경우에는 현재 유해 멀티미디어 정보에서 가장 많은 비중을 차지하는 유해 동영상을 차단하지 못하며, 특정 응용 프로그램에 의존적이라는 단점이 있다. 또한 네트워크를 통해서 전송되는 데이터를 분석해야하기 때문에 네트워크의 속도를 저하 시키고, PC에 설치된 다른 응용프로그램과의 충돌을 일으켜 PC의 상태를 불안정하게 하는 등의 문제점을 발생시켰다.
PC 화면을 관리자가 정의한 시간에 따라서 캡쳐하여 저장하고 나중에 관리자가 캡쳐된 화면을 확인하는 방법은 유해 멀티미디어 정보를 실시간으로 차단하지 못하는 단점이 존재한다. 또한 PC가 아무런 작업을 수행하지 않는 상황에서도 지정된 시간 간격으로 PC 화면을 캡쳐하기 때문에 불필요한 화면 캡쳐로 인하여 저장공간이 낭비되고, PC 사용자가 지정된 시간 간격을 알면 화면이 캡쳐되는 시점에서 유해하지 않은 화면을 PC상에 나타나게 하는 방법등으로 쉽게 회피할 수 있는 등의 문제점이 있다.
본 발명이 이루고자 하는 기술적 과제는 상기의 문제점을 해결하기 위하여 안출된 것으로서, PC의 CPU, 메모리, 저장장치, 입력 장치등의 상태를 관찰하여 PC 사용자가 유해 멀티미디어 정보로 접근하는 프로그램을 사용하고 있다고 의심되는 시점을 지능적으로 결정하여 그 시점의 PC의 화면을 캡쳐하고, 캡쳐된 화면의 유해성을 유해 이미지 분류 기술과 텍스트 정보 추출 기술을 사용하여 판단하여, 캡쳐된 화면이 유해 정보라고 판단되면 현재 해당 화면을 사용한 프로그램을 실시간으로 차단하여 사용자가 유해 멀티미디어 정보에 접근하는 것을 실시간으로 차단하는 장치 및 그 방법 그리고 그 방법을 기록한 컴퓨터가 읽을 수 있는 기록매체를 제공하는 것이다.
상기의 기술적 과제를 이루기 위하여 본 발명에 의한 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치는 PC 상태에 기초하여 화면을 캡쳐할 시점을 결정하 는 화면 캡쳐 판단부; 상기 결정 시점에 활성화되어 있는 프로그램의 화면을 캡쳐하는 활성 화면 캡쳐부; 상기 캡쳐된 화면의 유해성을 판단하는 이미지 유해성 판단부; 및 유해한 것으로 판단되면 상기 캡쳐된 화면을 사용하는 응용 프로그램을 차단하는 유해 프로그램 차단부;를 포함하는 것을 특징으로 한다.
상기의 기술적 과제를 이루기 위하여 본 발명에 의한 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법은 PC 상태를 감시하여 화면을 캡쳐할 시점을 결정하는 단계; 결정된 시점에 PC 화면에서 현재 활성화된 응용 프로그램의 창을 캡쳐하는 단계; 상기 캡쳐된 화면의 유해성을 판단하는 단계; 및 상기 판단 결과 유해한 것으로 인정되면 그 화면을 사용하는 응용 프로그램을 중단시키고 관련 기록을 저장하는 단계;를 포함하는 것을 특징으로 한다.
상기의 기술적 과제를 이루기 위하여 본 발명에 의한 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법을 기록한 컴퓨터가 읽을 수 있는 기록매체는 PC 상태를 감시하여 화면을 캡쳐할 시점을 결정하는 단계; 결정된 시점에 PC 화면에서 현재 활성화된 응용 프로그램의 창을 캡쳐하는 단계; 상기 캡쳐된 화면의 유해성을 판단하는 단계; 및 상기 판단 결과 유해한 것으로 인정되면 그 화면을 사용하는 응용 프로그램을 중단시키고 관련 기록을 저장하는 단계;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단방법을 컴퓨터에서 실행시킬 수 있는 프로그램을 기록한 것을 특징으로 한다.
이하에서, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 상세히 설명한다. 설명의 편의를 위하여 본 발명에 의한 지능적 화면 감시를 통한 유 해 멀티미디어 차단 방법에 관한 도 5를 참조하면서 방법과 장치의 설명을 같이 하도록 한다. 도 1은 본 발명의 바람직한 일 실시 예에 따른 개인용 컴퓨터에서 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치에 대한 블록도이고, 도 2는 도 1의 화면 캡쳐 판단부를 보다 구체적으로 나타낸 블록도이고, 도 3은 도 2의 화면 캡쳐 분류 모델을 생성하기 위한 세부 기능 블록을 보여주는 도면이다. 그리고 도 4는 도 1의 이미지 유해성 판단부를 보다 구체적으로 나타낸 블록도이다. 한편 도 5는 본 발명의 바람직한 일 실시 예에 따른 개인용 컴퓨터에서 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법을 보여주는 흐름도이다.
도 1을 참조하면, 본 발명에 따른 유해 멀티미디어 차단 장치는 화면 캡쳐 판단부(110), 활성 화면 캡쳐부(120), 이미지 유해성 판단부(130), 유해 프로그램 차단부(140)를 포함하여 구성됨을 알 수 있다. 화면 캡쳐 판단부(110)는 컴퓨터의 상태를 관찰하여(S510) 사용자가 유해 멀티미디어 정보를 접하고 있다고 생각되는 시점을 판단하여 화면 캡쳐 여부를 결정한다. 기존의 방법들은 관리자가 지정한 시간 주기에 따라서 화면 캡쳐를 실시하였지만, 본 발명에서는 PC 상태를 모니터링하여 지능적으로 화면을 캡쳐할 시점을 결정한다(S520). 관리자가 지정한 주기에 따른 화면 캡쳐 방법은 PC의 상태와 상관없이 주어진 주기에 따라서 지속적으로 PC 화면을 캡쳐하기 때문에 불필요한 화면을 캡쳐하는 경우가 많고, 또한 PC 사용자가 화면 캡쳐 주기를 알면 화면 캡쳐할 시점에 무해한 화면을 표시하는 등의 방법으로 쉽게 회피할 수 있는 문제점이 있다. 하지만 본 발명은 PC 상태에 따라서 지능적으로 화면 캡쳐 할 시점을 결정하기 때문에 불필요한 화면을 캡쳐로 인한 저장 공간 의 낭비가 없고, 지능적인 화면 캡쳐는 PC 상태에 따라서 비주기적으로 실행되기 때문에 기존 화면 캡쳐 회피 기술을 무력하게 만들 수 있다.
화면 캡쳐 판단부(120)에서 화면 캡쳐가 결정되면 활성 화면 캡쳐부(120)에서 현재 활성화되어 있는 프로그램의 화면을 캡쳐하여 이미지 유해성 판단부(130)로 전달한다. 이미지 유해성 판단부(130)는 캡쳐된 활성 화면을 유해 이미지 분류 기술과 텍스트 정보 추출 기술을 사용하여 유해성을 판정한다. 이미지 유해성 판정부(130)에서 유해한 화면이라고 판단하면 유해 프로그램 차단부(140)에서 캡쳐된 화면을 사용하는 응용 프로그램을 차단하여 사용자가 유해 멀티미디어 정보에 접근하는 것을 실시간으로 차단한다. 기존의 방법들은 PC 화면을 캡쳐한 다음 저장 공간에 저장하는 로그 기록의 기능만을 수행하였지만, 본 발명에서는 유해 이미지 처리 기술과 텍스트 정보 추출 기술을 사용하여 실시간으로 캡쳐된 화면의 유해성을 판단하여 해당 응용 프로그램을 차단함으로써 화면 캡쳐를 통한 유해 멀티미디어 정보의 실시간 차단을 가능하게 하였다.
이제 도 2를 참조하면서 도 1의 화면 캡쳐 판단부(110)를 보다 구체적으로 살펴보도록 한다. 도 2를 참조하면, 화면 캡쳐 판단부(110)는 PC 상태 관찰부(210), PC 상태 특징 추출부(220), 화면 캡쳐 결정부(230), 화면 캡쳐 결정 모델(240)로 구성된다. PC 상태 관찰부(210)는 PC에서 동작하면서 주기적으로 CPU 사용률의 변화, 메모리 사용률의 변화, 저장 공간 사용률의 변화, 입력 장치의 시간당 입력수 등의 PC 상태 정보를 추출하여 PC 상태 특징 추출부(220)로 전송한다(S510). PC 상태 특징 추출부(220)는 PC 상태 관찰부(210)로부터 전달 받은 정보를 사용하여 PC의 상태를 다음과 같은 수학식 1의 형태로 표현한다.
Figure 112005061362265-PAT00001
여기에서, F 는 PC 상태를 수학적으로 표현한 특징 벡터를 의미하며 n 개의 구성 요소를 갖는다. 화면 캡쳐 결정부(230)에서는 PC 상태 특징 추출부(220)에 의해서 만들어진 특징 벡터 F 와 화면 캡쳐 모델 M를 사용하여 다음의 수학식 2를 사용하여 화면 캡쳐 수행 여부를 결정하게 된다.
Figure 112005061362265-PAT00002
여기에서, D 는 화면 캡쳐 여부를 결정하는 결정 값으로서, 0보다 큰 값일 경우 화면을 캡쳐하고, 0보다 작은 값일 경우 화면을 캡쳐하지 않게 된다(S530).
도 3은 도 2의 화면 캡쳐 분류 모델(240)을 생성하기 위한 세부 기능 블록을 보여주는 도면이다. 화면 캡쳐 분류 모델(240)을 생성하기 위해서 먼저 화면 캡쳐가 필요한 시점의 PC 상태 관찰 기록(300)과 화면 캡쳐가 필요하지 않은 시점의 PC 상태 관찰 기록(305)을 구분하여 PC 상태 특징 추출부(310)로 전달한다. PC 상태 특징 추출부(310)는 PC 상태 관찰 기록을 수학식 1과 같은 벡터 형태로 만든 후 화면 캡쳐 모델 생성부(320)로 전달한다. 화면 캡쳐 모델 생성부(320)에서는 기계학습 알고리즘과 PC 상태 특징 추출부(310)에서 추출한 특징 벡터들을 사용하여 화면 캡쳐 분류 모델(240)을 생성하며, 화면 캡쳐 분류 모델(240)은 다음의 수학식 3을 통해서 표현된다.
Figure 112005061362265-PAT00003
,
여기서
Figure 112005061362265-PAT00004
는 화면 캡쳐 여부를 나타내는 결정값이고,
Figure 112005061362265-PAT00005
는 가중치이고,
Figure 112005061362265-PAT00006
는 화면 캡쳐를 수행해야할 시점과 그렇지 않을 시점을 구분하는 경계 벡터이며,
Figure 112005061362265-PAT00007
는 경계벡터와 특징벡터
Figure 112005061362265-PAT00008
사이의 차이값이고,
Figure 112005061362265-PAT00009
는 보정값이다. 화면 캡쳐 분류 모델(240)은 화면 캡쳐 판단부(110)에서 PC의 화면 캡쳐 여부를 결정하는 데 사용 된다.
도 4를 참조하면서 도 1의 이미지 유해성 판단부(130)를 보다 구체적으로 설명하도록 한다. 도 4를 참조하면, 이미지 유해성 판단부(130)는 이미지 특성 기반 판단부(410), 이미지 텍스트 기반 판단부(420), 통합 판단부(430)로 구성되어있다. 화면 캡쳐 판단부(110)에서 화면 캡쳐 시점을 결정하고, 활성 화면 캡쳐부(120)에서 현재 활성화되어 있는 응용 프로그램의 화면을 캡쳐 한 후, 캡쳐된 PC 화면을 이미지 유해성 판단부(130)로 전달한다. 이미지 유해성 판단부(130)의 이미지 특성 기반 판단부(410)는 이미지로부터 색상, 형태, 질감등의 특징을 추출하고, 추출된 이미지의 특징과 학습 기반 유해 이미지 분류 방법을 사용하여 이미지의 유해성을 판정한다.
학습 기반 유해 이미지 분류 방법은 사전에 유해성에 따라서 분류된 학습 데이터와 기계 학습 알고리즘을 사용하여 이미지의 유해성을 판정 할 수 있는 유해 이미지 분류 모델을 생성하고, 입력 이미지에 대해서 유해 이미지 분류 모델을 사용하여 유해성을 판정하는 방법을 의미한다. 인터넷 익스플로어를 통해서 텍스트로 이루어진 유해 정보를 접근하거나, 워드 프로세싱 프로그램을 통하여 텍스트로 이루어진 유해 정보에 접근하는 경우에는 이미지 특성 기반 판단부(410)로는 캡쳐된 PC 화면의 유해성을 정확하게 판정할 수 없으며, 이와 같은 문제를 해결하기 위해서 본 발명에서는 이미지 텍스트 기반 판단부(420)를 이미지 특성 기반 판단부(410)와 같이 사용하였다. 이미지 텍스트 정보란 이미지 안에 존재하는 텍스트 영역을 추출하고, 추출된 텍스트 영역을 인식하여 얻어지는 정보를 의미하며, 이미지 텍스트 기반 판단부(410)에서는 텍스트 정보 추출 기술을 사용하여 인식된 텍스트 정보를 유해 단어 데이터 베이스와 비교하는 방법, 또는 학습 기반 유해 텍스트 분류 방법을 사용하여 판단하는 방법 등을 적용하여 인식된 텍스트의 유해성을 검사하게 된다.
텍스트 정보를 유해 단어 데이터 베이스와 비교하여 유해성을 검사하는 방법은 이미지로부터 추출된 인식된 텍스트의 단어들이 유해 단어 데이터 베이스에 존재하는지 여부, 유해 단어 데이터 베이스에 존재하는 인식된 단어의 개수 등의 정보를 고려하여 텍스트의 유해성을 판정하는 방법을 의미한다. 학습 기반 유해 텍스트 분류 방법은 사전에 유해성에 따라서 분류된 학습 데이터와 기계 학습 알고리즘을 사용하여 텍스트의 유해성을 판정할 수 있는 유해 텍스트 분류 모델을 생성하 고, 입력 텍스트에 대해서 유해 텍스트 분류 모델을 사용하여 유해성을 판정하는 방법을 의미한다.
통합 판단부(430)에서는 이미지 특성기반 판단부(410)와 이미지 텍스트 기반 판단부(420)에서 판단된 유해성 정도에 다음의 수학식 4와 같이 가중치를 고려한 결정 함수를 사용하여 최종적으로 유해성을 판정하게 된다.
Figure 112005061362265-PAT00010
여기서, A는 이미지 특성기반 판단부(410)에 의해서 결정된 캡쳐 화면의 유해성, B는 텍스트 정보 기반 판단부(420)에 의해서 결정된 캡쳐 화면의 유해성을 의미하며,
Figure 112005061362265-PAT00011
Figure 112005061362265-PAT00012
는 각각의 유해성에 대한 가중치를 의미한다. 최종 유해성 H 는 각 판단부(410, 420)의 유해성에 가중치를 고려하여 계산되며, H가 관리자가 정의한 임계값보다 클 경우 유해, 그렇지 않은 경우 무해로 판정된다(이상 S540)
마지막으로 유해 프로그램 차단부(140)는 유해한 화면으로 판정이 되면 그 화면을 사용하고 있는 해당 응용 프로그램을 차단한다(S550).
본 발명에 의한 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등이 있으며, 또한 캐리어 웨이브(예를들면 인터넷을 통한 전송)의 형태로 구현되는 것도 포함된다. 또한 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다. 또한 본 발명에 의한 폰트 롬 데이터구조도 컴퓨터로 읽을 수 있는 ROM, RAM, CD-ROM, 자기 테이프, 하드 디스크, 플로피 디스크, 플래쉬 메모리, 광 데이타 저장장치등과 같은 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다.
이상과 같이 본 발명은 양호한 실시예에 근거하여 설명하였지만, 이러한 실시예는 이 발명을 제한하려는 것이 아니라 예시하려는 것으로, 본 발명이 속하는 기술분야의 숙련자라면 이 발명의 기술사상을 벗어남이 없이 위 실시예에 대한 다양한 변화나 변경 또는 조절이 가능함이 자명할 것이다. 그러므로, 이 발명의 보호범위는 첨부된 청구범위에 의해서만 한정될 것이며, 위와 같은 변화예나 변경예 또는 조절예를 모두 포함하는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이, 본 발명에 의한 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그 방법은, 지능적으로 PC화면을 캡쳐하고, 캡쳐된 화면의 유해성을 검사하여 유해하다고 판정되는 경우에 캡쳐된 화면을 사용하고 있는 해당 응용 프로그램을 차단함으로써 실시간으로 유해 멀티미디어 정보에 접근하는 것을 차단할 수 있다.
그리고, PC 화면을 캡쳐함에 있어서 관리자가 설정된 임의의 주기에 의해서 화면을 캡쳐하지 않고, PC 상태를 관찰하여 지능적으로 화면 캡쳐를 수행하기 때문에 불필요한 화면을 캡쳐하여 저장 공간이 낭비되는 것을 막고, 임의의 주기로 수행되는 캡쳐 방식에서 나타나는 회피 기술을 차단할 수 있다.
또한 화면 캡쳐 후 화면을 저장하고 기록만 하는 기존의 방법 및 장치들과는 달리 실시간으로 캡쳐된 화면의 유해성을 판정하여 캡쳐된 화면을 사용하는 해당 프로세스를 차단하기 때문에 사용자가 유해 멀티미디어 정보에 접근하는 것을 실시간으로 차단할 수 있으며, 유해성을 판정할 때 이미지의 특성뿐만 아니라 이미지내에 존재하는 텍스트의 정보를 함께 사용하기 때문에 유해성 판정의 정확도를 향상 시킬 수 있다.
한편 PC의 화면을 캡쳐하여 유해성을 판정하기 때문에 기존의 네트워크를 통해서 전송되는 데이터를 분석하여 멀티미디어 정보의 유해성을 판정하는 장치들이 가지는 네트워크 속도 저하 문제, 다른 프로그램들과의 충돌로 인한 안정성 문제 및 특정 응용 프로그램에만 제한적으로 적용 가능했던 호환성 문제가 나타나지 않으며 휴대용 멀티미디 재생 장치(MP3플레이어, PMP 등), 핸드폰, PDA를 포함한 다양한 디지털 기기에 적용될 수 있다.

Claims (10)

  1. PC 상태에 기초하여 화면을 캡쳐할 시점을 결정하는 화면 캡쳐 판단부;
    상기 결정 시점에 활성화되어 있는 프로그램의 화면을 캡쳐하는 활성 화면 캡쳐부;
    상기 캡쳐된 화면의 유해성을 판단하는 이미지 유해성 판단부; 및
    유해한 것으로 판단되면 상기 캡쳐된 화면을 사용하는 응용 프로그램을 차단하는 유해 프로그램 차단부;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치.
  2. 제1항에 있어서, 상기 화면 캡쳐 판단부는
    CPU 사용률의 변화, 메모리 사용률의 변화, 저장 공간 사용률의 변화, 입력 장치의 시간당 입력수를 포함하는 정보를 포함하는 PC 상태 정보를 추출하는 PC 상태 관찰부;
    상기 PC 상태 정보를 기초로 제1특징벡터를 생성하는 PC 상태 특징 추출부; 및
    상기 제1특징벡터를 변수로 하는 소정의 화면 캡쳐 모델을 생성한 후 소정의 기준치와 비교하여 화면 캡쳐 여부를 결정하는 화면 캡쳐 결정부;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치.
  3. 제2항에 있어서, 상기 화면 캡쳐 결정부는
    화면 캡쳐가 필요한 시점의 PC 상태와 불필요한 시점의 PC 상태 각각의 기록을 입력받아 제2특징벡터를 생성하는 화면 캡쳐 모델부; 및
    소정의 기계 학습 알고리즘과 상기 제2특징벡터를 기초로 화면 캡쳐 분류 모델을 생성하는 화면 캡쳐 결정 모델부;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치.
  4. 제3항에 있어서, 상기 화면 캡쳐 분류 모델은 다음의 수학식 5와 같이 결정되고
    Figure 112005061362265-PAT00013
    가 0보다 크면 화면을 캡쳐하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티 미디어 차단 장치.
    Figure 112005061362265-PAT00014
    ,
    여기서
    Figure 112005061362265-PAT00015
    는 화면 캡쳐 여부를 나타내는 결정값,
    Figure 112005061362265-PAT00016
    는 가중치,
    Figure 112005061362265-PAT00017
    는 화면 캡쳐를 수행해야할 시점과 그렇지 않을 시점을 구분하는 경계 벡터,
    Figure 112005061362265-PAT00018
    는 경계벡터와 제2특징벡터
    Figure 112005061362265-PAT00019
    사이의 차이값, 그리고
    Figure 112005061362265-PAT00020
    는 보정값이다
  5. 제1항에 있어서, 이미지 유해성 판단부는
    상기 캡쳐된 화면에서 색상, 형태, 질감을 포함하는 이미지 특성을 추출하여 이미지의 유해성을 판단하는 이미지 특성 기반 판단부;
    상기 캡쳐된 화면에서 텍스트 영역을 추출한 후 텍스트의 유해성을 판단하는 텍스트 특성 기반 판단부; 및
    상기 이미지의 유해성과 텍스트의 유해성을 조합하여 상기 캡쳐된 화면의 유해성을 결정하는 통합 판단부;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치.
  6. 제5항에 있어서, 상기 통합 판단부는
    상기 이미지의 유해성과 텍스트의 유해성 각각의 가중치를 가변시킨 후 그 합이 소정의 가중치보다 크면 유해한 것으로 결정하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치.
  7. (a) PC 상태를 감시하여 화면을 캡쳐할 시점을 결정하는 단계;
    (b) 결정된 시점에 PC 화면에서 현재 활성화된 응용 프로그램의 창을 캡쳐하는 단계;
    (c) 상기 캡쳐된 화면의 유해성을 판단하는 단계; 및
    (d) 상기 판단 결과 유해한 것으로 인정되면 그 화면을 사용하는 응용 프로그램을 중단시키고 관련 기록을 저장하는 단계;를 포함하는 것을 특징으로 하는 지 능적 화면 감시를 통한 유해 멀티미디어 차단 방법.
  8. 제7항에 있어서, 상기 (a)단계는
    (a1) CPU 사용률의 변화, 메모리 사용률의 변화, 저장 공간 사용률의 변화, 입력 장치의 시간당 입력수를 포함하는 정보를 포함하는 PC 상태 정보를 추출하는 단계;
    (a2) 상기 PC 상태 정보를 기초로 제1특징벡터를 생성하는 단계; 및
    (a3) 상기 제1특징벡터를 변수로 하는 소정의 화면 캡쳐 모델을 생성한 후 소정의 기준치와 비교하여 화면 캡쳐 여부를 결정하는 단계;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법.
  9. 제8항에 있어서, 상기 (a3)단계는
    (a31) 화면 캡쳐가 필요한 시점의 PC 상태와 불필요한 시점의 PC 상태 각각의 기록을 입력받아 제2특징벡터를 생성하는 단계; 및
    (a32) 소정의 기계 학습 알고리즘과 상기 제2특징벡터를 기초로 화면 캡쳐 분류 모델을 생성하는 단계;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법.
  10. 제7항에 있어서, 상기 (c)단계는
    상기 캡쳐된 화면에서 색상, 형태, 질감을 포함하는 이미지 특성을 추출하여 이미지의 유해성을 판단하는 단계;
    상기 캡쳐된 화면에서 텍스트 영역을 추출한 후 텍스트의 유해성을 판단하는 단계; 및
    상기 이미지의 유해성과 텍스트의 유해성 각각의 가중치를 가변시킨 후 그 합이 소정의 가중치보다 크면 유해한 것으로 결정하는 단계;를 포함하는 것을 특징으로 하는 지능적 화면 감시를 통한 유해 멀티미디어 차단 방법.
KR1020050101741A 2005-10-27 2005-10-27 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법 Expired - Fee Related KR100759798B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050101741A KR100759798B1 (ko) 2005-10-27 2005-10-27 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법
US11/443,660 US20070101353A1 (en) 2005-10-27 2006-05-31 Apparatus and method for blocking harmful multimedia contents in personal computer through intelligent screen monitoring

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050101741A KR100759798B1 (ko) 2005-10-27 2005-10-27 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법

Publications (2)

Publication Number Publication Date
KR20070045448A true KR20070045448A (ko) 2007-05-02
KR100759798B1 KR100759798B1 (ko) 2007-09-20

Family

ID=37998141

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050101741A Expired - Fee Related KR100759798B1 (ko) 2005-10-27 2005-10-27 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법

Country Status (2)

Country Link
US (1) US20070101353A1 (ko)
KR (1) KR100759798B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018199630A1 (ko) * 2017-04-25 2018-11-01 (주)온테스트 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법
KR20190047202A (ko) 2017-10-27 2019-05-08 서동일 Pc에서 정보유출을 차단을 위한 특정 프로그램 운영 시 화면정보저장 보안 시스템 및 그 방법

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100788698B1 (ko) * 2006-07-13 2007-12-26 삼성전자주식회사 디스플레이 서비스 방법 및 그 방법을 수행할 수 있는네트워크 디바이스와 저장 매체
US20080195958A1 (en) * 2007-02-09 2008-08-14 Detiege Patrick J Visual recognition of user interface objects on computer
KR100815530B1 (ko) * 2007-07-20 2008-04-15 (주)올라웍스 유해성 컨텐츠 필터링 방법 및 시스템
US8266665B2 (en) * 2008-03-25 2012-09-11 Verizon Patent And Licensing Inc. TV screen capture
KR100870714B1 (ko) * 2008-06-19 2008-11-27 (주)휴모션 객체속성 접근엔진에 의한 실시간 유해사이트 차단방법
US20110047388A1 (en) * 2009-08-24 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for remotely controlling access to pornographic content of an image
WO2012116208A2 (en) * 2011-02-23 2012-08-30 New York University Apparatus, method, and computer-accessible medium for explaining classifications of documents
US9047464B2 (en) * 2011-04-11 2015-06-02 NSS Lab Works LLC Continuous monitoring of computer user and computer activities
US8826452B1 (en) * 2012-01-18 2014-09-02 Trend Micro Incorporated Protecting computers against data loss involving screen captures
US9471912B2 (en) * 2014-02-06 2016-10-18 Verto Analytics Oy Behavioral event measurement system and related method
US9166897B1 (en) 2014-09-24 2015-10-20 Oracle International Corporation System and method for supporting dynamic offloading of video processing for user account management in a computing environment
US9167047B1 (en) * 2014-09-24 2015-10-20 Oracle International Corporation System and method for using policies to support session recording for user account management in a computing environment
US9185175B1 (en) * 2014-09-24 2015-11-10 Oracle International Corporation System and method for optimizing visual session recording for user account management in a computing environment
US9148454B1 (en) 2014-09-24 2015-09-29 Oracle International Corporation System and method for supporting video processing load balancing for user account management in a computing environment
KR101669880B1 (ko) 2015-05-26 2016-10-27 소프트상추주식회사 Pc 감시 기능을 갖는 인터넷 공유기 및 이의 인터넷 감시방법
KR101958417B1 (ko) 2017-08-21 2019-03-14 소프트상추 주식회사 횡령 사고 방지를 위해 pos 단말기의 조작을 감시하는 pos 보안시스템
US20210084055A1 (en) * 2019-09-12 2021-03-18 AVAST Software s.r.o. Restricted web browser mode for suspicious websites
KR102158747B1 (ko) * 2019-10-30 2020-09-22 김민석 유해 콘텐츠 게시 방지 및 차단 장치

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6446119B1 (en) * 1997-08-07 2002-09-03 Laslo Olah System and method for monitoring computer usage
JP3847006B2 (ja) 1998-08-26 2006-11-15 富士通株式会社 画像表示制御装置及び記録媒体
KR100320950B1 (ko) * 1999-03-06 2002-01-23 강남천 디스플레이 시스템의 유해 화면 차단 장치 및 그 방법
JP3562577B2 (ja) * 2000-07-25 2004-09-08 精一郎 半谷 認証システム
US20030182399A1 (en) * 2002-03-21 2003-09-25 Silber Matthew A. Method and apparatus for monitoring web access
US7818764B2 (en) * 2002-06-20 2010-10-19 At&T Intellectual Property I, L.P. System and method for monitoring blocked content
KR20040046537A (ko) * 2002-11-27 2004-06-05 엘지전자 주식회사 Vod 서비스에서의 유해 정보 차단 방법
US7801738B2 (en) * 2004-05-10 2010-09-21 Google Inc. System and method for rating documents comprising an image

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018199630A1 (ko) * 2017-04-25 2018-11-01 (주)온테스트 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법
KR20180119407A (ko) * 2017-04-25 2018-11-02 (주)온테스트 이미지 캡처를 이용한 통합 모니터링 시스템 및 방법
KR20190047202A (ko) 2017-10-27 2019-05-08 서동일 Pc에서 정보유출을 차단을 위한 특정 프로그램 운영 시 화면정보저장 보안 시스템 및 그 방법

Also Published As

Publication number Publication date
KR100759798B1 (ko) 2007-09-20
US20070101353A1 (en) 2007-05-03

Similar Documents

Publication Publication Date Title
KR100759798B1 (ko) 지능적 화면 감시를 통한 유해 멀티미디어 차단 장치 및 그방법
TWI729472B (zh) 特徵詞的確定方法、裝置和伺服器
CN107547555B (zh) 一种网站安全监测方法及装置
US20200175397A1 (en) Method and device for training a topic classifier, and computer-readable storage medium
US20210034819A1 (en) Method and device for identifying a user interest, and computer-readable storage medium
WO2019091177A1 (zh) 风险识别模型构建和风险识别方法、装置及设备
CN107239694B (zh) 一种基于用户评论的Android应用权限推理方法及装置
CN112114986A (zh) 数据异常识别方法、装置、服务器和存储介质
CN108234472A (zh) 挑战黑洞攻击的检测方法及装置、计算机设备及可读介质
CN103927230A (zh) 一种内存使用状况的反馈方法及装置
US12130929B2 (en) Subject level privacy attack analysis for federated learning
KR101384317B1 (ko) 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법
WO2015196981A1 (zh) 一种鉴别图片垃圾文件的方法及装置
CN108304452B (zh) 文章处理方法及装置、存储介质
CN115941322B (zh) 基于人工智能的攻击检测方法、装置、设备及存储介质
CN112800919A (zh) 一种检测目标类型视频方法、装置、设备以及存储介质
CN110826036A (zh) 用户操作行为安全性的识别方法、装置和电子设备
KR20110066676A (ko) 피부색과 얼굴 정보 기반 유해 멀티미디어 차단 장치 및 방법
CN111194027B (zh) 一种网络连接方法、装置及系统
US9332031B1 (en) Categorizing accounts based on associated images
CN105653589A (zh) 信息处理方法及装置
CN119484015A (zh) 一种用于家居设备的局域网异常处理方法及装置
CN114428705A (zh) 一种网络数据的监测方法、装置、设备以及存储介质
CN110198299B (zh) 一种入侵检测方法和装置
CN114461763B (zh) 一种基于突发词聚类的网络安全事件抽取方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

St.27 status event code: A-3-3-V10-V11-apl-PJ0201

AMND Amendment
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PB0901 Examination by re-examination before a trial

St.27 status event code: A-6-3-E10-E12-rex-PB0901

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

St.27 status event code: A-3-4-F10-F13-rex-PB0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20110831

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20120913

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20120913

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301