[go: up one dir, main page]

KR101082878B1 - 홍채 영상 복원 방법 - Google Patents

홍채 영상 복원 방법 Download PDF

Info

Publication number
KR101082878B1
KR101082878B1 KR1020090006844A KR20090006844A KR101082878B1 KR 101082878 B1 KR101082878 B1 KR 101082878B1 KR 1020090006844 A KR1020090006844 A KR 1020090006844A KR 20090006844 A KR20090006844 A KR 20090006844A KR 101082878 B1 KR101082878 B1 KR 101082878B1
Authority
KR
South Korea
Prior art keywords
iris
image
pixels
diameter
less
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020090006844A
Other languages
English (en)
Other versions
KR20100087832A (ko
Inventor
김재희
박강령
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020090006844A priority Critical patent/KR101082878B1/ko
Publication of KR20100087832A publication Critical patent/KR20100087832A/ko
Application granted granted Critical
Publication of KR101082878B1 publication Critical patent/KR101082878B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Collating Specific Patterns (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 영상보간법 또는 신경회로망 또는 SVR을 이용한 홍채 영상 복원 방법에 관한 것으로, 홍채 영상의 인식 성능을 감소시키는 요인 중에 하나인 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 대한 문제를 해결하기 위해 줌 기능이 없는 렌즈를 구비한 카메라를 이용하여 입력받은 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 영상보간법 또는 신경회로망 또는 SVR을 이용하여 해상도를 향상시킴으로써 홍채 인식의 성능을 향상시킨다.
본 발명에 따르면, 홍채 직경이 200픽셀 이상 해상도 홍채 영상을 입력받기 위해 줌 렌즈를 구비한 카메라를 사용하는 대신 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 카메라를 사용할 수 있게 되므로 홍채 인식 시스템의 전체적인 가격을 감소시킬 수 있고, 이를 통해 홍채 인식 시스템을 저렴한 가격으로 대중화시킬 수 있다. 또한, 원거리에서 취득한 홍채 직경이 200픽셀 미만 해상도 영상으로부터의 홍채 인식을 가능하게 함으로써 원거리 홍채 인식이 가능하며, 이를 통해 예컨대, 출입국 관리가 필요한 공항 및 보안이 필요한 주요 공공기관 등에서 폭넓게 홍채 인식 시스템을 사용될 수 있을 것으로 기대된다.
홍채 인식, 홍채 영상, 해상도, 영상보간법, 신경회로망, SVR

Description

홍채 영상 복원 방법{Method of restoring iris image}
본 발명은 홍채 영상 복원 기술에 관한 것이며, 더욱 상세히는 영상보간법(Image interpolation) 또는 신경회로망(Neural Network) 또는 SVR(Support Vector Regression)을 이용한 홍채 영상 복원 방법에 관한 것이다.
도 1을 참조하면, 통상의 홍채 인식 시스템(100)은 특정 사용자의 홍채 영상(예컨대, 단안 홍채 영상, 혹은 양안 홍채 영상)을 촬영하는 홍채 카메라(110)와 홍채 인식에 필요한 사용자들 각각의 홍채 특징값이 등록되어 있는 홍채 인식 DB(120), 및 특정 사용자의 홍채 영상으로부터 획득한 홍채 특징값을 상기 홍채 인식 DB(120)에 기 등록된 해당 사용자의 홍채 특징값과 비교하여 그 유사도를 판정한 결과에 따라 사용자 인증의 수락 혹은 거절을 결정하는 홍채 인식 프로세서(130)를 포함하여 구성된다.
상기와 같은 홍채 인식 시스템(100)의 홍채 인식 프로세서(130)는 상기 홍채 카메라(110)로 촬영하여 획득한 홍채 영상으로부터 홍채 인식에 필요한 홍채 영역 이외의 불필요한 정보인 눈꺼풀, 속눈썹, 조명 반사광이 제거된 홍채 영역을 검출 한 후, 이 홍채 영역에 도비치스 웨이블릿 커널 또는 독립성분분석(ICA) 커널 이외에 가버(Gabor) 커널, 하르(Haar) 커널 등과 같은 홍채 특징 추출 커널(kernel)을 적용하여 홍채 인식 인증을 요구하는 사용자의 홍채 영역에 대응하는 홍채 특징값을 추출한 다음, 상기 사용자의 홍채 특징값과 상기 홍채 인식 DB(120)에 기 등록된 사용자의 홍채 특징값 사이의 유클리디안 거리, 코사인 거리, 해밍 거리 등을 유사도 값으로 산출하여, 그 산출한 값이 특정 임계치를 초과하는지 여부에 따라서 상기 사용자 인증의 수락 혹은 거절을 결정한다.
상기와 같은 종래의 홍채 인식 시스템(100)은 상기 홍채 카메라(110)로부터 입력받은 홍채 영상을 이용하여 홍채 인식을 수행하기 때문에, 홍채 영상의 품질이 홍채 인식의 정확도에 많은 영향을 준다. 이러한 홍채 인식의 정확도에 영향을 주는 홍채 영상의 품질 요소 가운데 대표적인 하나가 홍채 영상의 해상도이다. 참고로, 해상도는 영상의 명료성과 정세도를 나타내는 것으로, 통상 카메라 이미지 센서의 면적이 동일할 때 픽셀 수가 많을수록 해상도가 좋은 것이다.
일반적으로, 홍채 인식은 홍채 영상의 해상도에 따라 그 정확도 큰 차이를 보이며, 홍채 인식 성능 감소 없이 홍채 인식을 수행하기 위해서는 입력된 홍채 영상에서의 홍채 직경이 200픽셀 이상 되어야 한다고 알려져 있다[참고문헌; Information Technology. Biometric Data Interchange Formats. Iris Image Data. ISO/IEC 19794-6, 2005].
따라서, 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 가지고 홍채 인식을 수행하게 되면 인식 정확도가 감소되는 문제점이 있기 때문에 기존의 홍채 인식 시스템(100)은 홍채 직경이 200픽셀 이상 해상도의 홍채 영상을 취득하기 위해 상기 홍채 카메라(110)로 가격이 비싼 줌 렌즈(Zoom Lens)를 구비한 카메라를 사용하고 있으며, 또한 사용자에게 홍채 카메라(110)로부터 가까운 거리에 자신의 눈을 위치시키도록 요구하고 있다.
하지만, 상기와 같이 홍채 직경이 200픽셀 이상 해상도의 홍채 영상을 취득하기 위해 가격이 비싼 줌 렌즈(Zoom Lens)를 구비한 카메라를 홍채 카메라(110)로 사용하면 상기 홍채 인식 시스템(100)의 가격 상승을 초래하여 홍채 인식 시스템(100)의 대중화를 어렵게 하고, 또한 사용자에게 홍채 카메라(110)로부터 가까운 거리에 자신의 눈을 위치시키도록 요구하는 경우에는 사용자에게 불편함을 주는 문제점이 있다.
한편, 홍채 인식 기술에서 홍채 직경이 200픽셀 미만 해상도 영상을 홍채 직경이 200픽셀 이상 해상도 영상으로 복원하기 위한 연구가 많이 진행되고 있다. 여기서 복원의 의미는 홍채 인식을 위해 획득한 홍채 직경이 200픽셀 이상 해상도 영상이 원 영상으로 이미 존재함을 전제하는 경우, 홍채 카메라로 실제 촬영하여 획득한 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때, 양자의 해상도 차이에 기인하여 상기 홍채 직경이 200픽셀 이상 해상도 영상에는 있지만 상기 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 손실된 영상이 존재하게 되는데, 이러한 홍채 직경이 200픽셀 미만 해상도 영상으로부터 상기 홍채 직경이 200픽셀 이상 해상도 영상에는 있지만 상기 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 손실된 영상을 복원함으로써 상기 홍채 직경이 200픽셀 이상 해상도 영상, 즉 상기 원 영상을 획득한다는 의미이다.
하지만, 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도로 복원한 사례는 많지 않으며, 기존의 연구에서는 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상이 아닌 여러 장의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 복원하는 방법이 알 바나드(R.Barnard) 등에 의해 제안된 적이 있다[참고문헌; "High-Resolution Iris Image Reconstruction from low-Resolution Imagery." Proceedings of the SPIE, Advanced Signal Processing Algorithms, Architecture, and Implementations XVI, Vol. 6313,pp.D1-D13, San Diego, CA, Aug. 2006]. 상기의 알 바나드 등은 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 카메라를 다중으로 이용하여 여러 장의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 동시에 촬영한 다음 여러 장의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 단일 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 복원하였다. 여러 장의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 사용하여 단일 홍채 직경이 200픽셀 이상 해상도 홍채 영상을 복원하기 위해서는 홍채 직경이 200픽셀 미만 해상도 홍채 영상간의 위치를 정렬(registration)해야 한다. 하지만, 각각의 홍채 직경이 200픽셀 미만 해상도 홍채 영상들을 하나의 홍채 직경이 200픽셀 이상 해상도 영상으로 만들기 위한 정확한 위치 정렬은 매우 힘들뿐만 아니라, 이 과정에서 발생된 위치 정렬 에러는 홍채 인식에서 등록된 사용자를 거부하는 에러인 FRR(False Rejection Rate) 에러를 증가시키는 문제점을 가진다. 또한, 여러 대의 홍채 영상 획득용 카메라를 사용하므로 단일 카메라를 사용하는 홍채 인식 시스템보다 비용이 증가되는 문제점이 있다.
다른 한편, 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 복원하는 연구는 진행된 바 없으며, 홍채 인식 기술에서 홍채 직경이 200픽셀 미만 해상도 단일 얼굴 영상을 홍채 직경이 200픽셀 이상 해상도 얼굴 영상으로 복원하는 연구 사례가 대한민국 고려대 이성환 교수 등에 의해 발표된 적이 있다[참고문헌; "Low Resolution Face Recognition Based on Support Vector Data Description," Pattern Recognition, Vol. 39, No.9, 2006, pp. 1809-1812]. 이 연구에서는 홍채 직경이 200픽셀 미만 해상도 단일 얼굴 영상을 홍채 직경이 200픽셀 이상 해상도 얼굴 영상으로 복원하기 위해 주성분 분석 방법(PCA; Principle Component Analysis)을 이용해서 SVDD(Support Vector Data Description)의 방법으로 복원하는 방식을 사용하였다. 상기 주성분 분석 방법은 다차원 특징 벡터로 이루어진 데이터에 대하여 높은 차원에서의 정보를 유지하면서 낮은 차원으로 차원을 축소시키는 다변량 데이터 처리 방법 중의 하나이다. 얼굴 영상에서 높은 차원의 정보를 낮은 차원의 정보로 축소하지만 높은 차원의 얼굴 특징 정보를 유지하고 있다는 특징이 있다. 하지만, 상기와 같이 차원 축소를 하는 주성분 분석 방법을 이용하여 홍채 영상을 낮은 차원으로 축소하게 되면 얼굴 영상처럼 정보의 고유한 특징을 유지하지 못하는 문제점이 있기 때문에 주성분 분석 방법을 홍채 영상에 적용하기는 어려움이 따른다. 또한 이 연구결과에서는 SVDD로 학습한 홍채 직경이 200픽셀 미만 해상도 얼굴 영상의 경우, 홍채 직경이 200픽셀 이상 해상도 얼굴 영상으로 잘 복원되지만 학습하지 않은 얼굴 영상의 경우 복원이 잘 되지 않는다는 문제점이 있다.
본 발명은 상기한 바와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 홍채 영상의 인식 성능(예컨대, 홍채 인식의 정확도)를 감소시키는 요인 중에 하나인 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 대한 문제를 해결하기 위해 줌 기능이 없는 렌즈를 구비한 카메라를 이용하여 입력받은 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 영상보간법 또는 신경회로망 또는 SVR을 이용하여 해상도를 향상시킴으로써 홍채 인식의 성능을 향상시키는 영상보간법 또는 신경회로망 또는 SVR을 이용한 홍채 영상 복원 방법을 제공하는 것이다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 홍채 영상 복원 방법의 제1실시예는, 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라가 특정 사용자의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하는 과정; 및 홍채 인식 프로세서가 영상보간법을 사용하여 상기 홍채 카메라를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하는 과정;으로 이루어지는 것을 특징으로 한다.
본 발명에 따른 홍채 영상 복원 방법의 제1실시예에 있어서, 상기 홍채 인식 프로세서(130)가 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하기 위해 이용하는 영상보간법은, 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 존재하는 4개의 이웃 픽셀들과 거리에 대한 가중치 곱들의 합으로부터, 상기 홍채 카메라(110)로 실제 촬영하여 획득한 단일의 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때 양자의 해상도 차이에 기인하여 상기 원 영상에는 있지만 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 손실된 픽셀의 픽셀 값을 계산하는 양선형 보간법(Bilinear Interpolation), 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 존재하는 16개의 이웃 픽셀들로부터 3차 회선에 의한 가중치 곱으로부터 상기한 손실된 픽셀의 픽셀 값을 계산하는 3차 회선 보간법(Bicubic Interpolation), 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 존재하는 16개의 이웃 픽셀들로부터 고차 방정식에 의한 가중치 곱으로부터 상기한 손실된 픽셀의 픽셀 값을 계산하는 B-스플라인 보간법(B-spline Interpolation), 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 가장 이상적인 저주파 통과 필터의 특성을 가지는 싱크(sync) 함수를 적용하여 상기한 손실된 픽셀의 픽셀 값을 계산하는 랑조스(Lanczos) 보간법 중 어느 하나인 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 홍채 영상 복원 방법의 제2실시예는, 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라가 특정 사용자의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하는 과정; 및 홍채 인식 프로세서가 신경회로망 또는 SVR(Support Vector Regression)을 사용하여 상기 홍채 카메라를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하는 과정;으로 이루어지는 것을 특징으로 한다.
본 발명에 따른 홍채 영상 복원 방법의 제2실시예에 있어서, 상기 홍채 인식 프로세서가 상기 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하기 위해 사용하는 신경회로망은, 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서의 영상 픽셀값이 입력되면, 상기 홍채 카메라로 실제 촬영하여 획득한 단일의 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때 양자의 해상도 차이에 기인하여 상기 원 영상에는 있지만 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 홍채 직경이 200픽셀 미만 해상도 영상 픽셀 주변의 홍채 직경이 200픽셀 이상 해상도 영상 픽셀값을 출력하도록 학습된 것으로, 홉필드(Hopfield), CSRN(Cellular Simultaneous Recurrent Networks), 단일 퍼셉트론(single-Layer Perceptron), 다층 퍼셉트론(Multi-Layer Perceptron), 전방향 신경망(Feed forward), 피드백형(Recurrent) 신경망 중 어느 하나인 것을 특징으로 한다.
본 발명에 따른 홍채 영상 복원 방법의 제2실시예에 있어서, 상기 홍채 인식 프로세서(130)가 상기 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하기 위해 사용하는 상기 SVR은, 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서의 영상 픽셀값이 입력되면, 상기 홍채 카메라로 실제 촬영하여 획득한 단일의 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때 양자의 해상도 차이에 기인하여 상기 원 영상에는 있지만 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 홍채 직경이 200픽셀 미만 해상도 영상 픽셀 주변의 홍채 직경이 200픽셀 이상 해상도 영상 픽셀값을 출력하도록 학습된 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 홍채 영상 복원 방법의 제3실시예는, 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라가 특정 사용자의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하는 과정과; 상기 홍채 인식 프로세서가 영상보간법을 사용하여 상기 홍채 카메라를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 1차 영상으로 복원하는 과정; 및 상기 홍채 인식 프로세서가 신경회로망 또는 SVR(Support Vector Regression)을 이용하여 상기 1차 영상을 현재보다 더 큰 값으로 정해진 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하는 과정;으로 이루어지는 것을 특징으로 한다.
상기와 같은 본 발명의 목적을 달성하기 위하여, 본 발명에 따른 홍채 영상 복원 방법의 제4실시예는, 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라가 특정 사용자의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하는 과정과; 상기 홍채 인식 프로세서가 신경회로망 또는 SVR(Support Vector Regression)을 사용하여 상기 홍채 카메라를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 1차 영상으로 복원하는 과정; 및 상기 홍채 인식 프로세서가 영상보간법을 이용하여 상기 1차 영상을 현재보다 더 큰 값으로 정해진 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하는 과정;으로 이루어지는 것을 특징으로 한다.
상술한 바와 같은 본 발명에 따르면, 홍채 직경이 200픽셀 이상 해상도 홍채 영상을 입력받기 위해 줌 렌즈를 구비한 카메라를 사용하는 대신 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 카메라를 사용할 수 있게 되므로 홍채 인식 시스템의 전체적인 가격을 감소시킬 수 있고, 이를 통해 홍채 인식 시스템을 저렴한 가격으로 대중화시킬 수 있다. 또한, 원거리에서 취득한 홍채 직경이 200픽셀 미만 해상도 영상으로부터의 홍채 인식을 가능하게 함으로써 원거리 홍채 인식이 가능하며, 이를 통해 예컨대, 출입국 관리가 필요한 공항 및 보안이 필요한 주요 공공기관 등에서 폭넓게 홍채 인식 시스템을 사용될 수 있을 것으로 기대된다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 더욱 상세하게 설명한다.
도 2는 본 발명에 따른 영상보간법 또는 신경회로망 또는 SVR을 이용한 홍채 영상 복원 방법이 적용된 홍채 인식 방법을 나타낸 플로차트이다. 도 2에 나타낸 홍채 인식 방법은 상기한 도 1에 나타낸 바와 같은 홍채 인식 시스템(100)에 적용되며, 이 홍채 인식 시스템(100)의 홍채 카메라(110)로는 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 카메라가 사용된다.
도 2를 참조하면, 상기와 같은 홍채 인식 시스템(100)의 홍채 인식 프로세서(130)는 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라(110)를 통해 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하며(S100), 예컨대 도 3에 나타낸 바와 같은 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득할 수 있다. 참고로, 도 3에서는 4가지의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 예시하고 있다.
이어서, 상기 홍채 인식 프로세서(130)는 영상보간법 또는 신경회로망 또는 SVR을 사용하여 상기와 같이 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 도 4에 나타낸 바와 같은 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 복원한다(S110).
이 경우, 영상보간법 또는 신경회로망 또는 SVR은 개별적으로 사용될 수도 있고, 결합하여 사용될 수도 있다.
상기 홍채 인식 프로세서(130)가 영상보간법 또는 신경회로망 또는 SVR을 결합하여 사용하는 경우, 예컨대 영상보간법을 사용하여 상기 홍채 카메라(110)를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 1차 영상으로 복원한 다음, 신경회로망 또는 SVR(Support Vector Regression)을 이용하여 상기 1차 영상을 현재보다 더 큰 값으로 정해진 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원할 수 있다. 이와 달리, 신경회로망 또는 SVR(Support Vector Regression)을 사용하여 상기 홍채 카메라(110)를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 1차 영상으로 복원한 다음, 영상보간법을 이용하여 상기 1차 영상을 현재보다 더 큰 값으로 정해진 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원할 수 있다.
영상 보간법으로는 양선형 보간법(Bilinear Interpolation), 3차 회선 보간법(Bicubic Interpolation), B-스플라인 보간법(B-spline Interpolation), 랑조스(Lanczos) 보간법 등이 사용될 수 있다.
상기 양선형 보간법(Bilinear Interpolation)은 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 존재하는 4개의 이웃 픽셀들과 거리에 대한 가중치 곱들의 합으로부터, 상기 홍채 카메라(110)로 실제 촬영하여 획득한 단일의 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때 양자의 해상도 차이에 기인하여 상기 원 영상에는 있지만 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 손실된 픽셀의 픽셀 값을 계산하는 방법이다.
상기 3차 회선 보간법(Bicubic Interpolation)은 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 존재하는 16개의 이웃 픽셀들로부터 3차 회선에 의한 가중치 곱으로부터 상기한 손실된 픽셀의 픽셀 값을 계산하는 방법이다.
상기 B-스플라인 보간법(B-spline Interpolation)은 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 존재하는 16개의 이웃 픽셀들로부터 고차 방정식에 의한 가중치 곱으로부터 상기한 손실된 픽셀의 픽셀 값을 계산하는 방법이다.
상기 랑조스(Lanczos) 보간법은 실제 단일 홍채 직경이 200픽셀 미만 해상도 홍채 영상에 가장 이상적인 저주파 통과 필터의 특성을 가지는 싱크(sync) 함수를 적용하여 상기한 손실된 픽셀의 픽셀 값을 계산하는 방법이다.
삭제
신경회로망은 보통 입력값과 출력값의 일정한 패턴을 찾는 방식인데, 그 구조는 입력층(Input layer), 은닉층(Hidden layer), 출력층(Output layer), 가중치, 활성함수 등으로 이루어져 있다.
신경회로망의 학습을 통해 일정한 패턴의 홍채 영역을 검출하고, 일정한 패턴의 오차를 줄이는 과정을 반복 수행함으로써 최적의 패턴을 가지는 홍채 영역을 검출한다. 이렇게 검출한 홍채 영역을 이용하여 손실된 픽셀의 픽셀 값을 계산한다.
상기 홍채 인식 프로세서(130)가 상기 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하기 위해 사용하는 신경회로망과 SVR은 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서의 영상 픽셀값이 입력되면, 상기 홍채 카메라(110)로 실제 촬영하여 획득한 단일의 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때 양자의 해상도 차이에 기인하여 상기 원 영상에는 있지만 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 홍채 직경이 200픽셀 미만 해상도 영상 픽셀 주변의 홍채 직경이 200픽셀 이상 해상도 영상 픽셀값을 출력하도록 학습된 것이다.
상기 홍채 인식 프로세서(130)가 사용하는 신경회로망은 홉필드(Hopfield), CSRN(Cellular Simultaneous Recurrent Networks), 단일 퍼셉트론(single-Layer Perceptron), 다층 퍼셉트론(Multi-Layer Perceptron), 전방향 신경망(Feed forward), 피드백형(Recurrent) 신경망 등이 있다.
예컨대, 도 5는 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하도록 학습된 신경회로망을 나타낸 실시예이다.
도 5의 신경회로망은 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상에서의 영상 픽셀값(I11, I12,…,Imn)이 입력되면, 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상에서는 취득되지 않는 홍채 직경이 200픽셀 미만 해상도 영상 픽셀 주변의 홍채 직경이 200픽셀 이상 해상도 영상 픽셀값(O11, O12,…,Omn)을 출력하도록 학습되어 있다. 예컨대, 도 5에 나타낸 바와 같이, 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상의 일부인 2×2 픽셀의 4개의 픽셀 값 I11, I12, Im1, I2n이 입력되면, 홍채 직경이 200픽셀 이상 해상도 홍채 영상의 일부인 3×3 픽셀의 9개의 픽셀 값 I11, O1N, I12, O21, O22, O2N, Im1, OM2, I2n이 출력되어 홍채 직경이 200픽셀 미만 해상도 홍채 영상의 손실된 픽셀 5개(O1N,O21,O22,O2N,OM2)가 복원되는 것이다. 여기서, 복원의 의미는 홍채 인식을 위해 획득한 홍채 직경이 200픽셀 이상 해상도 영상의 일부인 3×3 픽셀이 원 영상으로 이미 존재함을 전제하는 경우, 홍채 카메라로 실제 촬영하여 획득한 홍채 직경이 200픽셀 미만 해상도 영상의 일부인 2×2 픽셀과 상기 3×3 픽셀의 원 영상을 비교하였을 때, 양자의 해상도 차이에 기인하여 상기 홍채 직경이 200픽셀 이상 해상도 영상에는 있지만 상기 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 손실된 영상, 즉 상기한 5개(O1N,O21,O22,O2N,OM2)의 손실된 픽셀이 존재하게 되는데, 이러한 홍채 직경이 200픽셀 미만 해상도 영상의 일부인 2×2 픽셀로부터 상기 홍채 직경이 200픽셀 이상 해상도 영상의 일부인 3×3 픽셀에는 있지만 상기 홍채 직경이 200픽셀 미만 해상도 영상의 일부인 2×2 픽셀에서는 취득되지 않는 손실된 영상, 즉 상기한 5개(O1N,O21,O22,O2N,OM2)의 손실된 픽셀을 복원함으로써 상기 홍채 직경이 200픽셀 이상 해상도 영상, 즉 상기 원 영상을 획득한다는 의미이다.
상기 홍채 인식 프로세서(130)가 사용하는 상기 SVR은 비선형 커널(kernel) 함수를 이용하여 입력데이터들을 고차원 공간에 투영하고, 이를 통해 선형 회귀(linear regression)가 가능하게 하는 교사학습(supervised learning) 방법이다. 이때 SVR의 입력과 출력은 도 5의 신경회로망과 동일하다.
삭제
상기와 같이 영상보간법 또는 신경회로망 또는 SVR에 의해 홍채 직경이 200픽셀 이상 해상도 홍채 영상이 복원되고 나면, 상기 홍채 인식 프로세서(130)는 도 1을 참조하여 설명한 바와 같이, 획득한 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로부터 홍채 인식에 필요한 홍채 영역 이외의 불필요한 정보인 눈꺼풀, 속눈썹, 조명 반사광이 제거된 홍채 영역을 검출한 후(S120,S130), 이 홍채 영역에 도비치스 웨이블릿 커널 또는 독립성분분석(ICA) 커널 이외에 가버(Gabor) 커널, 하르(Haar) 커널 등과 같은 홍채 특징 추출 커널(kernel)을 적용하여 홍채 인식 인증을 요구하는 사용자의 홍채 영역에 대응하는 홍채 특징값을 추출한 다음(S140), 상기 사용자의 홍채 특징값과 상기 홍채 인식 DB(120)에 기 등록된 사용자의 홍채 특징값 사이의 유클리디안 거리, 코사인 거리, 해밍 거리 등을 유사도 값으로 산출하여, 그 산출한 값이 특정 임계치를 초과하는지 여부에 따라서 상기 사용자 인증의 수락 혹은 거절을 결정한다(S150).
이상에서 설명한 본 발명에 따른 영상보간법 또는 신경회로망 또는 SVR을 이용한 홍채 영상 복원 방법은 상기한 실시예에 한정되지 않고, 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양하게 변경하여 실시할 수 있는 범위까지 그 기술적 정신이 있다.
도 1은 통상의 홍채 인식 시스템의 구성을 나타낸 실시예.
도 2는 본 발명에 따른 영상보간법 또는 신경회로망 또는 SVR(Support Vector Regression)을 이용한 홍채 영상 복원 방법이 적용된 홍채 인식 방법을 나타낸 플로차트.
도 3은 홍채 직경이 200픽셀 미만 해상도 홍채 영상의 실시예.
도 4는 영상보간법으로 도 2의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높인 상태를 나타낸 실시예.
도 5는 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하도록 학습된 신경회로망을 나타낸 실시예.
<도면의 주요부분에 대한 부호의 설명>
100: 홍채 인식 시스템 110: 홍채 카메라
120: 홍채 인식 DB 130: 홍채 인식 프로세서

Claims (7)

  1. 삭제
  2. 삭제
  3. 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라(110)가 특정 사용자의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하는 과정; 및
    홍채 인식 프로세서(130)가 신경회로망 또는 SVR(Support Vector Regression)을 사용하여 상기 홍채 카메라(110)를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하는 과정;
    으로 이루어지는 것을 특징으로 하는 홍채 영상 복원 방법.
  4. 제 3 항에 있어서, 상기 홍채 인식 프로세서(130)가 상기 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하기 위해 사용하는 신경회로망은
    상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서의 영상 픽셀값이 입력되면, 상기 홍채 카메라(110)로 실제 촬영하여 획득한 단일의 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때 양자의 해상도 차이에 기인하여 상기 원 영상에는 있지만 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 홍채 직경이 200픽셀 미만 해상도 영상 픽셀 주변의 홍채 직경이 200픽셀 이상 해상도 영상 픽셀값을 출력하도록 학습된 것으로,
    홉필드(Hopfield), CSRN(Cellular Simultaneous Recurrent Networks), 단일 퍼셉트론(single-Layer Perceptron), 다층 퍼셉트론(Multi-Layer Perceptron), 전방향 신경망(Feed forward), 피드백형(Recurrent) 신경망 중 어느 하나인 것을 특징으로 하는 홍채 영상 복원 방법.
  5. 제 3 항에 있어서, 상기 홍채 인식 프로세서(130)가 상기 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하기 위해 사용하는 상기 SVR은
    상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서의 영상 픽셀값이 입력되면, 상기 홍채 카메라(110)로 실제 촬영하여 획득한 단일의 홍채 직경이 200픽셀 미만 해상도 영상과 상기 원 영상을 비교하였을 때 양자의 해상도 차이에 기인하여 상기 원 영상에는 있지만 상기 단일의 홍채 직경이 200픽셀 미만 해상도 영상에서는 취득되지 않는 홍채 직경이 200픽셀 미만 해상도 영상 픽셀 주변의 홍채 직경이 200픽셀 이상 해상도 영상 픽셀값을 출력하도록 학습된 것을 특징으로 하는 홍채 영상 복원 방법.
  6. 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라(110)가 특정 사용자의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하는 과정과;
    상기 홍채 인식 프로세서(130)가 영상보간법을 사용하여 상기 홍채 카메라(110)를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 1차 영상으로 복원하는 과정; 및
    상기 홍채 인식 프로세서(130)가 신경회로망 또는 SVR(Support Vector Regression)을 이용하여 상기 1차 영상을 현재보다 더 큰 값으로 정해진 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하는 과정;
    으로 이루어지는 것을 특징으로 하는 홍채 영상 복원 방법.
  7. 줌 렌즈에 비해 상대적으로 비용이 저렴하고 줌 기능이 없는 렌즈를 구비한 홍채 카메라(110)가 특정 사용자의 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 획득하는 과정과;
    상기 홍채 인식 프로세서(130)가 신경회로망 또는 SVR(Support Vector Regression)을 사용하여 상기 홍채 카메라(110)를 통해 획득된 단일의 홍채 직경이 200픽셀 미만 해상도 홍채 영상을 홍채 직경이 200픽셀 이상 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 1차 영상으로 복원하는 과정; 및
    홍채 인식 프로세서(130)가 영상보간법을 이용하여 상기 1차 영상을 현재보다 더 큰 값으로 정해진 해상도 홍채 영상으로 해상도를 높여 홍채 인식을 위한 원 영상으로 복원하는 과정;
    으로 이루어지는 것을 특징으로 하는 홍채 영상 복원 방법.
KR1020090006844A 2009-01-29 2009-01-29 홍채 영상 복원 방법 Expired - Fee Related KR101082878B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090006844A KR101082878B1 (ko) 2009-01-29 2009-01-29 홍채 영상 복원 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090006844A KR101082878B1 (ko) 2009-01-29 2009-01-29 홍채 영상 복원 방법

Publications (2)

Publication Number Publication Date
KR20100087832A KR20100087832A (ko) 2010-08-06
KR101082878B1 true KR101082878B1 (ko) 2011-11-11

Family

ID=42754195

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090006844A Expired - Fee Related KR101082878B1 (ko) 2009-01-29 2009-01-29 홍채 영상 복원 방법

Country Status (1)

Country Link
KR (1) KR101082878B1 (ko)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051691A1 (en) * 2002-12-05 2004-06-17 Orion Electric Co., Ltd. Plasma display panel and multi-display panel using the same
CN107315985A (zh) * 2016-04-26 2017-11-03 腾讯科技（深圳）有限公司 一种虹膜识别方法及终端
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101822655B1 (ko) 2011-06-21 2018-01-29 삼성전자주식회사 카메라를 이용한 물체 인식 방법 및 이를 위한 카메라 시스템
KR101302601B1 (ko) * 2012-04-12 2013-08-30 오용길 홍채인증용 영상처리장치 및 그 방법
KR20130115840A (ko) * 2012-04-13 2013-10-22 이광희 모바일용 홍채인식 카메라시스템
KR102305999B1 (ko) * 2015-01-26 2021-09-28 엘지이노텍 주식회사 홍채 인식 카메라 시스템 및 이를 포함하는 단말기와 그 시스템의 홍채 인식 방법
CN114663280B (zh) * 2022-03-15 2024-07-16 北京万里红科技有限公司 远距离虹膜图像的超分辨率重建模型及训练方法、重建方法、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
박정선, 저해상도 얼굴 영상의 해상도 개선을 위한 영역 기반 복원 방법, 정보과학회논문지 소프트웨어 및 응용, 2007.5.15. Vol.34 No.5 pp.476~486*

Cited By (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004051691A1 (en) * 2002-12-05 2004-06-17 Orion Electric Co., Ltd. Plasma display panel and multi-display panel using the same
CN107315985A (zh) * 2016-04-26 2017-11-03 腾讯科技（深圳）有限公司 一种虹膜识别方法及终端
CN107315985B (zh) * 2016-04-26 2020-12-04 腾讯科技（深圳）有限公司 一种虹膜识别方法及终端
US11487288B2 (en) 2017-03-23 2022-11-01 Tesla, Inc. Data synthesis for autonomous control systems
US12020476B2 (en) 2017-03-23 2024-06-25 Tesla, Inc. Data synthesis for autonomous control systems
US12216610B2 (en) 2017-07-24 2025-02-04 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US12086097B2 (en) 2017-07-24 2024-09-10 Tesla, Inc. Vector computational unit
US11403069B2 (en) 2017-07-24 2022-08-02 Tesla, Inc. Accelerated mathematical engine
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
US11681649B2 (en) 2017-07-24 2023-06-20 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US12307350B2 (en) 2018-01-04 2025-05-20 Tesla, Inc. Systems and methods for hardware-based pooling
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
US11797304B2 (en) 2018-02-01 2023-10-24 Tesla, Inc. Instruction set architecture for a vector computational unit
US11734562B2 (en) 2018-06-20 2023-08-22 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11841434B2 (en) 2018-07-20 2023-12-12 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US12079723B2 (en) 2018-07-26 2024-09-03 Tesla, Inc. Optimizing neural network structures for embedded systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US12346816B2 (en) 2018-09-03 2025-07-01 Tesla, Inc. Neural networks for embedded devices
US11983630B2 (en) 2018-09-03 2024-05-14 Tesla, Inc. Neural networks for embedded devices
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11893774B2 (en) 2018-10-11 2024-02-06 Tesla, Inc. Systems and methods for training machine models with augmented data
US11665108B2 (en) 2018-10-25 2023-05-30 Tesla, Inc. QoS manager for system on a chip communications
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US12367405B2 (en) 2018-12-03 2025-07-22 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US12198396B2 (en) 2018-12-04 2025-01-14 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11908171B2 (en) 2018-12-04 2024-02-20 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
US12136030B2 (en) 2018-12-27 2024-11-05 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11748620B2 (en) 2019-02-01 2023-09-05 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12223428B2 (en) 2019-02-01 2025-02-11 Tesla, Inc. Generating ground truth for machine learning from time series elements
US12014553B2 (en) 2019-02-01 2024-06-18 Tesla, Inc. Predicting three-dimensional features for autonomous driving
US12164310B2 (en) 2019-02-11 2024-12-10 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US12236689B2 (en) 2019-02-19 2025-02-25 Tesla, Inc. Estimating object properties using visual image data
US11790664B2 (en) 2019-02-19 2023-10-17 Tesla, Inc. Estimating object properties using visual image data

Also Published As

Publication number Publication date
KR20100087832A (ko) 2010-08-06

Similar Documents

Publication Publication Date Title
KR101082878B1 (ko) 홍채 영상 복원 방법
Wang et al. A comprehensive survey to face hallucination
Liu et al. Robust face hallucination via locality-constrained bi-layer representation
Lau et al. ATFaceGAN: Single face semantic aware image restoration and recognition from atmospheric turbulence
Punnappurath et al. Face recognition across non-uniform motion blur, illumination, and pose
CN102360421B (zh) 一种基于视频流的人脸识别方法及系统
US20200005023A1 (en) Facial image recognition using pseudo-images
Kondo et al. Automatic human face detection and recognition under non-uniform illumination
Seal et al. Human face recognition using random forest based fusion of à-trous wavelet transform coefficients from thermal and visible images
Hajari et al. Neural network approach to iris recognition in noisy environment
Bianco et al. Robust smile detection using convolutional neural networks
JP2010108494A (ja) 画像内の顔の特性を判断する方法及びシステム
Alonso-Fernandez et al. A survey of super-resolution in iris biometrics with evaluation of dictionary-learning
Park et al. Breaking the limitation of manifold analysis for super-resolution of facial images
Shin et al. Super-resolution method based on multiple multi-layer perceptrons for iris recognition
Meena et al. A literature survey of face recognition under different occlusion conditions
Ganesh et al. 1 Face Recognition by Sparse Representation
Bhadkare et al. Enhancing Face Recognition Accuracy On Low-Resolution Databases Using Interpolation Techniques And Feature Extraction Techniques
Deshmukh et al. Face video super resolution using deep convolutional neural network
Biswas et al. PCA based face recognition on curvelet compressive measurements
Autee et al. A review of various approaches to face hallucination
Patil et al. Super-resolution of face image extracted from a video sequence
Ariffin et al. Thermal and visible image fusion for ear recognition
Qu et al. Self-BSR: Self-Supervised Image Denoising and Destriping Based on Blind-Spot Regularization
Leelavathi et al. ENHANCED 3D FACE ANTI-SPOOFING FOR SECURE BIOMETRIC AUTHENTICATION USING SPATIO-TEMPORAL DEEP LEARNING NETWORKS (STDL-NET) WITH ROBUST FEATURE REPRESENTATION AND TEMPORAL CONSISTENCY MODELING

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20141021

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20160105

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20161107

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20171023

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20181108

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20181108

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000