KR102868622B1 - 체성분 분석 회로부를 갖는 전자 디바이스들 - Google Patents

Abstract

전자 디바이스는 얼굴, 목 및/또는 신체의 캡처된 이미지들(예를 들어, 깊이 센서에 의해 캡처된 깊이 맵 이미지들, 이미지 센서들에 의해 캡처된 가시광 및 적외선 이미지들 및/또는 다른 적합한 이미지들)에 기초하여 체성분을 추정하는 체성분 분석 회로부를 포함할 수 있다. 체성분 분석 회로부는 이미지 데이터를 분석할 수 있고, 볼, 목, 허리 등의 부분들과 같이, 체성분과 강하게 상관되는 이미지 데이터의 부분들을 추출할 수 있다. 체성분 분석 회로부는 이미지 데이터를 잠재 공간으로 인코딩할 수 있다. 잠재 공간은 얼굴/목 이미지들에서 얼굴 표정 및 목 포즈를 고려하고 신체 이미지들에서 호흡 및 신체 포즈를 고려하는 딥 러닝 모델에 기초할 수 있다. 체성분 분석 회로부는 이미지 데이터에 기초하여 그리고 사용자 인구학적 정보에 기초하여 추정된 체성분을 출력할 수 있다.

Description

체성분 분석 회로부를 갖는 전자 디바이스들{ELECTRONIC DEVICES WITH BODY COMPOSITION ANALYSIS CIRCUITRY}

본 출원은 2022년 7월 14일자로 출원된 미국 특허 출원 제17/865,194호, 2021년 8월 30일자로 출원된 미국 가특허 출원 제63/238,714호, 및 2021년 9월 9일자로 출원된 미국 가특허 출원 제63/242,357호에 대한 우선권을 주장하며, 이들은 그 전체가 본 명세서에 참조로서 포함된다.

기술분야

본 발명은 일반적으로는 전자 디바이스들에 관한 것으로, 보다 구체적으로는, 센서들을 갖는 전자 디바이스들에 관한 것이다.

셀룰러 전화기들과 같은 전자 디바이스들, 손목시계들, 및 다른 장비에는 때때로 지문 센서들, 얼굴 인식 카메라들 및 심박수 센서들과 같은 센서들이 제공된다.

이들과 같은 디바이스들을 사용하는 것은 난제일 수 있다. 사용자는 종래의 전자 디바이스들이 제공할 수 없는 상이한 유형들의 건강-관련 정보를 획득하기를 원할 수 있다. 사용자는 원하는 건강-관련 정보를 획득하기 위해 하나 초과의 전자 장비에 의존할 필요가 있을 수 있으며, 이는 불편하고 번거로울 수 있다.

전자 디바이스는 얼굴, 목 및/또는 신체의 캡처된 이미지들(예를 들어, 깊이 센서에 의해 캡처된 3차원 깊이 맵들, 가시광 및 적외선 이미지들 및/또는 다른 적합한 이미지들)에 기초하여 체성분을 추정하는 체성분 분석 회로부를 포함할 수 있다. 일부 배열들에서, 전자 디바이스의 깊이 센서는 구조화된 적외선 광으로 얼굴 및 목을 조명하는 적외선 광 방출기 및 얼굴 및 목으로부터 반사된 적외선 광을 검출하는 적외선 광 검출기를 포함할 수 있다. 깊이 센서는 반사된 적외선 광에 기초하여 3차원 구조 데이터를 캡처하는 깊이 맵 이미지 데이터를 생성할 수 있다. 원하는 경우, 다른 유형들의 깊이 감지 기술 및/또는 가시광 카메라들이 얼굴 및 목 이미지 데이터를 캡처하는 데 사용될 수 있다. 일부 배열들에서, 이미지들은 전신 이미지들일 수 있거나, 또는 몸통 또는 팔뚝과 같은 사용자의 신체의 일부의 이미지들일 수 있다.

일부 배열들에서, 체성분 분석 회로부는 이미지들을 체성분 정보에 맵핑하기 위해 사용자-연구-트레이닝된 모델을 사용할 수 있다. 모델은 특정 신체 부위의 이미지들에 대해 트레이닝될 수 있고/있거나 전신의 이미지들에 대해 트레이닝될 수 있다. 체성분 정보는 지방이 신체 전체에 걸쳐 어떻게 분포되는지를 설명할 수 있고/있거나 신체의 내장 및 피하 구획들 내의 지방의 상대적인 양들을 설명할 수 있다. 체성분 분석 회로부는 신체의 치수들을 결정하기 위해 얼굴의 이미지들을 사용하여 신체의 이미지들을 스케일링할 수 있다. 전자 디바이스는 제2 사용자의 이미지들을 캡처하는 동안 제1 사용자에 의해 착용되거나 사용되는 머리-장착형 디바이스 또는 임의의 다른 적합한 전자 디바이스일 수 있다. 전자 디바이스는 또한 사용자의 이미지들을 캡처하는 동안 자체 동작될 수 있다. 원하는 경우, 전자 디바이스는 고정식 고정구에 부착된 동안 사용자의 이미지들을 캡처할 수 있다.

체성분 분석 회로부는 이미지 데이터를 분석할 수 있고, 볼, 목, 얼굴, 가슴, 허리, 엉덩이, 넓적다리 및 부분들과 같이, 체성분과 강하게 상관되는 이미지 데이터의 부분들을 추출할 수 있다. 체성분 분석 회로부는 이미지 데이터를 잠재 공간으로 인코딩할 수 있다. 잠재 공간은 사용자 연구 데이터에 대해 트레이닝된 딥 러닝 모델에 기초할 수 있다.

얼굴 이미지들을 사용할 때, 잠재 공간은 사용자 아이덴티티를 표현하는 제1 잠재 공간, 얼굴 표정을 표현하는 제2 잠재 공간, 및 목 포즈를 표현하는 제3 잠재 공간을 포함할 수 있다. 체성분 분석 회로부는 추정된 체성분을 출력하기 위해 사용자 아이덴티티 잠재 공간 내의 얼굴 및 목 이미지 데이터를 사용함으로써 얼굴 표정 및 목 포즈를 보상할 수 있다.

신체 이미지들을 사용할 때, 잠재 공간은 사용자 아이덴티티를 표현하는 제1 잠재 공간, 호흡 상태를 표현하는 제2 잠재 공간, 및 신체 포즈를 표현하는 제3 잠재 공간을 포함할 수 있다. 체성분 분석 회로부는 추정된 체성분을 출력하기 위해 사용자 아이덴티티 잠재 공간 내의 신체 이미지 데이터를 사용함으로써 호흡 상태 및 신체 포즈를 보상할 수 있다.

체성분 분석 회로부는 이미지들을 체성분 정보에 맵핑하기 위해 사용자-연구-트레이닝된 모델을 사용할 수 있다. 모델은 특정 신체 부위의 이미지들에 대해 트레이닝될 수 있고/있거나 전신의 이미지들에 대해 트레이닝될 수 있다. 체성분 정보는 지방이 신체 전체에 걸쳐 어떻게 분포되는지를 설명할 수 있고/있거나 특정 신체 부위들 내의 내장 및 피하 지방의 상대적인 양들을 설명할 수 있다. 체성분 분석 회로부는 신체의 치수들을 결정하기 위해 얼굴의 이미지들을 사용하여 신체의 이미지들을 스케일링할 수 있다. 전자 디바이스는 제2 사용자의 이미지들을 캡처하는 동안 제1 사용자에 의해 착용되는 머리-장착형 디바이스 또는 임의의 다른 적합한 전자 디바이스일 수 있다.

도 1은 일 실시예에 따른 예시적인 전자 디바이스의 개략도이다.
도 2는 일 실시예에 따른 광학 컴포넌트들과 중첩되는 광학 컴포넌트 윈도우들을 갖는 디스플레이를 갖는 예시적인 전자 디바이스의 사시도이다.
도 3은 일 실시예에 따른 광원 및 이미지 센서와 같은 광학 컴포넌트들을 갖는 예시적인 전자 디바이스의 측단면도이다.
도 4는 일 실시예에 따른 확산기를 포함하는 예시적인 광원의 측단면도이다.
도 5는 일 실시예에 따른, 도 4에 도시된 유형의 광원을 사용하여 도트 패턴이 투영되는 예시적인 물체의 정면도이다.
도 6은 일 실시예에 따른, 얼굴 및 목 이미지들을 분석하는 데 사용되는 예시적인 체성분 분석 회로부의 개략도이다.
도 7은 일 실시예에 따른, 신체 이미지들을 분석하는 데 사용되는 예시적인 체성분 분석 회로부의 개략도이다.
도 8은 일 실시예에 따른, 얼굴 및 목과 연관된 예시적인 3차원 깊이 맵 이미지 데이터의 도면이다.
도 9는 일 실시예에 따른, 도 8에 도시된 유형의 3차원 깊이 맵 이미지 데이터의 관련 부분들이 체성분 분석을 위해 어떻게 추출될 수 있는지를 도시하는 도면이다.
도 10은 일 실시예에 따른, 정면 신체 뷰에 대응하는 예시적인 이미지 데이터의 도면이다.
도 11은 일 실시예에 따른, 측면 신체 뷰에 대응하는 예시적인 이미지 데이터의 도면이다.
도 12는 일 실시예에 따른, 도 10 및 도 11에 도시된 유형의 이미지 데이터의 관련 부분들이 체성분 분석을 위해 어떻게 추출될 수 있는지를 도시하는 도면이다.
도 13은 일 실시예에 따른, 상이한 시간들에 캡처된 얼굴 이미지 데이터가 체성분 분석을 위해 어떻게 정렬될 수 있는지를 예시하는 도면이다.
도 14는 일 실시예에 따른, 상이한 시간들에 캡처된 신체 이미지 데이터가 체성분 분석을 위해 어떻게 정렬될 수 있는지를 예시하는 도면이다.
도 15는 일 실시예에 따른, 일정 시간 기간에 걸쳐 수집될 수 있는 예시적인 사용자 연구 데이터의 도면이다.
도 16은 일 실시예에 따른, 캡처된 이미지 데이터에 기초하여 체성분을 추정하는 데 수반되는 예시적인 단계들의 흐름도이다.

광학 컴포넌트가 제공될 수 있는 유형의 예시적인 전자 디바이스의 개략도가 도 1에 도시된다. 전자 디바이스(10)는, 랩톱 컴퓨터와 같은 컴퓨팅 디바이스, 임베디드 컴퓨터를 포함하는 컴퓨터 모니터, 태블릿 컴퓨터, 셀룰러 전화, 미디어 플레이어, 또는 다른 핸드헬드 또는 휴대용 전자 디바이스, 스피커(예를 들어, 음성-제어 어시스턴트 또는 다른 적합한 스피커), 더 작은 디바이스, 예컨대 손목시계 디바이스, 펜던트(pendant) 디바이스, 헤드폰 또는 이어피스(earpiece) 디바이스, 안경 또는 사용자의 머리에 착용되는 다른 장비에 임베딩된 디바이스, 또는 다른 웨어러블 또는 소형 디바이스, 텔레비전, 임베디드 컴퓨터를 포함하지 않는 컴퓨터 디스플레이, 게이밍 디바이스, 내비게이션 디바이스, 디스플레이를 구비한 전자 장비가 키오스크(kiosk) 또는 자동차 내에 장착되어 있는 시스템과 같은 임베디드 시스템, 이러한 디바이스들 중 둘 이상의 디바이스들의 기능을 구현하는 장비, 또는 다른 전자 장비일 수 있다.

도 1에 도시된 바와 같이, 전자 디바이스(10)는 제어 회로부(16)를 가질 수 있다. 제어 회로부(16)는 디바이스(10)의 동작을 지원하기 위한 저장소 및 프로세싱 회로부를 포함할 수 있다. 저장소 및 프로세싱 회로부는 하드 디스크 드라이브 저장소, 비휘발성 메모리(예컨대, 플래시 메모리 또는 솔리드 스테이트 드라이브(solid state drive)를 형성하도록 구성된 다른 전기적 프로그래밍가능 판독 전용 메모리), 휘발성 메모리(예컨대, 정적 또는 동적 랜덤 액세스 메모리) 등과 같은 저장소를 포함할 수 있다. 제어 회로부(16) 내의 프로세싱 회로부는 디바이스(10)의 동작을 제어하는 데 사용될 수 있다. 프로세싱 회로부는 하나 이상의 마이크로프로세서, 마이크로제어기, 디지털 신호 프로세서, 기저대역 프로세서, 전력 관리 유닛, 오디오 칩, 주문형 집적 회로 등에 기초할 수 있다.

디바이스(10)는 입출력 디바이스들(12)과 같은 입출력 회로부를 가질 수 있다. 입출력 디바이스들(12)은 사용자 입력을 수집하는 사용자 입력 디바이스들 및 사용자에게 출력을 제공하는 출력 컴포넌트들을 포함할 수 있다. 디바이스들(12)은 또한, 디바이스(10)를 위한 데이터를 수신하고 데이터를 디바이스(10)로부터 외부 디바이스들에 공급하는 통신 회로부를 포함할 수 있다. 디바이스들(12)은 또한 환경으로부터 정보를 수집하는 센서들을 포함할 수 있다.

입출력 디바이스들(12)은 디스플레이(14)와 같은 하나 이상의 디스플레이들을 포함할 수 있다. 디스플레이(14)는 사용자로부터의 터치 입력을 수집하기 위한 터치 센서를 포함하는 터치스크린 디스플레이일 수 있거나, 또는 디스플레이(14)는 터치에 불감응형일 수 있다. 디스플레이(14)를 위한 터치 센서는 용량성 터치 센서 전극들의 어레이, 음향 터치 센서 구조체들, 저항성 터치 컴포넌트들, 힘 기반(force-based) 터치 센서 구조체들, 광 기반(light-based) 터치 센서, 또는 다른 적합한 터치 센서 배열체(arrangement)들에 기초할 수 있다. 디스플레이(14)는 액정 디스플레이, 발광 다이오드 디스플레이(예컨대, 유기 발광 다이오드 디스플레이), 전기 영동 디스플레이, 또는 다른 디스플레이일 수 있다.

입출력 디바이스들(12)은 광학 컴포넌트들(18)을 포함할 수 있다. 광학 컴포넌트들(18)은 발광 다이오드들 및 다른 광원들을 포함할 수 있다. 예로서, 광학 컴포넌트들(18)은 광원(20)(예를 들어, 발광 다이오드)과 같은 하나 이상의 가시광 소스들을 포함할 수 있다. 발광 다이오드(20)는 (예컨대, 디바이스(10)에 대한 플래시라이트 기능을 구현하기 위해) 일정한 조명을 제공할 수 있고/있거나 가시광 이미지 센서(26)와 같은 가시광 카메라에 대한 플래시 조명의 펄스들을 방출할 수 있다. 광학 컴포넌트들(18)은 또한 적외선 광원(22)과 같은 적외선 광원(예를 들어, 레이저, 램프, 적외선 발광 다이오드, VCSEL(vertical-cavity surface-emitting laser)들의 어레이 등)을 포함할 수 있다. 적외선 광원(22)은 940 nm와 같은 적외선 파장, 800 내지 1100 nm 범위의 파장 등에서 일정한 및/또는 펄스 조명을 제공할 수 있다. 예를 들어, 적외선 광원(22)은 적외선 이미지 센서(28)와 같은 적외선 카메라에 대한 일정한 조명을 제공할 수 있다. 적외선 이미지 센서(28)는, 예로서, 사용자의 눈으로부터 홍채 스캔 정보를 캡처하도록 구성될 수 있고/있거나 제어 회로부(16) 상에 구현되는 얼굴 인식 프로세스를 위한 이미지들을 캡처하는 데 사용될 수 있다.

원하는 경우, 적외선 광원(22)은 플러드 조명(예를 들어, 주어진 영역을 균일하게 커버하는 확산 적외선 광)을 제공하고 구조화된 광(예를 들어, 시준된 도트들의 패턴)을 제공하는 데 사용될 수 있다. 플러드 조명은 (예를 들어, 사용자의 얼굴을 검출하기 위해 그리고/또는 깊이 맵을 생성하기 위해) 외부 물체들의 적외선 이미지들을 캡처하는 데 사용될 수 있는 한편, 구조화된 광은 (예를 들어, 사용자의 얼굴의 3차원 맵을 획득하기 위해) 깊이 맵핑 동작들을 수행하기 위해 외부 물체 상에 투영될 수 있다. 이는 단지 예시적일 뿐이다. 원하는 경우, 다른 유형들의 깊이 센서들(예를 들어, 간접 비행 시간 센서들, 스테레오 카메라들 등)이 사용될 수 있다.

광원(22)이 플러드 조명 및 구조화된 광 둘 모두를 제공할 수 있게 하기 위해, 광원(22)은 스위칭가능 확산기 및 시준된 광원, 예컨대 레이저 또는 수직 캐비티 표면 방출 레이저들의 어레이를 포함할 수 있다. 플러드 조명이 요구될 때, 광원으로부터의 광을 확산시키기 위해 확산기가 턴 온될 수 있다. 구조화된 조명이 요구될 때, 시준된 광이 억제되지 않은 상태로 확산기를 통과할 수 있게 하기 위해 확산기가 턴 오프될 수 있다. 광원(22) 내의 확산기와 같은 확산기들은 액정 재료, 전기영동 재료, 또는 다른 스위칭가능 광 변조기들로부터 형성될 수 있다. 일부 구현들에서, 광원(22)은 도트들의 패턴의 복제물들을 생성하기 위해 회절 광학 요소(DOE)를 통해 광을 투영한다. 그러나, 이는 예시적일 뿐이다. 원하는 경우, 적외선 광원(22)은 플러드 조명을 제공하는 제1 광원 및 구조화된 광을 제공하는 제2 광원을 포함할 수 있다.

광학 컴포넌트들(18)은 또한 광학 근접 검출기(24) 및 주변광 센서(30)를 포함할 수 있다.

광학 근접 검출기(24)는 적외선 발광 다이오드와 같은 적외선 광원, 및 발광 다이오드로부터의 적외선 광에 의해 조명되는 외부 물체가 디바이스(10)의 부근에 있을 때를 검출하기 위한 적외선 광검출기와 같은 대응하는 광 검출기를 포함할 수 있다.

주변광 센서(30)는 주변광의 세기를 측정하는 단색 주변광 센서일 수 있거나, 또는 다수의 광검출기들로 광 측정들을 수행함으로써 주변광 컬러 및 세기를 측정하는 컬러 주변광 센서일 수 있으며, 다수의 광검출기들 각각에는 대응하는 컬러 필터(예컨대, 적색 광, 청색 광, 황색 광, 녹색 광, 또는 다른 컬러들의 광을 통과시키는 컬러 필터)가 제공되고 따라서 그 각각은 상이한 파장 대역의 주변광에 응답한다.

광학 컴포넌트들(18)에 더하여, 입출력 디바이스들(12)은 버튼, 조이스틱, 스크롤링 휠, 터치 패드, 키 패드, 키보드, 마이크로폰, 스피커, 톤 생성기, 진동기, 카메라, 발광 다이오드 및 다른 상태 표시기, 비-광학 센서(예컨대, 온도 센서, 마이크로폰, 용량성 터치 센서, 힘 센서, 가스 센서, 압력 센서, 가속도계, 나침반, 및/또는 자이로스코프로부터 형성된 관성 측정 유닛과 같은 디바이스 배향 및 모션을 모니터링하는 센서), 데이터 포트 등을 포함할 수 있다. 사용자는 입출력 디바이스들(12)을 통해 커맨드들을 공급함으로써 디바이스(10)의 동작을 제어할 수 있고, 입출력 디바이스들(12)의 출력 리소스들을 사용하여 디바이스(10)로부터 상태 정보 및 다른 출력을 수신할 수 있다.

디바이스(10)는 하우징을 가질 수 있다. 하우징은 랩톱 컴퓨터 인클로저, 손목시계용 인클로저, 셀룰러 전화 인클로저, 태블릿 컴퓨터 인클로저, 또는 다른 적합한 디바이스 인클로저를 형성할 수 있다. 예시적인 전자 디바이스의 일부분의 사시도가 도 2에 도시된다. 도 2의 예에서, 디바이스(10)는 하우징(32) 내에 장착된 디스플레이(14)와 같은 디스플레이를 포함한다. 때때로 인클로저 또는 케이스로 지칭될 수 있는 하우징(32)은 플라스틱, 유리, 세라믹, 섬유 복합재들, 금속(예를 들어, 스테인리스강, 알루미늄 등), 다른 적합한 재료들, 또는 이들 재료 중 임의의 2개 이상의 조합으로 형성될 수 있다. 하우징(32)은, 하우징(32)의 일부 또는 전부가 단일 구조체로서 기계가공 또는 성형되는 일체형 구성을 사용하여 형성될 수 있거나, 또는 다수의 구조체들(예를 들어, 내부 프레임 구조체, 외부 하우징 표면들을 형성하는 하나 이상의 구조체들 등)을 사용하여 형성될 수 있다. 하우징(32)은 임의의 적합한 형상을 가질 수 있다. 도 2의 예에서, 하우징(32)은 직사각형 윤곽(위에서 볼 때 풋프린트)을 갖고, 4개의 주연부 에지들(예컨대, 대향하는 상부 및 하부 에지들 및 대향하는 좌측 및 우측 에지들)을 갖는다. 측벽들은 하우징(32)의 주연부를 따라 연장될 수 있다. 원하는 경우, (예를 들어, 디바이스(10)가 손목시계 또는 머리-장착형 디바이스인 구성들에서) 하우징(32)의 주요 부분에 스트랩이 결합될 수 있다.

디스플레이(14)는 투명 유리, 투명 플라스틱, 사파이어의 층, 또는 다른 투명 층(예컨대, 디바이스(10)의 전면의 일부 또는 전부를 형성하거나 디바이스(10)의 다른 부분들 내에 장착되는 투명 평면 부재)과 같은 디스플레이 커버 층을 사용하여 보호될 수 있다. 디스플레이 커버 층 내에 개구들이 형성될 수 있다. 예를 들어, 버튼, 스피커 포트(34)와 같은 스피커 포트, 또는 다른 컴포넌트들을 수용하기 위해 디스플레이 커버 층에 개구가 형성될 수 있다. 통신 포트들(예를 들어, 오디오 잭 포트, 디지털 데이터 포트 등)을 형성하는 것, 버튼들에 대한 개구들을 형성하는 것 등을 위해, 개구들이 하우징(32)에 형성될 수 있다. 일부 구성들에서, 하우징(32)은 평면 유리 부재 또는 다른 투명 층(예컨대, 디스플레이 커버 층을 포함하는 디바이스(10)의 전면에 대향하는 디바이스(10)의 후면 상에 형성된 평면 부재)으로부터 형성된 후방 하우징 벽을 가질 수 있다.

디스플레이(14)는 활성 영역(AA) 내의 픽셀들(38)(예컨대, 액정 디스플레이 픽셀들, 유기 발광 다이오드 픽셀들, 전기영동 디스플레이 픽셀들 등)의 어레이를 가질 수 있다. 활성 영역(AA)의 픽셀들(38)은 디바이스(10)의 사용자를 위한 이미지들을 디스플레이할 수 있다. 활성 영역(AA)은 직사각형일 수 있고/있거나, 그의 에지들 중 하나 이상을 따라 노치들을 가질 수 있고/있거나, 원형일 수 있고/있거나, 타원형일 수 있고/있거나, 둥근 코너들을 갖는 직사각형일 수 있고/있거나, 다른 적합한 형상들을 가질 수 있다.

비활성 경계 영역(IA)과 같은 디스플레이(14)의 비활성 부분들은 활성 영역(AA)의 하나 이상의 에지들을 따라 형성될 수 있다. 비활성 경계 영역(IA)은 회로들, 신호 라인들, 및 이미지들을 형성하기 위한 광을 방출하지 않는 다른 구조물들과 중첩될 수 있다. 디바이스(10)의 사용자에 의한 시야로부터 경계 영역(IA) 내의 비활성 회로부 및 다른 컴포넌트들을 숨기기 위해, 디스플레이(14)의 최외측 층(예컨대, 디스플레이 커버 층 또는 다른 디스플레이 층)의 밑면은 흑색 잉크 층과 같은 불투명 마스킹 재료(예컨대, 흑색 염료 및/또는 흑색 안료를 함유하는 중합체, 다른 색들의 불투명 재료들 등) 및/또는 다른 층들(예를 들어, 금속, 유전체, 반도체 등)로 코팅될 수 있다. 이들과 같은 불투명 마스킹 재료들은 또한 유리, 세라믹, 중합체, 사파이어와 같은 결정질 투명 재료들, 또는 다른 투명 재료로부터 형성된 평면 후방 하우징 벽의 내측 표면 상에 형성될 수 있다.

도 2의 예에서, 스피커 포트(34)는 하우징(32)의 상부 주연부 에지에 평행한 치수를 따라 연장되는 세장형 개구(예컨대, 스트립-형상의 개구)로부터 형성된다. 스피커는 스피커 포트(34)를 위한 개구와 정렬되어 디바이스 하우징(32) 내에 장착될 수 있다. 디바이스(10)의 동작 동안, 스피커 포트(34)는 디바이스(10)의 사용자를 위한 귀 스피커 포트로서의 역할을 한다(예컨대, 사용자는 전화 통화 동안 사용자의 귀에 인접하게 개구(34)를 배치할 수 있다).

광학 컴포넌트들(18)(예컨대, 가시적 디지털 이미지 센서, 적외선 디지털 이미지 센서, 광 기반 근접 센서, 주변광 센서, 일정한 및/또는 펄스 조명 등을 제공하는 가시적 및/또는 적외선 발광 다이오드들 등)이 광학 컴포넌트 윈도우들(40)과 같은 하나 이상의 광학 컴포넌트 윈도우들 아래에 장착될 수 있다. 도 2의 예에서, 윈도우들(40) 중 4개는 원형 윤곽들(예컨대, 위에서 볼 때 원형 풋프린트들)을 갖고, 윈도우들(40) 중 하나는 세장형 스트립-형상의 개구(예컨대, 위에서 볼 때 세장형 스트립-형상의 풋프린트)를 갖는다. 세장형 윈도우(40)는 디바이스(10)의 상부 주연부 에지를 따른 측벽과 스피커 포트(34) 사이에 장착되고, 하우징(32)의 상부 주연부 에지에 평행하게 연장된다. 원하는 경우, 광학 윈도우들(40)과 같은 윈도우들은 원형 및 직사각형 형상들 이외의 형상들을 가질 수 있다. 도 2의 예들은 단지 예시적인 것이다.

윈도우들(40)과 같은 광학 컴포넌트 윈도우들은 디스플레이(14)의 비활성 영역(IA)(예컨대, 하우징(32)의 상부 주연부 에지를 따라 연장되는 비활성 디스플레이 영역과 같은, 디스플레이 커버 층 내의 비활성 경계 영역)에 형성될 수 있거나, 또는 불투명 마스킹 재료들로 코팅된 투명 부재로부터 형성된 후방 하우징 벽의 부분들, 금속 하우징 벽의 부분들, 중합체 벽 구조물들 등과 같은 디바이스(10)의 다른 부분들에 형성될 수 있다. 도 2의 예에서, 윈도우들(40)은 디스플레이(14)에 대한 디스플레이 커버 층의 스피커 포트 개구(34)와 하우징(32)의 상부 에지를 따르는 측벽 사이에서 하우징(32)의 상부 주연부 에지에 인접하게 형성된다. 일부 구성들에서, 불투명 마스킹 층이 비활성 영역(IA) 내의 디스플레이 커버 층의 밑면 상에 형성되고, 광학 윈도우들(40)은 불투명 마스킹 층 내의 개구들로부터 형성된다. 광학 윈도우들(40)이 불투명 마스킹 층과 시각적으로 블렌딩되는 것을 돕기 위해, 어두운 잉크 층, 금속 층, 유전체 층들의 스택으로부터 형성된 박막 간섭 필터, 및/또는 다른 구조물들이 윈도우들(40)과 중첩될 수 있다.

디바이스(10)의 적외선 방출기 및 적외선 검출기는 3차원 깊이 센서를 형성하는 데 사용될 수 있다. 도 3은 눈 스캔 정보, 얼굴 이미지들(예를 들어, 디바이스(10)의 사용자를 인증하기 위한 얼굴 인식 동작들을 수행하는 데 사용하기 위한 사용자의 얼굴의 이미지들, 애니모지(Animoji)들을 생성하기 위한 사용자의 얼굴 및 목의 이미지들 등), 신체 이미지들(예를 들어, 모션 추적 또는 신체 세그먼트화를 수행하는 데 사용하기 위한 사용자의 신체의 이미지들), 및/또는 다른 3차원 깊이 맵핑 정보와 같은 3차원 깊이 맵들을 생성하는 데 사용될 수 있는 디바이스(10) 내의 예시적인 깊이 센서(36)의 측면도이다. 깊이 센서(36)는 적외선 광 방출기(22) 및 적외선 광 검출기(28)를 포함할 수 있다. 디바이스(10)는 적외선 광(48)을 생성하기 위해 적외선 광원(22)(예를 들어, 적외선 발광 다이오드, 적외선 레이저 등)을 사용할 수 있다. 광(48)은 외부 물체(44)(예컨대, 사용자의 얼굴 및/또는 눈)와 같은 디바이스(10) 부근의 외부 물체들을 조명할 수 있다. 외부 물체(44)로부터의 반사된 적외선 광(46)은 얼굴 및/또는 눈의 적외선 이미지들(예를 들어, 3차원 깊이 맵들)을 생성하기 위해 적외선 디지털 이미지 센서(28)를 사용하여 수신 및 이미징될 수 있다. 깊이 정보는 또한 가시적 및/또는 근적외선 비디오들에 적절한 소프트웨어 알고리즘들을 적용하고/하거나 디바이스 내의 임의의 다른 적합한 깊이 센서를 사용함으로써 캡처될 수 있다.

적외선 광원(22)은 적외선 카메라(28)에 의해 수집될 적외선 정보의 유형에 따라 상이한 모드들로 동작할 수 있다. 예를 들어, 플러드 조명 모드에서, 광원(22)은 원하는 타겟 영역을 균일하게 커버하는 확산된 광을 방출할 수 있다. 구조화된 광 모드에서, 광원(22)은 알려진 패턴의 광을 원하는 타겟 영역 상으로 방출할 수 있다.

도 4는 광원(22)이 플러드 조명 모드에서 동작될 때 광원(22)으로부터의 조명을 예시한다. 도 4에 도시된 바와 같이, 광원(22)은 외부 물체(44)의 주어진 영역을 연속적으로 커버하는 확산 적외선 광(56)을 방출할 수 있다. 적외선 카메라(28)는 확산적으로 조명된 외부 물체(44)의 적외선 이미지를 캡처할 수 있다. 일부 배열들에서, 광원(22)로부터의 플러드 조명은 얼굴 식별 동작들 동안 사용자의 얼굴을 검출하는 데 사용될 수 있다.

도 5는 광원(22)이 구조화된 광 모드에서 동작될 때 광원(22)으로부터의 조명을 예시한다. 구조화된 광 모드에서, 광원(22)은 알려진 패턴의 적외선 광(56)을 외부 물체(44) 상에 투영할 수 있다. 도 5의 예에서, 적외선 광(56)은 외부 물체(44) 상에 도트들의 패턴을 형성한다. 도트들은 정렬된 그리드 어레이(예를 들어, 서로 균일하게 이격됨)일 수 있거나, 도트들은 랜덤 스페클(speckle) 패턴으로 투영될 수 있다. 그러나, 이는 예시적일 뿐이다. 원하는 경우, 광원(22)은 다른 패턴들(예를 들어, 수평 라인들, 수직 라인들, 수평 및 수직 라인들의 그리드, 또는 다른 적합한 미리 결정된 패턴)로 구조화된 광을 방출할 수 있다. 도 5의 구조화된 적외선 광(56)은 레이저 간섭에 기초할 수 있거나, 또는 원하는 패턴을 생성하기 위해 공간 광 변조기를 통해 적외선 광을 방출하는 투영 디스플레이 요소에 기초할 수 있다.

일부 배열들에서, 광원(22)은 플러드 조명을 제공하는 하나의 광원 및 구조화된 광을 제공하는 다른 광원을 포함할 수 있다. 다른 배열들에서, 플러드 조명 및 구조화된 광 둘 모두를 제공하기 위해 동일한 광원이 사용될 수 있다. 이는 광원으로부터 방출된 광을 선택적으로 확산시키는 스위칭가능 확산기 요소를 사용하여 달성될 수 있다.

광학 컴포넌트들(18)을 사용하여 수집되는 데이터는 체성분 평가들과 같은 하나 이상의 건강-관련 애플리케이션들을 위해 사용될 수 있다. 예를 들어, 제어 회로부(16)는 사용자의 얼굴, 목 및/또는 신체의 이미지들(예를 들어, 가시적 이미지들, 적외선 이미지들, 3차원 깊이 맵 이미지들 등)을 캡처하기 위해 광학 컴포넌트들(18)을 사용할 수 있으며, 이는 이어서, 사용자-특정 체성분 정보, 예컨대, 체질량 지수, 체지방 백분율(예를 들어, 총 신체의 지방 백분율, 개별 신체 부위들의 지방 백분율, 및/또는 피하 및 내장 구획들과 같은 상이한 지방 저장 구획들의 지방 백분율), 골량, 및/또는 다른 건강-관련 정보를 제공하기 위해 분석될 수 있다.

제어 회로부(16)는 사용자 이미지 데이터를 체성분 정보에 맵핑하기 위한 하나 이상의 모델들을 저장할 수 있다. 모델은 통계적 모델일 수 있거나, 기계 학습 모델일 수 있거나, 통계적 모델링과 기계 학습의 조합에 기초한 모델일 수 있거나, 또는 다수의 기계 학습 모델들의 조합일 수 있다. 기계 학습을 사용하여 트레이닝된 모델들은 주 컴포넌트 분석, 자동 인코더 및/또는 임의의 다른 적합한 데이터 압축 기술을 사용하여 구현될 수 있다.

자동 인코더는 데이터의 치수들을 감소시킴으로써 데이터를 잠재 공간으로 인코딩하는 것을 학습하는 인공 신경망이다. 자동 인코더는, 출력들과 입력들 사이의 손실을 최소화하기 위해 잠재 공간 내의 입력들의 분포를 인코딩하도록 트레이닝된다. 주 성분 분석은 중복 정보를 제거하고 입력 데이터의 가장 중요한 특징들(예를 들어, 가장 높은 분산을 갖는 특징들)을 캡처함으로써 입력 데이터의 치수를 감소시킨다. 주 성분 분석은 일반적으로 선형 맵핑으로 제한되는 한편, 인코더들은 어떠한 선형성 제약들도 갖지 않는다.

도 6은 얼굴 및/또는 목 이미지들로부터 체성분을 결정하는 데 사용되는 체성분 분석 회로부(58)의 개략도이다. 체성분 분석 회로부(58)는 제어 회로부(16)의 부분일 수 있고/있거나 독립형 회로로서 구현될 수 있다. 체성분 분석 회로부(58)는, 얼굴 및 목 이미지 데이터(예를 들어, 깊이 센서(36)로부터 사용자의 얼굴 및/또는 목의 3차원 깊이 맵 데이터, 가시적인 이미지 센서(26)로부터 사용자의 얼굴 및/또는 목의 가시적 이미지들 등) 및 선택적인 추가적 사용자 데이터(예를 들어, 사용자-특정 인구학적 정보, 예컨대 성별, 키, 체중, 나이, 민족성 및/또는 디바이스(10)에 저장되고/되거나 달리 회로부(58)에 제공되는 다른 사용자 데이터)와 같은 정보를 수신할 수 있다. 수신된 얼굴 및 목 이미지 데이터 및 선택적인 사용자 인구학적 데이터에 기초하여, 체성분 분석 회로부(58)는 추정된 체성분 정보, 예컨대, 체질량 지수, 체지방 백분율, 얼굴 및 목의 지방 백분율, 골량 및/또는 다른 건강-관련 정보를 출력할 수 있다. 원하는 경우, 사용자 인구학적 정보는 생략될 수 있고, 체성분 분석 회로부(58)는 캡처된 얼굴 및 목 이미지 데이터에만 기초하여 사용자의 체성분을 추정할 수 있다.

원하는 경우, 얼굴 및 목 이미지 데이터는 전용 체성분 분석의 일부로서 수집될 수 있고(예를 들어, 깊이 센서(36)가 체성분 분석을 위한 얼굴 및 목 이미지들을 획득하기 위해 구체적으로 사용될 때), 그리고/또는 깊이 센서(36)가 일부 다른 목적을 위해 이미 사용되고 있을 때 수집될 수 있다(예를 들어, 깊이 센서(36)가 얼굴 인식 및 사용자 인증 목적들을 위해 이미 사용되고 있을 때, 깊이 센서(36)가 애니모지 또는 사용자의 얼굴 표정들을 캡처하는 것을 수반하는 다른 가상 현실 애플리케이션들을 생성하기 위해 이미 사용되고 있을 때 등). 얼굴 및 목 이미지 데이터는 하루 중 상이한 시간들에 그리고/또는 여러 날들에 걸쳐 얼굴 및 목에 대해 캡처된 하나 이상의 이미지들을 포함할 수 있다.

사용자 인구학적 정보는 전용 체성분 분석 질문지의 일부로서 사용자로부터 수신될 수 있고/있거나 일부 다른 건강-관련 애플리케이션의 일부로서 사용자로부터 수신될 수 있다.

체성분 분석 회로부(58)는 사용자 연구들로부터의 데이터를 사용하여 트레이닝된 모델을 저장할 수 있다. 예를 들어, 주어진 시간 기간(예를 들어, 1 개월, 2 개월, 3 개월, 6 개월, 8 개월, 10 개월, 1 년, 1 년 초과, 1 년 미만 등)에 걸쳐 참가자들의 그룹(예를 들어, 10명의 참가자들, 50명의 참가자들, 100명의 참가자들, 1000명의 참가자들 및/또는 임의의 다른 적합한 수의 참가자들)으로부터 데이터가 수집될 수 있다. 연구 동안 데이터 수집의 각각의 포인트에서, 연구 참가자의 얼굴 및 목 형상 및 크기가 측정될 수 있고, 사용자의 체성분이 측정될 수 있다. 얼굴 및 목 형상 및 크기는, 도 3에 도시된 유형의 3차원 깊이 센서를 사용하여, 인체측정학적 측정들(예를 들어, 신체 랜드마크들 및 측정들)을 사용하여, 그리고/또는 임의의 다른 적합한 측정 디바이스(예를 들어, 3차원 신체 스캐너)를 사용하여 측정될 수 있다. 체성분은 임의의 적합한 체성분 추적 기술, 예컨대, 자기 공명 이미징, 이중 에너지 X-선 흡수 측정, 공기 변위 체적 측정(plethysmography), 수중 계량 등을 사용하여 측정될 수 있다. 대안적으로, 모델은 얼굴 및 목의 지방 백분율을 예측하도록 트레이닝될 수 있다. 사용자 연구 동안 수집된 데이터는 디바이스(10)의 체성분 분석 회로부(58)에 저장된 모델을 트레이닝하기 위한 트레이닝 데이터로서 기능할 수 있다.

체성분 분석 회로부(58)는 잠재 공간에서 입력 데이터의 치수를 감소시키기 위해 주 성분 분석, 자동 인코더 및/또는 임의의 다른 적합한 데이터 압축 기술을 사용할 수 있다. 예를 들어, 잠재 공간은, 대상의 아이덴티티를 설명하는 아이덴티티 잠재 공간, 대상의 얼굴 표정들을 설명하는 표정 잠재 공간, 및 대상의 목 포즈를 설명하는 포즈 잠재 공간을 포함할 수 있다. 얼굴 표정 잠재 공간 및 목 포즈 잠재 공간을 포함함으로써, 체성분 분석 회로부(58)는, 오직 대상의 추정된 체성분을 출력하기 위해 아이덴티티 잠재 공간을 사용함으로써 얼굴 표정 및 목 포즈의 효과들을 보상할 수 있다. 추가적으로, 전달 학습 방법들은 다른 데이터를 사용하여 사전-트레이닝된 기계 학습 모델들을 선택적으로 향상시키는 데 사용될 수 있다.

도 7은 얼굴 및/또는 목 이미지들로부터 체성분을 결정하는 체성분 분석 회로부(58)의 개략도이다. 체성분 분석 회로부(58)는 제어 회로부(16)의 부분일 수 있고/있거나 독립형 회로로서 구현될 수 있다. 체성분 분석 회로부(58)는, 신체 이미지 데이터(예를 들어, 깊이 센서(36)로부터 사용자의 신체의 3차원 깊이 맵 데이터, 가시적인 이미지 센서(26)로부터 사용자의 신체의 가시적 이미지들 등) 및 선택적인 추가적 사용자 데이터(예를 들어, 사용자-특정 인구학적 정보, 예컨대 성별, 키, 체중, 나이, 민족성 및/또는 디바이스(10)에 저장되고/되거나 달리 회로부(58)에 제공되는 다른 사용자 데이터)와 같은 정보를 수신할 수 있다. 수신된 신체 이미지 데이터 및 선택적인 사용자 인구학적 데이터에 기초하여, 체성분 분석 회로부(58)는 추정된 체성분 정보, 예컨대, 체질량 지수, 체지방 백분율, 골량 및/또는 다른 건강-관련 정보를 출력할 수 있다. 원하는 경우, 사용자 인구학적 정보는 생략될 수 있고, 체성분 분석 회로부(58)는 캡처된 신체 이미지 데이터에만 기초하여 사용자의 체성분을 추정할 수 있다.

체성분 분석 회로부(58)는 임의의 적합한 모델을 사용하여 체성분을 분석할 수 있다. 2-구획 모델에서, 신체는 2개의 구획들, 즉 지방에 대응하는 제1 구획 및 지방 이외의 모든 것(예를 들어, 근육, 뼈 등)에 대응하는 제2 구획으로 구성되는 것으로 가정된다. 3-구획 모델에서, 신체는 내장 지방, 피하 지방 및 비-지방으로 구성되는 것으로 가정된다. 원하는 경우, 체성분 분석 회로부(58)는 3-구획 모델을 사용할 수 있고, 사용자의 이미지들에 기초하여 사용자의 내장 지방, 피하 지방 및 비-지방의 양을 추정할 수 있다. 체성분 분석 회로부(58)는 신체의 특정 영역들의 체성분(예를 들어, 사용자의 몸통에 얼마나 많은 내장 지방 및 피하 지방이 위치되는지)을 추정할 수 있거나, 또는 전신에 걸쳐 체성분(예를 들어, 내장 지방 및 피하 지방의 총량이 사용자의 신체에 걸쳐 어떻게 분포되는지)을 추정할 수 있다.

원하는 경우, 신체 이미지 데이터는 전용 체성분 분석의 일부로서 수집될 수 있고(예를 들어, 깊이 센서(36)가 체성분 분석을 위한 신체 이미지들을 획득하기 위해 구체적으로 사용될 때), 그리고/또는 깊이 센서(36)가 일부 다른 목적을 위해 이미 사용되고 있을 때 수집될 수 있다(예를 들어, 깊이 센서(36)가 일부 다른 신체 스캐닝 목적으로 이미 사용되고 있을 때). 신체 이미지 데이터는 하루 중 상이한 시간들에 그리고/또는 여러 날들에 걸쳐 상이한 뷰들(예를 들어, 정면도, 측면 프로파일 뷰, 후면도 등)로부터의 신체에 대해 캡처된 하나 이상의 이미지들을 포함할 수 있다. 이미지 데이터는 대상이 호흡하고/하거나 움직이는 동안 촬영된 비디오로부터의 이미지들과 같은 이미지들의 시퀀스를 포함할 수 있다.

사용자 인구학적 정보는 전용 체성분 분석 질문지의 일부로서 사용자로부터 수신될 수 있고/있거나 일부 다른 건강-관련 애플리케이션의 일부로서 사용자로부터 수신될 수 있다.

체성분 분석 회로부(58)는 사용자 연구들로부터의 데이터를 사용하여 트레이닝된 모델을 저장할 수 있다. 예를 들어, 주어진 시간 기간(예를 들어, 1 개월, 2 개월, 3 개월, 6 개월, 8 개월, 10 개월, 1 년, 1 년 초과, 1 년 미만 등)에 걸쳐 참가자들의 그룹(예를 들어, 10명의 참가자들, 50명의 참가자들, 100명의 참가자들, 1000명의 참가자들 및/또는 임의의 다른 적합한 수의 참가자들)으로부터 데이터가 수집될 수 있다. 연구 동안 데이터 수집의 각각의 포인트에서, 연구 참가자의 신체 형상 및 크기가 측정될 수 있고, 사용자의 체성분이 측정될 수 있다. 신체 형상 및 크기는, 도 3에 도시된 유형의 3차원 깊이 센서를 사용하여, 인체측정학적 측정들(예를 들어, 신체 랜드마크들 및 측정들)을 사용하여, 그리고/또는 임의의 다른 적합한 측정 디바이스(예를 들어, 3차원 신체 스캐너)를 사용하여 측정될 수 있다. 체성분은 임의의 적합한 체성분 추적 기술, 예컨대, 자기 공명 이미징, 이중 에너지 X-선 흡수 측정, 공기 변위 체적 측정, 수중 계량 등을 사용하여 측정될 수 있다. 대안적으로, 모델은 신체의 지방 백분율을 예측하도록 트레이닝될 수 있다. 사용자 연구 동안 수집된 데이터는 디바이스(10)의 체성분 분석 회로부(58)에 저장된 모델을 트레이닝하기 위한 트레이닝 데이터로서 기능할 수 있다.

체성분 분석 회로부(58)는 잠재 공간에서 입력 데이터의 치수를 감소시키기 위해 주 성분 분석, 자동 인코더 및/또는 임의의 다른 적합한 데이터 압축 기술을 사용할 수 있다. 예를 들어, 잠재 공간은, 대상의 아이덴티티를 설명하는 아이덴티티 잠재 공간, 대상의 호흡 상태를 설명하는 호흡 상태 잠재 공간, 및 대상의 신체 포즈를 설명하는 포즈 잠재 공간을 포함할 수 있다. 호흡 상태 잠재 공간 및 신체 포즈 잠재 공간을 포함함으로써, 체성분 분석 회로부(58)는, 오직 대상의 추정된 체성분을 출력하기 위해 아이덴티티 잠재 공간을 사용함으로써 호흡 및 신체 포즈의 효과들을 보상할 수 있다. 추가적으로, 전달 학습 방법들은 다른 데이터를 사용하여 사전-트레이닝된 기계 학습 모델들을 선택적으로 향상시키는 데 사용될 수 있다.

이미지 데이터를 체성분에 맵핑하기 위해 체성분 분석 회로부(58)가 사용하는 모델은 지방을 체액으로부터 구별하는 것을 돕기 위해 다양한 인자들을 고려할 수 있다. 체성분 분석 회로부(58)는 지방 및 체액 축적 사이를 구별하기 위해 지방 및 수분 저장의 알려진 영역들을 사용할 수 있다. 예를 들어, 눈 아래의 백(bag)들은 지방 저장보다는 체액 보유의 표시자일 수 있다. 관절, 발, 및 팔 주위의 영역들은 지방 저장 영역들보다는 체액 보유 영역들인 경향이 있다.

도 8은 얼굴 및/또는 목 이미지 데이터를 사용할 때 체성분을 결정하는 데 사용될 수 있는 예시적인 데이터를 도시하는 도면이다. 도 8에 도시된 바와 같이, 캡처된 이미지 데이터(60)(예를 들어, 캡처된 얼굴 및 목 이미지 데이터)는 사용자의 얼굴 및 목의 3차원 깊이 맵을 포함할 수 있다. 얼굴 및 목 이미지 데이터(60)는 사용자의 얼굴 및 목에 걸친 상이한 위치들에 대한 깊이를 표현하는 데이터 포인트들의 어레이를 포함할 수 있다. 원하는 경우, 이미지 데이터(60)는 도 3의 깊이 센서(36)에 의해 캡처될 수 있다.

원하는 경우, 이미지 데이터(60) 전부가 체성분 분석 동작들 동안 사용될 수 있거나, 또는 이미지 데이터(60)의 일부만이 체성분 분석 동작들 동안 사용될 수 있다. 체지방은 볼 및 목의 영역들과 같은 특정 지방 포켓들에 저장되는 경향이 있기 때문에, 그러한 영역들은 다른 영역들보다 체성분을 더 잘 나타낼 수 있다. 예를 들어, 사용자의 이마의 형상은 사용자의 체지방이 변함에 따라 변동을 거의 나타내지 않을 수 있는 한편, 볼 및 목의 부분들은 체성분의 변화들과 직접적으로 상관되는 검출가능한 변화들을 나타낼 수 있다. 원하는 경우, 체성분 분석 회로부(58)는 체성분 분석을 위해 영역들(62) 내의 데이터와 같은 데이터(60)의 특정 부분들을 선택할 수 있고, 디바이스(10)로부터 나머지 데이터를 삭제할 수 있다. 영역들(62)에서 데이터를 선택하고 나머지 데이터를 삭제한 후에, 체성분 분석 회로부(58)는 도 9의 데이터(60')를 사용하여 체성분 분석으로 진행할 수 있다.

도 10 및 도 11은 신체 이미지들을 사용할 때 신체 조성을 결정하는 데 사용될 수 있는 예시적인 데이터를 도시하는 도면들이다. 도 10에 도시된 바와 같이, 캡처된 이미지 데이터(60)(예를 들어, 캡처된 신체 이미지 데이터(60))는 정면으로부터 캡처된 사용자의 신체의 하나 이상의 3차원 깊이 맵들을 포함할 수 있다. 도 11은 캡처된 신체 이미지 데이터(60)가 측면 프로파일 뷰로부터 캡처된 사용자의 신체의 하나 이상의 3차원 깊이 맵들을 어떻게 포함할 수 있는지를 도시한다. 신체 이미지 데이터(60)는 사용자의 신체에 걸친 상이한 위치들에 대한 깊이를 표현하는 데이터 포인트들의 어레이를 포함할 수 있다. 원하는 경우, 이미지 데이터(60)는 도 3의 깊이 센서(36)에 의해 캡처될 수 있다. 그렇지만, 이것은 예시적인 것에 불과하다. 원하는 경우, 이미지 데이터(60)는 상이한 유형의 깊이 센서(예를 들어, 구조화된 광을 사용하지 않는 센서)에 의해 캡처된 깊이 이미지 데이터일 수 있거나, 가시광 카메라를 사용하여 캡처된 가시광 이미지 데이터일 수 있거나, 적외선 센서에 의해 캡처된 적외선 이미지 데이터일 수 있거나, 또는 다른 적합한 이미지 데이터일 수 있다.

일부 배열들에서, 데이터(60)는, 전신 이미지를 캡처하기 위해 사용자로부터 충분히 멀리 떨어져 배치된 디바이스(10) 내의 센서를 사용하여 수집될 수 있다. 예를 들어, 디바이스(10)는 사용자가 전신 이미지를 캡처하기 위해 사용자로부터 충분히 멀리 떨어져 서 있는 동안 이미지 데이터(60)를 캡처하는 센서를 갖는 텔레비전일 수 있거나, 또는 디바이스(10)는 휴대 전화기, 랩톱, 태블릿 컴퓨터, 또는 사용자가 일정 거리에 서 있는 동안 사용자의 전신 이미지들을 캡처하기 위해 하나의 위치에 지지될 수 있는 다른 전자 디바이스와 같은 휴대용 전자 디바이스일 수 있다. 원하는 경우, 디바이스(10)는 제1 사용자(예를 들어, 물리적 트레이너)가 일정 거리에서 제2 사용자(예를 들어, 트레이너의 클라이언트)를 보는 동안 착용하는 머리-장착형 디바이스 또는 임의의 다른 적합한 전자 디바이스일 수 있다. 머리-장착형 디바이스는 제2 사용자가 제1 사용자 착용 디바이스(10)로부터 일정 거리에 서 있는 동안 제2 사용자의 이미지 데이터(60)를 캡처하는 센서를 가질 수 있다. 전자 디바이스는 사용자의 이미지들을 캡처하는 동안 자체 동작될 수 있다. 원하는 경우, 전자 디바이스는 사용자의 이미지들을 캡처하는 동안 고정식 고정구에 부착될 수 있다.

일부 배열들에서, 데이터(60)는 (예를 들어, 디바이스(10) 내의 전향 이미지 센서를 사용하여) 사용자의 손에 홀딩되는 핸드헬드 전자 디바이스에 의해 수집될 수 있다. 핀쿠션 왜곡 정류(pincushion distortion rectification), 키스톤(keystone) 보정, 및/또는 임의의 다른 적합한 왜곡 보상 기술들을 사용하여 이미지 왜곡이 보정될 수 있다. 원하는 경우, 왜곡을 나타내지 않는 사용자의 얼굴의 이미지들이 전신 이미지들에서 왜곡을 제거하는 데 사용될 수 있다. 예를 들어, 사용자의 얼굴의 치수들은 왜곡을 갖지 않는 얼굴 이미지로부터 결정될 수 있고, 이는 결국, 제어 회로부(16)가 전신 이미지에 기초하여 사용자의 신체의 치수들을 결정할 수 있도록 전신 이미지를 스케일링하는 데 사용될 수 있다. 디바이스(10) 내의 모션 센서들(예를 들어, 가속도계들, 자이로스코프들, 나침반들 등)로부터의 배향 정보가 또한, 사용자의 신체의 크기의 더 정확한 픽처를 얻기 위해 전신 이미지들로부터 왜곡을 제거하는 데 사용될 수 있다. 체성분 분석 회로부(58)가 신체의 상이한 부위들의 다수의 사진들을 함께 스티칭하는 배열들이 또한 사용될 수 있다.

일부 배열들에서, 이미지 데이터(60)는 사용자의 신체의 일부만의 이미지들을 포함할 수 있다. 예를 들어, 이미지 데이터(60)는 사용자의 몸통만의 이미지들을 포함하는 몸통 이미지 데이터, 사용자의 팔뚝의 이미지들을 포함하는 팔뚝 이미지 데이터, 사용자의 다리만의 이미지들을 포함하는 다리 이미지 데이터, 및/또는 다른 적합한 이미지 데이터일 수 있다. 사용자의 신체의 특정 부분의 이미지들은 (예를 들어, 몸통, 팔뚝 등의 내장 지방 및/또는 피하 지방을 추적하기 위해) 사용자의 신체의 그 특정 부분의 체성분을 결정하는 데 사용될 수 있다.

원하는 경우, 이미지 데이터(60) 전부가 체성분 분석 동작들 동안 사용될 수 있거나, 또는 이미지 데이터(60)의 일부만이 체성분 분석 동작들 동안 사용될 수 있다. 체지방은 얼굴, 목, 허리, 엉덩이, 및 넓적다리의 영역들과 같은 특정 지방 포켓들에 저장되는 경향이 있기 때문에, 그러한 영역들은 다른 영역들보다 체성분을 더 잘 나타낼 수 있다. 예를 들어, 사용자의 이마의 형상은 사용자의 체지방이 변함에 따라 변동을 거의 나타내지 않을 수 있는 한편, 볼, 목 및 허리의 부분들은 체성분의 변화들과 직접적으로 상관되는 검출가능한 변화들을 나타낼 수 있다. 원하는 경우, 체성분 분석 회로부(58)는, 데이터(60)의 어느 부분들이 영역들(62) 내의 데이터와 같이 체성분과 강하게 상관되는 신체의 영역들에 대응하는지를 결정할 수 있고, 디바이스(10)로부터 나머지 데이터를 삭제할 수 있다. 영역들(62)에서 데이터를 선택하고 나머지 데이터를 삭제한 후에, 체성분 분석 회로부(58)는 도 12의 데이터(60')를 사용하여 체성분 분석으로 진행할 수 있다.

원하는 경우, 체성분 분석 회로부(58)는 상이한 시간들에 캡처된 얼굴, 목 및/또는 신체 이미지들을 비교함으로써 시간의 경과에 따른 체성분의 변화들을 추적할 수 있다. 도 13은, 체성분 분석 회로부(58)가 상이한 시간들에 캡처된 얼굴 이미지들을 어떻게 비교할 수 있는지를 예시하는 도면이다. 도 13에 도시된 바와 같이, 이미지(64)는 제1 시간에 깊이 센서(36)에 의해 캡처된 이미지를 표현할 수 있는 한편, 이미지(64')는 제2 시간에 깊이 센서(36)에 의해 캡처된 이미지를 표현할 수 있다. 제1 시간과 제2 시간 사이의 체성분 변화들을 추적하기 위해, 체성분 분석 회로부(58)는, 시간의 경과에 따라 가장 적게 변화할 것으로 예상되는 이미지(64) 및 이미지(64')의 부분들을 정렬시킬 수 있다. 예를 들어, 사용자의 눈, 코, 귀 및/또는 다른 얼굴 특징들은 시간의 경과에 따라 거의 변화를 나타내지 않을 수 있고, 따라서, 상이한 시간들에 캡처된 이미지들을 정렬시키기 위한 양호한 앵커(anchor)들로서 역할을 할 수 있다. 도 13에 도시된 바와 같이, 예를 들어, 체성분 분석 회로부(58)는 이미지(64)의 눈(64E)을 이미지(64')의 눈(64E')과 정렬시킴으로써, 체성분 분석 회로부(58)가 사용자의 볼 및 목과 같은 얼굴의 다른 영역들에 대한 형상 및 크기의 변화들을 보다 정확하게 추적할 수 있게 할 수 있다. 원하는 경우, 체성분 분석 회로부(58)는 얼굴 및 목 형상 및 크기의 변화들을 체성분의 변화들에 맵핑하는 모델을 저장할 수 있다(예를 들어, 원하는 경우, 체성분 분석 회로부(58)는 이미지(64)와 이미지(64') 사이의 차이를 대응하는 체지방의 변화에 맵핑할 수 있다).

도 14는, 체성분 분석 회로부(58)가 상이한 시간들에 캡처된 신체 이미지들을 어떻게 비교할 수 있는지를 예시하는 도면이다. 도 14에 도시된 바와 같이, 이미지(64)는 제1 시간에 깊이 센서(36)에 의해 캡처된 이미지를 표현할 수 있는 한편, 이미지(64')는 제2 시간에 깊이 센서(36)에 의해 캡처된 이미지를 표현할 수 있다. 제1 시간과 제2 시간 사이의 체성분 변화들을 추적하기 위해, 체성분 분석 회로부(58)는, 시간의 경과에 따라 가장 적게 변화할 것으로 예상되는 이미지(64) 및 이미지(64')의 부분들을 정렬시킬 수 있다. 예를 들어, 사용자의 눈, 코, 귀, 다른 얼굴 특징들, 및 사지 및/또는 골격 길이들은 시간의 경과에 따라 거의 변화를 나타내지 않을 수 있고, 따라서, 상이한 시간들에 캡처된 이미지들을 정렬시키기 위한 양호한 앵커들로서 역할을 할 수 있다. 도 14에 도시된 바와 같이, 예를 들어, 체성분 분석 회로부(58)는 이미지(64)의 눈(64E)을 이미지(64')의 눈(64E')과 정렬시킴으로써, 체성분 분석 회로부(58)가 사용자의 얼굴, 볼 및 허리와 같은 신체의 다른 영역들에 대한 형상 및 크기의 변화들을 보다 정확하게 추적할 수 있게 할 수 있다. 원하는 경우, 체성분 분석 회로부(58)는 신체 형상 및 크기의 변화들을 체성분의 변화들에 맵핑하는 모델을 저장할 수 있다(예를 들어, 원하는 경우, 체성분 분석 회로부(58)는 이미지(64)와 이미지(64') 사이의 차이를 대응하는 체지방의 변화에 맵핑할 수 있다).

도 15는 디바이스(10)의 체성분 분석 회로부(58)에 저장된 모델을 트레이닝하기 위한 하나 이상의 사용자 연구들 동안 데이터가 어떻게 수집될 수 있는지를 예시하는 도면이다. 도 15에 도시된 바와 같이, 데이터(66)는 시간 t0, 시간 t1, 시간 t2 등에서 시간 tn까지 주어진 사용자 집단으로부터 수집될 수 있다. 데이터(66)는 참가자들의 얼굴, 목 및/또는 신체 형상 및 크기의 측정들 및 참가자들의 체지방의 측정들을 포함할 수 있다. 데이터(66)는 사용자 연구 전반에 걸쳐 하루에 한 번, 매주 한 번, 한 달에 한 번, 또는 임의의 다른 적합한 카덴스(cadence)로 수집될 수 있다. 연구는 1 개월, 2 개월, 3 개월, 6 개월, 8 개월, 10 개월, 1 년, 1 년 초과, 1 년 미만 등의 기간에 걸쳐 연장될 수 있다.

연구 동안 데이터 수집의 각각의 포인트에서(예를 들어, 시간들 t0, t1, t2, ...tn에서), 각각의 참가자의 얼굴, 목 및/또는 신체 형상 및 크기가 측정될 수 있고, 참가자의 체성분이 측정될 수 있다. 트레이닝 데이터는 전신 측정들을 포함할 수 있고/있거나 분절 신체 측정들(예를 들어, 팔뚝 측정들, 몸통 측정들, 다리 측정들 등)을 포함할 수 있다. 분절 신체 데이터에 기초하여 디바이스(10)에 저장된 모델을 트레이닝하는 것은 사용자가 특정 신체 부위에 대한 변화들을 추적할 수 있게 할 수 있다. 예를 들어, 사용자는 사용자의 팔뚝의 픽처를 촬영하기 위해 디바이스(10)를 사용할 수 있고, 체성분 분석 회로부(58)는 데이터(66)에 포함된 팔뚝 트레이닝 데이터에 기초하여 팔뚝 이미지를 근육 질량 값에 맵핑할 수 있다.

얼굴, 목 및/또는 신체 형상 및 크기는, 도 3에 도시된 유형의 3차원 깊이 센서를 사용하여, 인체측정학적 측정들(예를 들어, 신체 랜드마크들 및 측정들)을 사용하여, 그리고/또는 임의의 다른 적합한 측정 디바이스(예를 들어, 3차원 신체 스캐너)를 사용하여 측정될 수 있다. 체성분은 임의의 적합한 체성분 추적 기술, 예컨대, 자기 공명 이미징, 이중 에너지 X-선 흡수 측정, 공기 변위 체적 측정, 수중 계량 등을 사용하여 측정될 수 있다. 예를 들어, (예를 들어, 사지, 몸통, 하복부, 상복부, 가슴, 목, 머리 및 얼굴과 같은 신체 부위들의 체지방을 획득하기 위해) 자기 공명 이미징 또는 이중 에너지 X-선 흡수 측정과 같은 국소화된 방법을 사용하여 지방 데이터가 측정될 수 있다. 사용자 연구 동안 수집된 데이터(66)는 디바이스(10)의 체성분 분석 회로부(58)에 저장된 모델을 트레이닝하기 위한 트레이닝 데이터로서 기능할 수 있다. 원하는 경우, 연구 전반에 걸쳐 상이한 시간들에 캡처된 주어진 참가자의 얼굴, 목, 및/또는 신체의 이미지들은 도 13 및 도 14와 관련하여 설명된 유형의 기술을 사용하여 정렬 및 비교될 수 있다.

도 16은 디바이스(10)의 동작 동안 캡처된 이미지들에 기초하여 사용자의 체성분을 추정하는 데 수반되는 예시적인 단계들의 흐름도이다.

블록(100)의 동작들 동안, 체성분 분석 회로부(58)는 디바이스(10)의 하나 이상의 광학 컴포넌트들(18)을 사용하여 사용자의 얼굴, 목 및/또는 신체의 하나 이상의 이미지들을 캡처할 수 있다. 예를 들어, 깊이 센서(36)가 사용자의 얼굴, 목 및/또는 신체의 3차원 깊이 맵 이미지를 캡처할 수 있고/있거나, 가시적 이미지 센서(26)가 사용자의 얼굴, 목 및/또는 신체의 가시적 이미지를 캡처할 수 있고/있거나, 디바이스(10)의 다른 광학 컴포넌트들(18)이 사용자의 얼굴, 목 및/또는 신체의 이미지 데이터를 수집하는 데 사용될 수 있다.

신체 이미지들의 경우, 머리에서 발까지 신체를 스캐닝함으로써, 하나의 이미지 프레임에서 전신을 캡처함으로써, 그리고/또는 얼굴, 목, 허리, 다리 등과 같은 신체의 상이한 부분들의 다수의 이미지 프레임들을 캡처함으로써, 이미지 데이터가 캡처될 수 있다. 신체 이미지 데이터는 도 10 및 도 11에 예시된 바와 같이, 정면 신체 뷰 및 측면 신체 뷰를 포함할 수 있다. 이미지 데이터는 또한 대상이 호흡하고/하거나 움직이는 동안 촬영된 비디오로부터의 이미지들과 같은 이미지들의 시퀀스에서 캡처될 수 있다.

얼굴, 목 및/또는 신체 이미지 데이터는 전용 체성분 분석의 일부로서 수집될 수 있고(예를 들어, 깊이 센서(36)가 체성분 분석을 위한 얼굴, 목 및/또는 신체 이미지들을 획득하기 위해 구체적으로 사용될 때), 그리고/또는 깊이 센서(36)가 일부 다른 목적을 위해 이미 사용되고 있을 때 수집될 수 있다(예를 들어, 깊이 센서(36)가 얼굴 인식 및 사용자 인증 목적들을 위해 이미 사용되고 있을 때, 깊이 센서(36)가 애니모지 또는 사용자의 얼굴 표정들을 캡처하는 것을 수반하는 다른 가상 현실 애플리케이션들을 생성하기 위해 이미 사용되고 있을 때 등). 얼굴, 목 및/또는 신체 이미지 데이터는 하루 중 상이한 시간들에 그리고/또는 여러 날들에 걸쳐 상이한 관점들로부터 얼굴, 목 및/또는 신체에 대해 캡처된 하나 이상의 이미지들을 포함할 수 있다.

블록(102)의 동작들 동안, 체성분 분석 회로부(58)는 블록(100) 동안 캡처된 이미지들을 분석할 수 있고, 캡처된 이미지들의 어느 영역들이 체성분 분석에 관련되는지를 식별할 수 있다. 이는, 이미지 데이터의 어느 영역들이 체성분과 강하게 상관되는 영역들(예를 들어, 도 8, 도 9, 도 10, 도 11 및 도 12의 영역들(62))에 대응하는지를 식별하는 것을 포함할 수 있다. 예를 들어, 얼굴 영역들(예를 들어, 볼 영역들), 목 영역들 및/또는 허리 영역들에 대응하는 이미지 데이터는 체성분 분석을 위해 보존될 수 있다. 체성분과 강하게 상관되지 않은 이미지 데이터의 영역들은, 원한다면, 삭제되거나 달리 사용되지 않을 수 있다.

블록(104)의 동작들 동안, 체성분 분석 회로부(58)는 블록(102) 동안 식별된 관련 이미지 데이터를 잠재 공간으로 인코딩할 수 있다. 이는 자동 인코더, 주 성분 분석 및/또는 다른 데이터 압축 기술을 사용하여 이미지 데이터의 치수를 감소시키는 것을 포함할 수 있다. 예를 들어, 체성분에 대한 관련 이미지 데이터가 수천 개의 데이터 포인트들을 포함하면, 체성분 분석 회로부(58)는 (예시적인 예로서) 관련 이미지 데이터를 수백 개의 데이터 포인트들로 압축할 수 있다.

얼굴 및 목 이미지들의 경우, 잠재 공간은, 대상의 아이덴티티를 설명하는 아이덴티티 잠재 공간, 대상의 얼굴 표정들을 설명하는 표정 잠재 공간, 및 대상의 목 포즈를 설명하는 포즈 잠재 공간을 포함할 수 있다. 잠재 공간은 통계적 모델링, 딥 러닝 기술들(예를 들어, 자동 인코더들, 1차 컴포넌트 분석 등)에 기초할 수 있고/있거나, 통계적 모델링과 딥 러닝의 조합에 기초할 수 있다.

신체 이미지들의 경우, 잠재 공간은, 대상의 아이덴티티를 설명하는 아이덴티티 잠재 공간, 대상의 호흡 상태를 설명하는 호흡 상태 잠재 공간, 및 대상의 신체 포즈를 설명하는 신체 포즈 잠재 공간을 포함할 수 있다. 잠재 공간은 통계적 모델링, 딥 러닝 기술들(예를 들어, 자동 인코더들, 1차 컴포넌트 분석 등)에 기초할 수 있고/있거나, 통계적 모델링과 딥 러닝의 조합에 기초할 수 있다.

블록(106)의 동작들 동안, 체성분 분석 회로부(58)는, 아이덴티티 잠재 공간만을 추출함으로써(예를 들어, 표정 잠재 공간 및 목 포즈 잠재 공간을 제거함으로써) 얼굴/목 이미지들에서 얼굴 표정 및 목 포즈의 효과를 보상할 수 있다. 신체 이미지들의 경우, 체성분 분석 회로부(58)는 아이덴티티 잠재 공간만을 추출함으로써(예를 들어, 호흡 상태 잠재 공간 및 신체 포즈 잠재 공간을 제거함으로써) 호흡 및 신체 포즈의 효과를 보상할 수 있다.

블록(108)의 동작들 동안, 체성분 분석 회로부(58)는 아이덴티티 잠재 공간 내의 이미지 데이터에 기초하여 체성분을 추정할 수 있다. 예를 들어, (예를 들어, 도 6 및 도 7과 관련하여 설명된 바와 같이) 하나 이상의 사용자 연구들에 대해 트레이닝된 모델을 사용하여, 체성분 분석 회로부(58)는 압축된 이미지 데이터(예를 들어, 사용자의 볼 및 목의 크기 및/또는 형상을 표현하는 압축된 데이터 세트, 사용자의 허리의 크기 및/또는 형상을 표현하는 압축된 데이터 세트 등)를 체질량 지수, 체지방 백분율(예를 들어, 총 신체의 지방 백분율, 개별 신체 부위들의 지방 백분율, 및/또는 피하 및 내장 구획들과 같은 상이한 지방 저장 구획들의 지방 백분율), 골량 및/또는 다른 건강-관련 정보와 같은 체성분 정보에 맵핑할 수 있다. 체성분 분석 회로부(58)에 의해 제공되는 체성분 정보는 추정된 현재 체성분 값(예를 들어, 체지방 백분율 값, 체질량 지수 값 또는 골량 값)일 수 있고/있거나 일부 체성분 파라미터의 추정된 변화(예를 들어, 체질량 지수, 체지방 백분율, 골량 등과 같은 주어진 체성분 파라미터의 증가 또는 감소의 양)일 수 있다. 원하는 경우, 체성분 분석 회로부(58)는 또한 사용자의 체성분을 결정하기 위해 임의의 이용가능한 사용자 인구학적 정보(예를 들어, 성별, 키, 체중, 나이, 민족성 및/또는 디바이스(10)에 저장되고/되거나 달리 회로부(58)에 제공되는 다른 사용자 데이터)를 고려할 수 있다.

체성분 분석 회로부(58)는 임의의 적합한 모델을 사용하여 체성분을 분석할 수 있다. 2-구획 모델에서, 신체는 2개의 구획들, 즉 지방에 대응하는 제1 구획 및 지방 이외의 모든 것(예를 들어, 근육, 뼈 등)에 대응하는 제2 구획으로 구성되는 것으로 가정된다. 3-구획 모델에서, 신체는 내장 지방, 피하 지방 및 비-지방으로 구성되는 것으로 가정된다. 원하는 경우, 체성분 분석 회로부(58)는 3-구획 모델을 사용할 수 있고, 사용자의 이미지들에 기초하여 사용자의 내장 지방, 피하 지방 및 비-지방의 양을 추정할 수 있다.

블록(108)의 동작들 동안, 체성분 분석 회로부(58)는 신체의 특정 영역들의 체성분(예를 들어, 사용자의 몸통, 팔뚝 또는 다른 신체 부위에 얼마나 많은 내장 지방 및 피하 지방이 위치되는지)을 추정할 수 있거나, 또는 전신에 걸쳐 체성분(예를 들어, 내장 지방 및 피하 지방이 사용자의 신체에 걸쳐 어떻게 분포되는지)을 추정할 수 있다.

블록(108)의 동작들은 신체의 이미지들로부터 왜곡(예를 들어, 사용자가 하나의 프레임에서 전신을 캡처하기 위해 전향 카메라를 아래쪽으로 향하게 할 때 생성되는 관점 왜곡)을 제거하는 것을 포함할 수 있다. 체성분 분석 회로부(58)는 또한, 전신 이미지들을 스케일링하기 위해 사용자의 얼굴의 이미지들(예를 들어, 이전에 수집된 얼굴 이미지들, 예컨대, 사용자 식별 동작들 동안 수집된 얼굴 이미지들 및/또는 체성분 분석을 위해 특별히 캡처된 얼굴 이미지들)을 사용할 수 있다(예를 들어, 신체 치수들은 스케일링을 위해 얼굴 이미지를 사용하여, 전신 이미지 및 얼굴 이미지에 기초하여 결정될 수 있다). 디바이스(10) 내의 모션 센서들(예를 들어, 가속도계들, 자이로스코프들, 나침반들 등)로부터의 배향 정보가 또한, 사용자의 신체의 크기의 더 정확한 픽처를 얻기 위해 전신 이미지들로부터 왜곡을 제거하는 데 사용될 수 있다. 체성분 분석 회로부(58)가 신체의 상이한 부위들의 다수의 사진들을 함께 스티칭하는 배열들이 또한 사용될 수 있다.

블록(110)의 동작들 동안, 제어 회로부(16)는 분석 결과들에 응답하여 액션을 취할 수 있다. 예를 들어, 디바이스(10)는 평가 결과들을 디바이스(10)의 사용자에게 제공할 수 있고/있거나 (예를 들어, 평가 결과들이 예를 들어, 질병의 위험을 제안하면) 디바이스(10)의 사용자에 대해 경고를 발행할 수 있다. 일반적으로, 블록(108)의 센서 프로세싱 동작들의 결과들에 기초하여, 통지들이 발행될 수 있고, 데이터베이스들이 업데이트될 수 있고, 추천들이 제공될 수 있고/있거나 다른 액션들이 취해질 수 있다. 예를 들어, 디스플레이(14)는 추정된 체지방 백분율 값, 체질량 지수 값, 골량 값 및/또는 체성분 분석 회로부(58)에 의해 결정된 다른 정보를 디스플레이할 수 있다. 통지들은 텍스트 통지들, 가청 경고들, 이메일 메시지들, 주석이 달린 이미지들, 디스플레이(14) 상의 다른 온-스크린 통지 콘텐츠 및/또는 다른 통지 콘텐츠를 포함할 수 있다.

전술된 바와 같이, 본 기술의 하나의 양태는 입출력 디바이스들로부터의 정보와 같은 정보의 수집 및 사용이다. 본 개시내용은, 일부 경우들에 있어서, 특정 개인을 고유하게 식별하거나 또는 그와 연락하거나 그의 위치를 확인하기 위해 이용될 수 있는 개인 정보 데이터를 포함하는 데이터가 수집될 수 있음을 고려한다. 그러한 개인 정보 데이터는 인구통계 데이터, 위치 기반 데이터, 전화 번호들, 이메일 주소들, 트위터 ID들, 집 주소들, 사용자의 건강 또는 피트니스 레벨에 관한 데이터 또는 기록들(예컨대, 바이탈 사인(vital sign) 측정치들, 약물 정보, 운동 정보), 생년월일, 사용자명, 패스워드, 생체 정보, 또는 임의의 다른 식별 또는 개인 정보를 포함할 수 있다.

본 개시내용은 본 기술에서의 그러한 개인 정보의 이용이 사용자들에게 이득을 주기 위해 사용될 수 있음을 인식한다. 예를 들어, 개인 정보 데이터는 더 큰 관심이 있는 타겟 콘텐츠를 사용자에게 전달하는데 사용될 수 있다. 따라서, 그러한 개인 정보 데이터의 사용은 사용자들이 전달된 콘텐츠의 계산된 제어를 가능하게 한다. 추가로, 사용자에게 이득을 주는 개인 정보 데이터에 대한 다른 사용들이 또한 본 개시내용에 의해 고려된다. 예를 들어, 건강 및 피트니스 데이터는 사용자의 일반적인 웰니스(wellness)에 대한 식견들을 제공하는 데 사용될 수 있거나, 또는 웰니스 목표들을 추구하는 기술을 이용하는 개인들에게 긍정적인 피드백으로서 사용될 수 있다.

본 개시내용은 그러한 개인 정보 데이터의 수집, 분석, 공개, 전달, 저장, 또는 다른 사용을 담당하는 엔티티들이 잘 확립된 프라이버시 정책들 및/또는 프라이버시 관례들을 준수할 것임을 고려한다. 특히, 그러한 엔티티들은, 대체로 개인 정보 데이터를 사적이고 안전하게 유지시키기 위한 산업적 또는 행정적 요건들을 충족시키거나 넘어서는 것으로 인식되는 프라이버시 정책들 및 관례들을 구현하고 지속적으로 이용해야 한다. 그러한 정책들은 사용자들에 의해 용이하게 액세스가능해야 하고, 데이터의 수집 및/또는 사용이 변화함에 따라 업데이트되어야 한다. 사용자들로부터의 개인 정보는 엔티티의 적법하며 적정한 사용들을 위해 수집되어야 하고, 이들 적법한 사용들을 벗어나서 공유되거나 판매되지 않아야 한다. 추가로, 그러한 수집/공유는 사용자들의 통지된 동의를 수신한 후에 발생해야 한다. 부가적으로, 그러한 엔티티들은 그러한 개인 정보 데이터에 대한 액세스를 보호하고 안전하게 하며 개인 정보 데이터에 대한 액세스를 갖는 다른 사람들이 그들의 프라이버시 정책들 및 절차들을 고수한다는 것을 보장하기 위한 임의의 필요한 단계들을 취하는 것을 고려해야 한다. 추가로, 그러한 엔티티들은 널리 인정된 프라이버시 정책들 및 관례들에 대한 그들의 고수를 증명하기 위해 제3자들에 의해 그들 자신들이 평가를 받을 수 있다. 부가적으로, 정책들 및 관례들은 수집 및/또는 액세스되고 있는 특정 유형들의 개인 정보 데이터에 대해 적응되어야 하고, 관할권 특정적 고려사항들을 포함하는 적용가능한 법률들 및 표준들에 적응되어야 한다. 예를 들어, 미국에서, 소정 건강 데이터의 수집 또는 그에 대한 액세스는 연방법 및/또는 주의 법, 예컨대 미국 건강 보험 양도 및 책임 법령(Health Insurance Portability and Accountability Act, HIPAA)에 의해 통제될 수 있는 반면, 다른 국가들의 건강 데이터는 다른 규정들 및 정책들의 적용을 받을 수 있고 그에 따라 처리되어야 한다. 따라서, 각 국가에서의 상이한 개인 데이터 유형들에 대해 상이한 프라이버시 관례들이 유지되어야 한다.

전술한 것에도 불구하고, 본 개시내용은 또한 사용자들이 개인 정보 데이터의 사용, 또는 그에 대한 접근을 선택적으로 차단하는 실시예들을 고려한다. 즉, 본 개시내용은 그러한 개인 정보 데이터에 대한 액세스를 방지하거나 차단하기 위해 하드웨어 및/또는 소프트웨어 요소들이 제공될 수 있다는 것을 고려한다. 예를 들어, 본 기술은 사용자들이 서비스들을 위한 등록 동안 또는 그 이후의 임의의 시간에 개인 정보 데이터의 수집 시의 참가의 "동의함" 또는 "동의하지 않음"을 선택하게 허용하도록 구성될 수 있다. 다른 예에서, 사용자들은 특정 유형의 사용자 데이터를 제공하지 않을 것을 선택할 수 있다. 또 다른 예에서, 사용자들은 사용자 특정 데이터가 유지되는 시간의 길이를 제한할 것을 선택할 수 있다. "동의" 및 "동의하지 않음" 옵션들을 제공하는 것에 부가하여, 본 개시내용은 개인 정보의 접근 또는 사용에 관한 통지들을 제공하는 것을 고려한다. 예를 들어, 사용자는 그들의 개인 정보 데이터가 액세스될 애플리케이션("앱(app)")을 다운로드할 시에 통지받고, 이어서 개인 정보 데이터가 앱에 의해 액세스되기 직전에 다시 상기하게 될 수 있다.

게다가, 의도하지 않은 또는 허가받지 않은 접근 또는 사용의 위험들을 최소화하기 위한 방식으로 개인 정보 데이터가 관리되고 다루어져야 한다는 것이 본 개시내용의 의도이다. 위험은, 데이터의 수집을 제한하고 데이터가 더 이상 필요하지 않다면 그것을 삭제함으로써 최소화될 수 있다. 부가적으로, 그리고 소정의 건강 관련 애플리케이션들에 적용가능한 것을 포함하여 적용가능할 때, 사용자의 프라이버시를 보호하기 위해 데이터 비식별화가 사용될 수 있다. 비식별화는, 적절한 때, 특정 식별자들(예컨대, 생년월일 등)을 제거하는 것, 저장된 데이터의 양 또는 특이성을 제어하는 것(예컨대, 주소 레벨에서가 아니라 도시 레벨에서의 위치 데이터를 수집함), 데이터가 저장되는 방법을 제어하는 것(예컨대, 사용자들에 걸쳐서 데이터를 집계함), 및/또는 다른 방법들에 의해 용이해질 수 있다.

따라서, 본 개시내용이 하나 이상의 다양한 개시된 실시예들을 구현하기 위해 개인 정보 데이터를 포함할 수 있는 정보의 이용을 광범위하게 커버하지만, 본 개시내용은 다양한 실시예들이 또한 개인 정보 데이터에 액세스할 필요 없이 구현될 수 있다는 것을 또한 고려한다. 즉, 본 기술의 다양한 실시예들은 그러한 개인 정보 데이터의 전부 또는 일부의 결여로 인해 동작불가능하게 되지는 않는다.

일 실시예에 따르면, 얼굴 및 목의 이미지를 캡처하는 센서, 및 이미지의 일부를 잠재 공간으로 인코딩하고 이미지의 일부를 지방 백분율 값에 맵핑하는 체성분 분석 회로부를 포함하는 전자 디바이스가 제공된다.

다른 실시예에 따르면, 잠재 공간은 통계적 모델에 기초한다.

다른 실시예에 따르면, 잠재 공간은 딥 러닝 모델에 기초한다.

다른 실시예에 따르면, 센서는 깊이 센서를 포함하고, 이미지는 3차원 깊이 맵 이미지를 포함하고, 깊이 센서는, 구조화된 광으로 얼굴 및 목을 조명하는 적외선 광원, 및 얼굴 및 목으로부터 반사되는 구조화된 광을 검출하는 적외선 광 검출기를 포함한다.

다른 실시예에 따르면, 잠재 공간은 사용자 아이덴티티를 표현하는 제1 잠재 공간, 얼굴 표정을 표현하는 제2 잠재 공간, 및 목 포즈를 표현하는 제3 잠재 공간을 포함한다.

다른 실시예에 따르면, 체성분 분석 회로부는 제1 잠재 공간을 사용하여 이미지의 일부를 지방 백분율 값에 맵핑함으로써 얼굴 표정 및 목 포즈를 보상한다.

다른 실시예에 따르면, 이미지의 일부는 볼 부분 및 목 부분을 포함한다.

다른 실시예에 따르면, 체성분 분석 회로부는 잠재 공간으로 인코딩되지 않은 이미지의 나머지 부분을 삭제한다.

다른 실시예에 따르면, 체성분 분석 회로부는 사용자 인구학적 데이터에 적어도 부분적으로 기초하여 이미지의 일부를 지방 백분율 값에 맵핑한다.

다른 실시예에 따르면, 센서는 가시광 카메라를 포함하고, 이미지는 가시광 이미지를 포함한다.

일 실시예에 따르면, 구조화된 광으로 얼굴을 조명하는 적외선 광원, 얼굴로부터 반사되고 대응하는 깊이 정보를 출력하는 구조화된 광을 검출하는 적외선 광 검출기, 깊이 정보를 체성분 정보에 맵핑하는 체성분 분석 회로부, 및 체성분 정보를 디스플레이하는 디스플레이를 포함하는 전자 디바이스가 제공된다.

다른 실시예에 따르면, 체성분 분석 회로부는 깊이 정보를 잠재 공간으로 인코딩한다.

다른 실시예에 따르면, 잠재 공간은 사용자 연구 데이터로 트레이닝된 딥 러닝 모델에 기초한다.

다른 실시예에 따르면, 체성분 분석 회로부는 얼굴 표정 및 목 포즈를 보상한다.

다른 실시예에 따르면, 체성분 분석 회로부는 깊이 정보의 미사용 부분을 삭제한다.

일 실시예에 따르면, 얼굴 및 목 이미지 데이터를 캡처하는 3차원 깊이 센서, 및 제어 회로부를 포함하고, 제어 회로부는, 얼굴 및 목 이미지 데이터를 수신하고, 사용자 인구학적 정보를 수신하고, 얼굴 및 목 이미지 데이터 및 사용자 인구학적 정보에 기초하여 추정된 체성분을 결정하는 전자 디바이스가 제공된다.

다른 실시예에 따르면, 제어 회로부는 추정된 체성분을 결정하기 위해 얼굴 및 목 이미지 데이터의 일부를 사용하고, 얼굴 및 목 이미지 데이터의 나머지 부분을 삭제한다.

다른 실시예에 따르면, 전자 디바이스는 추정된 체성분을 디스플레이하는 디스플레이를 포함한다.

다른 실시예에 따르면, 제어 회로부는 얼굴 및 목 이미지 데이터를 잠재 공간으로 인코딩한다.

다른 실시예에 따르면, 잠재 공간은 사용자 연구 데이터로 트레이닝된 딥 러닝 모델에 기초한다.

일 실시예에 따르면, 신체의 이미지를 캡처하는 센서, 및 체성분 분석 회로부를 포함하고, 체성분 분석 회로부는, 사용자-연구-트레이닝된 모델을 사용하여 신체의 이미지를 체성분 정보에 맵핑하고, 사용자-연구-트레이닝된 모델은 호흡 및 포즈로 인한 변동들을 고려하는 전자 디바이스가 제공된다.

다른 실시예에 따르면, 센서는 얼굴의 이미지를 캡처하고, 체성분 분석 회로부는 신체의 이미지를 스케일링하기 위해 얼굴의 이미지를 사용하여 신체의 치수들을 결정한다.

다른 실시예에 따르면, 체성분 정보는 신체 전체에 걸쳐 체지방이 어떻게 분포되는지를 표시한다.

다른 실시형태에 따르면, 체성분 정보는 내장 지방 백분율 및 피하 지방 백분율을 포함한다.

다른 실시예에 따르면, 사용자-연구-트레이닝된 모델은 통계적 모델 및 딥 러닝 모델로 이루어진 그룹으로부터 선택된다.

다른 실시예에 따르면, 전자 디바이스는 머리-장착형 지지 구조물들을 포함한다.

다른 실시예에 따르면, 센서는 머리-장착형 지지 구조물들이 제2 사용자의 머리에 착용되어 있는 동안 제1 사용자의 신체의 이미지를 캡처한다.

다른 실시예에 따르면, 센서는 적외선 깊이 센서를 포함하고, 얼굴 및 신체의 이미지들은 적외선 깊이 맵 이미지들이다.

다른 실시예에 따르면, 센서는 가시광 카메라를 포함하고, 얼굴 및 신체의 이미지들은 가시광 이미지들이다.

다른 실시예에 따르면, 신체의 이미지는 신체의 일부만의 이미지이고, 체성분 정보는 신체의 일부의 체성분을 설명한다.

전술한 것은 단지 예시적인 것이며, 설명된 실시예들에 대해 다양한 수정들이 이루어질 수 있다. 전술한 실시예들은 개별적으로 또는 임의의 조합으로 구현될 수 있다.

Claims (25)

1. 전자 디바이스로서,
   얼굴 및 목의 이미지를 캡처하는 센서; 및
   체성분 분석 회로부를 포함하고, 상기 체성분 분석 회로부는,
   상기 이미지의 일부를 잠재 공간으로 인코딩하고 - 상기 잠재 공간은 사용자 아이덴티티를 표현하는 제1 잠재 공간, 얼굴 표정을 표현하는 제2 잠재 공간, 및 목 포즈를 표현하는 제3 잠재 공간을 포함함 -;
   상기 이미지의 상기 일부를 지방 백분율 값에 맵핑하고, 상기 체성분 분석 회로부는 상기 제1 잠재 공간을 사용하여 상기 이미지의 상기 일부를 상기 지방 백분율 값에 맵핑함으로써 얼굴 표정 및 목 포즈를 보상하는, 전자 디바이스.
2. 제1항에 있어서, 상기 잠재 공간은 통계적 모델에 기초하는, 전자 디바이스.
3. 제1항에 있어서, 상기 잠재 공간은 딥 러닝 모델에 기초하는, 전자 디바이스.
4. 제1항에 있어서, 상기 센서는 깊이 센서를 포함하고, 상기 이미지는 3차원 깊이 맵 이미지를 포함하고, 상기 깊이 센서는,
   구조화된 광으로 상기 얼굴 및 목을 조명하는 적외선 광원; 및
   상기 얼굴 및 목으로부터 반사되는 상기 구조화된 광을 검출하는 적외선 광 검출기를 포함하는, 전자 디바이스.
5. 삭제
6. 삭제
7. 제1항에 있어서, 상기 이미지의 상기 일부는 볼 부분 및 목 부분을 포함하는, 전자 디바이스.
8. 제7항에 있어서, 상기 체성분 분석 회로부는 상기 잠재 공간으로 인코딩되지 않은 상기 이미지의 나머지 부분을 삭제하는, 전자 디바이스.
9. 제1항에 있어서, 상기 체성분 분석 회로부는 사용자 인구학적 데이터에 적어도 부분적으로 기초하여 상기 이미지의 상기 일부를 상기 지방 백분율 값에 맵핑하는, 전자 디바이스.
10. 제1항에 있어서, 상기 센서는 가시광 카메라를 포함하고, 상기 이미지는 가시광 이미지를 포함하는, 전자 디바이스.
11. 전자 디바이스로서,
    구조화된 광으로 얼굴을 조명하는 적외선 광원;
    상기 얼굴로부터 반사되고 대응하는 깊이 정보를 출력하는 상기 구조화된 광을 검출하는 적외선 광 검출기;
    상기 깊이 정보를 잠재 공간으로 인코딩하고 상기 깊이 정보를 체성분 정보에 맵핑하는 체성분 분석 회로부 - 상기 잠재 공간은 사용자 아이덴티티를 표현하는 제1 잠재 공간, 얼굴 표정을 표현하는 제2 잠재 공간, 및 목 포즈를 표현하는 제3 잠재 공간을 포함하고, 상기 체성분 분석 회로부는 상기 제1 잠재 공간을 사용하여 상기 깊이 정보를 상기 체성분 정보에 맵핑함으로써 얼굴 표정 및 목 포즈를 보상함 -; 및
    상기 체성분 정보를 디스플레이하는 디스플레이를 포함하는, 전자 디바이스.
12. 삭제
13. 제11항에 있어서, 상기 잠재 공간은 사용자 연구 데이터로 트레이닝된 딥 러닝 모델에 기초하는, 전자 디바이스.
14. 삭제
15. 제11항에 있어서, 상기 체성분 분석 회로부는 상기 깊이 정보의 미사용 부분을 삭제하는, 전자 디바이스.
16. 전자 디바이스로서,
    얼굴 및 목 이미지 데이터를 캡처하는 3차원 깊이 센서; 및
    제어 회로부를 포함하고, 상기 제어 회로부는,
    상기 얼굴 및 목 이미지 데이터를 수신하고;
    사용자 인구학적 정보를 수신하고;
    상기 얼굴 및 목 이미지 데이터를 잠재 공간으로 인코딩하고 - 상기 잠재 공간은 사용자 아이덴티티를 표현하는 제1 잠재 공간, 얼굴 표정을 표현하는 제2 잠재 공간, 및 목 포즈를 표현하는 제3 잠재 공간을 포함함 -;
    상기 얼굴 및 목 이미지 데이터 및 상기 사용자 인구학적 정보에 기초하여 추정된 체성분을 결정하고, 상기 제어 회로부는 상기 제1 잠재 공간을 사용하여 상기 추정된 체성분을 결정함으로써 얼굴 표정 및 목 포즈를 보상하는, 전자 디바이스.
17. 제16항에 있어서, 상기 제어 회로부는 상기 추정된 체성분을 결정하기 위해 상기 얼굴 및 목 이미지 데이터의 일부를 사용하고, 상기 얼굴 및 목 이미지 데이터의 나머지 부분을 삭제하는, 전자 디바이스.
18. 제16항에 있어서, 상기 추정된 체성분을 디스플레이하는 디스플레이를 더 포함하는, 전자 디바이스.
19. 삭제
20. 제16항에 있어서, 상기 잠재 공간은 사용자 연구 데이터로 트레이닝된 딥 러닝 모델에 기초하는, 전자 디바이스.
21. 전자 디바이스로서,
    신체의 이미지를 캡처하는 센서; 및
    체성분 분석 회로부를 포함하고, 상기 체성분 분석 회로부는,
    상기 이미지를 잠재 공간으로 인코딩하고 - 상기 잠재 공간은 사용자 아이덴티티를 표현하는 제1 잠재 공간, 호흡 상태를 표현하는 제2 잠재 공간, 및 신체 포즈를 표현하는 제3 잠재 공간을 포함함 -;
    사용자-연구-트레이닝된 모델을 사용하여 상기 신체의 이미지를 체성분 정보에 맵핑하고, 상기 체성분 분석 회로부는 상기 제1 잠재 공간을 사용하여 상기 신체의 이미지를 상기 체성분 정보에 맵핑함으로써 호흡 및 포즈로 인한 변동들을 고려하는, 전자 디바이스.
22. 제21항에 있어서, 상기 센서는 얼굴의 이미지를 캡처하고, 상기 체성분 분석 회로부는 상기 신체의 이미지를 스케일링하기 위해 상기 얼굴의 이미지를 사용하여 상기 신체의 치수들을 결정하는, 전자 디바이스.
23. 제21항에 있어서, 상기 체성분 정보는 상기 신체 전체에 걸쳐 체지방이 어떻게 분포되는지를 표시하고, 상기 센서는 적외선 깊이 센서를 포함하고, 상기 신체의 이미지는 적외선 깊이 맵 이미지이고, 상기 신체의 이미지는 상기 신체의 오직 일부의 이미지이고, 상기 체성분 정보는 상기 신체의 상기 일부의 체성분을 설명하는, 전자 디바이스.
24. 제21항에 있어서, 상기 체성분 정보는 내장 지방 백분율 및 피하 지방 백분율을 포함하고, 상기 사용자-연구-트레이닝된 모델은, 통계적 모델 및 딥 러닝 모델로 이루어진 그룹으로부터 선택되는, 전자 디바이스.
25. 제21항에 있어서, 머리-장착형 지지 구조물들을 더 포함하고, 상기 센서는 상기 머리-장착형 지지 구조물들이 제2 사용자의 머리에 착용되어 있는 동안 제1 사용자의 상기 신체의 이미지를 캡처하는, 전자 디바이스.