KR102067013B1 - Device for collective machine learning of things and method thereof - Google Patents
Device for collective machine learning of things and method thereof Download PDFInfo
- Publication number
- KR102067013B1 KR102067013B1 KR1020160129701A KR20160129701A KR102067013B1 KR 102067013 B1 KR102067013 B1 KR 102067013B1 KR 1020160129701 A KR1020160129701 A KR 1020160129701A KR 20160129701 A KR20160129701 A KR 20160129701A KR 102067013 B1 KR102067013 B1 KR 102067013B1
- Authority
- KR
- South Korea
- Prior art keywords
- learning
- terminal
- target terminal
- reliability
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 사물들의 집단 기계학습 장치 및 방법에 관한 것으로서, 본 발명의 실시예에 따른 사물들의 집단 기계학습 장치는 외부로부터 유입되는 입력 데이터와 정답을 함께 입력받고, 상기 입력 데이터로부터 상기 정답을 이끌어내기 위한 학습 모델을 생성하는 개별기계학습부, 주변의 다른 단말들의 학습 결과를 수신하고, 상기 개별기계학습부에서 생성된 상기 학습 모델과 상기 수신된 학습 결과를 이용하여 학습 모델을 도출하는 집단기계학습부, 상기 개별기계학습부 및 상기 집단기계학습부로부터 수신되는 학습 모델 정보를 이용하여 실시간으로 학습 결과를 갱신하고 관리하는 학습결과 관리부를 포함한다. The present invention relates to an apparatus and method for collective machine learning of objects, wherein the apparatus for group collective learning of objects according to an embodiment of the present invention receives input data and a correct answer from outside and derives the correct answer from the input data. Individual machine learning unit for generating a learning model to bet, a group machine that receives the learning results of other terminals around, and derives a learning model using the learning model and the received learning results generated in the individual machine learning unit It includes a learning result management unit for updating and managing learning results in real time using the learning model information received from the learning unit, the individual machine learning unit and the group machine learning unit.
Description
본 발명은 사물 인터넷(IoT) 기술에 관한 것으로, 특히 기계학습능력을 가지는 하나 이상의 사물 디바이스를 이용한 집단기계학습 장치 및 그 동작 방법에 관한 것이다.The present invention relates to the Internet of Things (IoT) technology, and more particularly, to a group machine learning apparatus using at least one thing device having a machine learning capability and a method of operating the same.
기계학습은 인공지능의 한 분야로 기계를 인간처럼 학습시켜 스스로 규칙을 형성할 수 있게 하는 있는 방법이다. 구체적으로, 기계학습은 데이터를 분석해서 특정 패턴을 발견하고, 이를 학습하는 모델을 구축하는 기술을 말한다. 예컨대, 기계학습은 주어진 문제에 대하여 기존의 데이터를 이용하여 컴퓨터에게 해당 문제를 풀 수 있는 방법을 가르쳐 주는 통계적 접근 방법이라고 할 수 있다. 이는 인간의 추론방식과 유사하며, 주어진 데이터에서 일반화된 지식을 추출한다. 따라서, 기계학습을 통한 학습 프로그램은 데이터가 많아질수록 성능이 끊임없이 향상될 수 있다는 점에서 기존의 프로그래밍 방식과는 근본적으로 다른 새로운 패러다임이다.Machine learning is a field of artificial intelligence that allows a machine to learn as a human being so that it can form rules by itself. Specifically, machine learning refers to a technique of analyzing data, finding a specific pattern, and building a model for learning the pattern. For example, machine learning is a statistical approach that teaches a computer how to solve a problem using existing data for a given problem. It is similar to human reasoning and extracts generalized knowledge from given data. Therefore, the learning program through machine learning is a new paradigm that is fundamentally different from the conventional programming method in that performance can continuously improve as more data is acquired.
기계학습의 기본적인 학습원리는 기계가 오류를 범할 때마다 정답과 오답의 차이를 계산하여 정답과 오답 간의 차이를 줄여주는 방향으로 오류를 교정하는 과정을 반복하면서 성공률을 향상하는 방식이다. 예컨대, 인터넷 쇼핑몰의 추천서비스의 경우, 쇼핑몰 방문고객의 과거의 쇼핑데이터를 학습하여 새로운 상품을 추천하고 고객이 추천된 상품을 구매하는 경우, 긍정적 학습 예가 되어 다음 쇼핑에서 유사한 상품의 추천을 더 강하게 하도록 학습한다. 반대로, 추천한 상품에 대해 고객이 반응을 보이지 않을 경우, 부정적 학습 예로 간주하여 해당 상품과 유사한 상품을 추천하지 않은 방향으로 학습한다. 이러한 추천과 사용자로부터의 피드백이 반복되면서 점차 고객의 성향에 최적화된 학습 모델을 가지게 되어 추천의 성공률이 향상된다.The basic learning principle of machine learning is to improve the success rate by repeating the process of correcting errors in the direction of reducing the difference between correct and incorrect answers by calculating the difference between correct and incorrect answers whenever the machine makes an error. For example, in the case of a recommendation service of an internet shopping mall, when a shopping mall visitor's past shopping data is recommended to recommend a new product, and the customer purchases a recommended product, it becomes a positive learning example and strongly recommends a similar product in the next shopping. Learn to do On the contrary, when the customer does not respond to the recommended product, it is regarded as a negative learning example and learns in a direction not recommending a product similar to the corresponding product. As this recommendation and feedback from the user are repeated, the success rate of recommendation is improved by gradually having a learning model optimized for the customer's disposition.
오늘날, 구글의 자율주행 자동차, Skype의 실시간 언어번역기, 페이스북의 스마트 뉴스피드 등 인공지능에 기반을 둔 각종 서비스들이 쏟아져 나오기 시작했다. 인공지능 기술의 상용화에 결정적인 역할을 한 것은, 고성능의 병렬계산 프로세서와 다양한 사물을 연결하는 사물인터넷 기술, 수십 년간 축적된 빅데이터, 그리고 축적된 데이터에 의해 기계학습 정확도의 향상으로 이어진 점이라고 할 수 있다. Today, a variety of artificial intelligence-based services have begun to emerge, including Google's autonomous cars, Skype's real-time language translator, and Facebook's Smart News Feed. The decisive role in the commercialization of artificial intelligence technology is the high performance parallel computing processor, the Internet of Things technology that connects various objects, big data accumulated for decades, and the accumulated data, which leads to the improvement of machine learning accuracy. Can be.
일반적으로 사물들은 컴퓨팅 능력이 상대적으로 낮기 때문에, 기계학습 엔진이 장착된 고성능 서버나 클라우드로 이동하여 학습을 하는 경우가 많다. 하지만 이런 방식은 몇 가지 문제를 야기할 수 있다. 우선, 무수히 많은 사물로부터 시시각각 발생하는 데이터를 기계학습 엔진이 있는 서버나 클라우드로 지속적으로 이동하는 것은 네트워크의 부하를 가중시킬 수 있다. 또한, 네트워크 부하로 인해 사물로부터 미쳐 이동하지 못한 데이터는 근본적으로 버려지는 경우가 많다. In general, things are relatively low in computing power, so they often go to a high-performance server or cloud with a machine learning engine to learn. However, this can cause some problems. First, constantly moving data from myriad objects to servers or clouds with machine learning engines can add to the load on the network. In addition, data that cannot be moved from a thing due to network load is often discarded fundamentally.
특정 IoT 단말이나 단말의 사용자에 특화된 문제에 대한 모델을 학습하는 경우, 학습된 모델을 이용한 예측과 예측에 대한 사용자로부터의 반응이 단말에서 이루어지는 특징이 있다. 따라서 이러한 문제의 도메인에 클라우드와 같은 중앙집중방식의 학습방법을 적용할 경우, 학습된 결과를 사용자에게 적용하기 위해서 또 다시 해당 사물이 위치한 지점까지 학습된 모델과 파라메터가 이동되어야 하므로, 학습 결과를 실제 적용하여 인공지능의 판단 효과를 발생시키기까지 상당한 지연이 초래될 수 있다. 아울러, 개인용 휴대단말의 경우, 사물이 특정 개인의 성향과 특성정보가 데이터에 포함될 수 있기 때문에, 클라우드와 같은 타 서비스 사업자의 네트워크 영역으로 이동함에 따라 중요한 프라이버시 침해 문제가 야기될 수 있다.In the case of learning a model for a problem specific to a specific IoT terminal or a user of the terminal, there is a characteristic in that the terminal makes a prediction using the learned model and a response from the user to the prediction. Therefore, if a centralized learning method such as cloud is applied to the domain of such a problem, the trained model and parameters must be moved to the point where the object is located in order to apply the learned result to the user. In practice, significant delays may occur before the application of artificial intelligence to produce a judging effect. In addition, in the case of a personal portable terminal, since the things can be included in the data of the personality and characteristics of a specific individual, a significant privacy infringement problem may be caused as moving to the network area of other service providers such as cloud.
최근에는 사물 자체의 컴퓨팅 성능의 확장함에 따라 인공지능을 사물에 직접 탑재하여 학습과 학습 결과를 적용하는 경우가 늘고 있다. 드론에 스스로 학습하는 능력을 이용하여 인명을 구조하거나 군사적으로 활용하거나, 또는 에너지의 사용량을 예측하는 IoT 디바이스들(단말들)이 건물 내의 각 방에 배치되어 각 위치에서의 온도, 습도, 인구밀도를 고려한 에너지 사용량 모델을 학습하여 스스로 쾌적한 환경을 조정하는 것이 이 같은 예이다. 하지만, 상대적으로 낮은 처리 및 저장 성능을 가지고, 학습데이터 또한 특정한 단일 사물에 국한되기 때문에, 데이터의 양과 다양성의 문제로 모델의 정확도를 향상하는 방법에 제한이 따른다.
Recently, as the computing power of the thing itself is expanded, the application of learning and learning results by applying artificial intelligence directly to the object is increasing. IoT devices (terminals) that use the ability to self-learn for drones to save lives, use them militaryly, or predict energy usage are deployed in each room of the building to provide temperature, humidity, and population density at each location. An example of this is to adjust the pleasant environment by learning the energy usage model considering the system. However, because of the relatively low processing and storage performance, and the learning data is also limited to a particular single object, there are limitations on how to improve the accuracy of the model due to the quantity and variety of data.
본 발명의 목적은 유사 또는 동일한 문제를 학습하고 있는 사물 디바이스들이 학습 중이거나 학습한 모델의 파라메터를 서로 조율하여 학습에 적용함으로써 개별학습의 성능을 높이는 집단자가학습 방법을 제공함에 있다.
An object of the present invention is to provide a group self-learning method that improves the performance of individual learning by applying to learning by coordinating parameters of models being learned or learned by objects of devices learning similar or identical problems.
전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 사물들의 집단 기계학습 장치는 외부로부터 유입되는 입력 데이터와 정답을 함께 입력받고, 상기 입력 데이터로부터 상기 정답을 이끌어내기 위한 학습단말의 제1 학습 모델을 생성하는 개별기계학습부, 주변의 다른 단말들의 학습 결과를 수신하고, 상기 제1 학습 모델과 상기 수신된 학습 결과를 이용하여 상기 다른 단말들의 제2 학습 모델을 도출하는 집단기계학습부, 상기 제1 및 제2 학습 모델 정보를 이용하여 실시간으로 상기 학습단말의 학습 결과를 갱신하고 관리하는 학습결과 관리부를 포함한다. In accordance with an aspect of the present invention, there is provided a group machine learning apparatus for objects, which receives input data and correct answers from outside and derives the correct answers from the input data. An individual machine learning unit for generating a model, a group machine learning unit for receiving learning results of other terminals in the vicinity, and deriving a second learning model of the other terminals using the first learning model and the received learning results; It includes a learning result management unit for updating and managing the learning results of the learning terminal in real time using the first and second learning model information.
상기 개별기계학습부는 에러를 최소화하는 최적화 과정을 수행하기 위해, 상기 입력데이터를 이용하여 학습을 진행하여 에러함수에 대한 파라메터의 기울기값을 구하고, 상기 제1 학습 모델의 최초 파라메터로부터, 상기 구해진 에러 함수에 대한 파라메터의 기울기값의 반대방향으로 파라메터값을 이동시키고, 그 이동결과를 토대로 상기 학습결과 관리부에 상기 학습 결과의 갱신을 요청한다. In order to perform an optimization process that minimizes an error, the individual machine learning unit learns the gradient value of a parameter with respect to an error function by learning using the input data, and obtains the obtained error from the first parameter of the first learning model. The parameter value is moved in a direction opposite to the slope value of the parameter with respect to the function, and the learning result management unit is requested to update the learning result based on the moving result.
상기 집단기계학습부는 기설정된 일정 간격으로 주변의 적어도 하나의 단말을 탐색하고, 탐색된 적어도 하나의 단말이 집단학습의 대상단말인지 여부를 판단하는 집단학습단말관리부, 상기 적어도 하나의 대상단말로부터 특성정보와 상기 대상단말의 사용자정보 및 학습정보를 수신하고, 수신된 상기 대상단말의 특성정보, 학습정보를 이용하여 상기 대상단말의 신뢰도를 계산하는 신뢰도판단부, 및 상기 대상단말로부터 주기적으로 학습모델의 파라메터 또는 상기 파라메터의 기울기값을 수신하고, 수신된 상기 파라메터 또는 상기 파라메터의 기울기값에 상기 신뢰도판단부에 의해 계산된 신뢰도를 적용하여 상기 학습결과관리부에 갱신을 요청하는 집단학습갱신부를 포함한다. The group machine learning unit searches at least one terminal around at a predetermined interval, and determines whether the at least one terminal is a target terminal for group learning, the group learning terminal management unit, the characteristics from the at least one target terminal A reliability determination unit for receiving information, user information and learning information of the target terminal, and calculating reliability of the target terminal using the received characteristic information and learning information of the target terminal, and a learning model periodically from the target terminal. And a group learning updater configured to receive the parameter or the slope value of the parameter, and apply the reliability calculated by the reliability determination unit to the received parameter or the slope value of the parameter and request an update to the learning result management unit. .
상기 집단학습단말관리부는 탐색된 상기 주변 단말에서 학습하는 학습 종류와 상기 학습단말의 학습 종류가 동일한 분류로 구분되어 있으면, 탐색된 상기 주변 단말을 상기 대상단말인 것으로 판단한다. The group learning terminal manager determines that the searched neighboring terminal is the target terminal when the learning type learned in the found neighboring terminal and the learning type of the learning terminal are classified into the same category.
상기 신뢰도판단부는 상기 대상단말과 상기 학습단말, 또는 상기 대상단말과 상기 학습단말의 사용자 간의 유사도, 상기 대상단말이 학습한 모델의 성숙도 중 적어도 하나를 고려하여 상기 신뢰도를 계산한다. The reliability determining unit calculates the reliability in consideration of at least one of the similarity between the target terminal and the learning terminal or the user of the target terminal and the learning terminal, and the maturity of the model trained by the target terminal.
상기 유사도에 비례하여 신뢰도가 기설정될 수 있으며, 상기 신뢰도판단부는 상기 대상단말 특성정보 및 사용자정보와 상기 학습단말의 특성정보와 사용자정보 간의 유사도를 측정하고, 측정된 상기 유사도에 대응되어 기설정된 신뢰도를 책정한다. Reliability may be preset in proportion to the similarity, and the reliability judging unit measures the similarity between the target terminal characteristic information and the user information and the characteristic information of the learning terminal and the user information, and corresponds to the measured similarity. Establish reliability.
상기 에러함수의 파라메터에 대한 기울기값에 반비례하여 신뢰도가 기설정될 수 있으며, 상기 신뢰도 판단부는 상기 대상단말의 에러함수의 파라메터에 대한 기울기값을 수신하고, 수신된 상기 기울기값에 대응하여 기설정된 신뢰도를 책정한다. Reliability may be preset in inverse proportion to a slope value of a parameter of the error function, and the reliability determiner receives a slope value of a parameter of an error function of the target terminal, and is preset in response to the received slope value. Establish reliability.
상기 신뢰도판단부는 상기 대상단말의 운영체제, CPU 리소스, 메모리 크기, 에너지 사용량 정보, 위치 정보, 설치 어플리케이션 정보 중 적어도 하나의 특성 정보를 수신하고, 상기 대상 단말의 사용자의 성별, 나이, 취미, 주거지역, 관심사 중 적어도 하나의 사용자 특성정보, 상기 대상단말의 학습 종류, 학습 모델, 파라메터 중 적어도 하나의 학습정보를 수신한다. The reliability judging unit receives at least one characteristic information of an operating system, CPU resources, memory size, energy usage information, location information, and installation application information of the target terminal, and includes a gender, age, hobby, and residential area of the user of the target terminal. And at least one user characteristic information of interest, at least one learning information of a learning type, a learning model, and a parameter of the target terminal.
상기 신뢰도판단부는 복수의 대상단말의 학습모델에 대한 파라메터값들을 시간대별로 관리하는 상기 학습결과관리부에게 임의의 시간 t에서 임의의 대상단말 i에 대한 학습모델의 파라메터값들의 평균값 및 표준편차 중 적어도 하나를 포함하는 통계값을 기반으로 상기 임의의 대상단말 i에 대한 신뢰도 정보를 판단한다. At least one of an average value and a standard deviation of the parameter values of the learning model for any target terminal i at any time t to the learning result management unit managing the parameter values for the learning models of the plurality of target terminals for each time zone. The reliability information of the arbitrary target terminal i is determined based on the statistical value including.
상기 신뢰도판단부는 자신 또는 상기 대상단말의 특성정보가 변경된 경우, 또는 기설정된 특정 주기별로 상기 신뢰도를 재계산하여 집단학습을 반복한다. The reliability judging unit repeats the group learning by recalculating the reliability in the case where the characteristic information of the self or the target terminal is changed or at a predetermined specific period.
상기 학습결과관리부는 상기 개별기계학습부 및 상기 집단기계학습부 중 적어도 하나로부터 전달받은 학습 모델의 파라메터값을 주기적으로 또는 별도의 갱신 요청시 마다 일정한 학습비율에 의해 최종학습결과를 갱신하며, 갱신된 상기 최종학습결과는 상기 개별기계학습부 및 상기 집단기계학습부 중 적어도 하나에 전달되어 학습 동작 또는 신뢰도 계산을 수행하는데 활용된다. The learning result management unit updates the final learning result at a predetermined learning rate periodically or upon a separate update request for the parameter value of the learning model received from at least one of the individual machine learning unit and the group machine learning unit. The final learning result is transmitted to at least one of the individual machine learning unit and the group machine learning unit and used to perform a learning operation or reliability calculation.
한편, 전술한 과제를 달성하기 위한 본 발명의 다른 양상에 따른 사물들의 집단 기계학습 방법은 외부로부터 유입되는 입력 데이터와 정답을 함께 입력받는 입력단계, 상기 입력 데이터로부터 상기 정답을 이끌어내기 위한 학습단말의 제1 학습 모델을 생성하는 개별학습단계, 주변의 다른 단말들의 학습 결과를 수신하는 수신단계, 상기 제1 학습 모델과 상기 수신된 학습 결과를 이용하여 상기 다른 단말들의 제2 학습 모델을 도출하는 집단학습단계, 상기 제1 및 제2 학습 모델 정보를 이용하여 실시간으로 상기 학습단말의 학습 결과를 갱신하고 관리하는 학습결과 관리단계를 포함한다. On the other hand, the collective machine learning method of things according to another aspect of the present invention for achieving the above object is an input step of receiving input data and a correct answer from the outside, a learning terminal for deriving the correct answer from the input data Individual learning step of generating a first learning model of, receiving step of receiving the learning results of other terminals around, deriving a second learning model of the other terminals using the first learning model and the received learning results Group learning step, learning result management step of updating and managing the learning results of the learning terminal in real time using the first and second learning model information.
상기 개별학습단계는 상기 입력데이터를 이용하여 학습을 진행함에 따라 에러함수에 대한 파라메터의 기울기값을 구하는 단계, 및 상기 제1 학습 모델의 최초 파라메터로부터, 상기 구해진 에러 함수에 대한파라메터의 기울기값의 반대방향으로 파라메터값을 이동시키고, 상기 이동 결과를 토대로 상기 학습단말의 학습 결과의 갱신하는 단계를 포함한다. The individual learning step includes obtaining a slope value of a parameter with respect to an error function as learning proceeds using the input data, and from the first parameter of the first learning model, the slope value of the parameter with respect to the obtained error function. Moving a parameter value in an opposite direction and updating a learning result of the learning terminal based on the moving result.
상기 집단학습단계는 기설정된 일정 간격으로 주변의 적어도 하나의 단말을 탐색하는 단계, 탐색된 적어도 하나의 단말이 집단학습의 대상단말인지 여부를 판단하는 단계, 상기 적어도 하나의 대상단말로부터 특성정보 및 학습정보를 수신하는 단계, 수신된 상기 대상단말의 특성정보 및 학습정보를 이용하여 상기 대상단말의 신뢰도를 계산하는 단계, 상기 대상단말로부터 주기적으로 학습모델의 파라메터 또는 상기 파라메터의 기울기값을 수신하는 단계, 및 수신된 상기 파라메터 또는 상기 파라메터의 기울기값에 상기 계산된 신뢰도를 적용하여 학습결과를 갱신하는 단계를 포함한다. The group learning step may include: searching for at least one terminal in a predetermined interval at a predetermined interval, determining whether the found at least one terminal is a target terminal for group learning, characteristic information from the at least one target terminal, and the like. Receiving learning information, Computing the reliability of the target terminal using the received characteristic information and the learning information of the target terminal, Receiving a parameter of the learning model or the slope of the parameter periodically from the target terminal And updating the learning result by applying the calculated reliability to the received parameter or the slope value of the parameter.
상기 대상단말인지 여부를 판단하는 단계는 탐색된 상기 주변 단말에서 학습하는 학습 종류와 상기 학습단말의 학습 종류가 동일한 분류로 구분되어 있으면, 탐색된 상기 주변 단말을 상기 대상단말인 것으로 판단한다. In the determining of whether the target terminal is the target terminal, if the type of learning learned in the found neighboring terminal and the learning type of the learning terminal are classified into the same classification, the searched neighboring terminal is determined to be the target terminal.
상기 대상단말의 신뢰도를 계산하는 단계는 상기 대상단말과 상기 학습단말, 또는 상기 대상단말과 상기 학습단말의 사용자 간의 유사도, 상기 대상단말이 학습한 모델의 성숙도 중 적어도 하나를 고려하여 상기 신뢰도를 계산한다. The calculating of the reliability of the target terminal may include calculating the reliability by considering at least one of the similarity between the target terminal and the learning terminal or the user of the target terminal and the learning terminal, and the maturity level of the model trained by the target terminal. do.
상기 대상단말의 신뢰도를 계산하는 단계는 상기 대상단말 특성정보 및 사용자정보와 상기 학습단말의 특성정보와 사용자정보 간의 유사도를 측정하고, 측정된 상기 유사도에 비례하여 기설정된 값을 상기 신뢰도로 책정하며, 상기 대상단말의 에러함수의 파라메터에 대한 기울기값을 수신하고, 수신된 상기 기울기값에 반비례하여 기설정된 값을 상기 신뢰도로 책정한다. The calculating of the reliability of the target terminal may include measuring similarity between the target terminal characteristic information and the user information and the characteristic information of the learning terminal and the user information, and setting a predetermined value as the reliability in proportion to the measured similarity. And receiving an inclination value for a parameter of an error function of the target terminal, and setting a predetermined value as the reliability in inverse proportion to the received inclination value.
상기 대상단말로부터 특성정보 및 학습정보를 수신하는 단계는 상기 대상단말의 운영체제, CPU 리소스, 메모리 크기, 에너지 사용량 정보, 위치 정보, 설치 어플리케이션 정보 중 적어도 하나의 특성 정보를 수신하고, 상기 대상단말의 학습 종류, 학습 모델, 파라메터 중 적어도 하나의 학습정보를 수신한다. Receiving the characteristic information and learning information from the target terminal receives at least one characteristic information of the operating system, CPU resources, memory size, energy usage information, location information, installation application information of the target terminal, Receive at least one learning information from a learning type, a learning model, and a parameter.
상기 본 발명의 다른 양상에 따른 사물들의 집단 기계학습 방법은 복수의 대상단말의 학습모델에 대한 파라메터값들을 시간대별로 관리하는 단계를 더 포함하며, 상기 대상단말의 신뢰도를 계산하는 단계는, 임의의 시간 t에서 상기 복수의 대상단말 중 임의의 대상단말 i에 대한 학습모델의 파라메터값들의 평균값 및 표준편차 중 적어도 하나를 포함하는 통계값을 기반으로 상기 임의의 대상단말 i에 대한 신뢰도 정보를 반환한다.The collective machine learning method of things according to another aspect of the present invention further includes managing parameter values for a learning model of a plurality of target terminals for each time zone, and calculating the reliability of the target terminal includes: Returns reliability information for the arbitrary target terminal i based on a statistical value including at least one of an average value and standard deviation of parameter values of a learning model for any target terminal i of the plurality of target terminals at time t. .
상기 학습결과 관리단계는 상기 개별학습단계 및 상기 집단학습단계 중 적어도 하나의 단계의 학습 모델의 파라메터값을 주기적으로 또는 별도의 갱신 요청 시 마다 일정한 학습비율에 의해 최종학습결과를 갱신하며, 갱신된 상기 최종학습결과는 상기 개별학습단계 및 상기 집단학습단계 중 적어도 하나의 단계의 학습 동작 또는 신뢰도 계산 시 활용된다.
The learning result management step updates the final learning result by a predetermined learning rate periodically or whenever a separate update request is made for a parameter value of the learning model of at least one of the individual learning step and the group learning step. The final learning result is used when calculating learning behavior or reliability of at least one of the individual learning step and the group learning step.
본 발명을 실시예에 따르면, 동일한 문제를 학습하는 다른 단말에서 학습된 파라메터값 또는 그 기울기를 조율하여 학습에 적용함으로써, 학습단말이 데이터, 컴퓨팅 리소스의 제약을 가지는 상황에서도 간접적으로 각 단말의 학습 결과를 활용하여 다양한 입력에 대해서도 폭넓게 학습하는 것이 가능하다. 또한, 각각의 단말이 학습능력을 보다 향상할 수 있는 이점이 있다. 아울러, 단말에서 생성한 데이터를 별도의 학습용 서버가 존재하는 다른 영역으로 이동시키지 않고 학습함으로써, 각자의 단말 내에서 학습하고 서로 결과를 공유하여 학습에 적용하여 데이터의 이동에 따른 학습과 학습 결과의 적용에 따른 지연문제와 프라이버시 문제를 완화할 수 있다.
According to an embodiment of the present invention, by adjusting a parameter value or a slope thereof learned in another terminal learning the same problem, and applying the same to the learning, the learning terminal indirectly learns even in a situation in which data and computing resources are restricted. The results can be used to learn a wide range of inputs. In addition, there is an advantage that each terminal can further improve the learning ability. In addition, by learning the data generated in the terminal without moving to another area where a separate learning server exists, learning in each terminal and sharing the results with each other applied to the learning of the learning and learning results according to the movement of the data This can alleviate the delay and privacy issues associated with the application.
도 1은 본 발명의 실시예에 따른 기계학습능력을 가진 디바이스(단말)가 하나 이상의 다른 단말의 학습능력을 이용하여 학습능력을 향상하는 집단자가학습의 개념을 나타낸 도면.
도 2는 본 발명의 실시예에 따른 사물들의 집단 기계학습 장치 블록도.
도 3은 본 발명의 실시예에 따른 학습 모델 최적화 과정의 일 실시예인 기울기 하강(Gradient Descent) 방법을 도시한 도면.
도 4는 본 발명의 실시예에 따른 집단기계학습부의 집단기계학습 동작 흐름도.1 is a view showing a concept of group self-learning in which a device (terminal) having machine learning ability according to an embodiment of the present invention improves learning ability by using learning capabilities of one or more other terminals.
2 is a block diagram of a collective machine learning apparatus for objects in accordance with an embodiment of the present invention.
3 is a diagram illustrating a gradient descent method according to an embodiment of a learning model optimization process according to an exemplary embodiment of the present invention.
4 is a flowchart illustrating a group machine learning operation of a group machine learning unit according to an embodiment of the present invention.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the invention is defined by the description of the claims. Meanwhile, the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In this specification, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprises” or “comprising” means the presence of one or more other components, steps, operations and / or elements other than the components, steps, operations and / or elements mentioned or Does not exclude additional
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고, 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명은 생략한다.
Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First of all, in adding reference numerals to the elements of each drawing, the same elements are denoted by the same reference numerals as much as possible even though they are shown in other drawings, and in describing the present invention, If the detailed description can obscure the gist of the present invention, the detailed description will be omitted.
도 1은 본 발명의 실시예에 따른 기계학습능력을 가진 디바이스(단말)가 하나 이상의 다른 단말의 학습능력을 이용하여 학습능력을 향상하는 집단자가학습의 개념을 나타낸 도면이다. 여기서, 디바이스(단말)은 사물인터넷(Internet of Things, IoT) 기술을 위한 단말일 수 있으며, 단말들은 서로 무선을 통해 자신들의 특성정보 및 학습정보를 타 단말들과 공유할 수 있다.1 is a view showing a concept of group self-learning in which a device (terminal) having machine learning ability according to an embodiment of the present invention improves learning ability by using learning ability of one or more other terminals. Here, the device (terminal) may be a terminal for the Internet of Things (IoT) technology, and the terminals may share their characteristic information and learning information with other terminals via wireless with each other.
각 단말(도 1에서 회색 원)는 내부에 학습장치가 있어 학습을 수행할 수 있으며, 그 결과를 직접 또는 간접적으로 연결된 동일한 유형의 문제를 학습하고 있는 주변의 단말들에게 전파할 수 있다. 반대로, 주변의 단말들로부터 전파된 학습결과와 내부 학습장치를 통해 학습한 결과를 협력적으로 활용하여 학습 능력을 더욱 더 향상시킬 수 있다.Each terminal (gray circle in Fig. 1) has a learning device therein to perform learning, and the result can be propagated to surrounding terminals learning the same type of problem connected directly or indirectly. On the contrary, the learning ability can be further improved by cooperatively utilizing the learning results propagated from the surrounding terminals and the results learned through the internal learning apparatus.
예컨대, 최적의 파라메터 값을 찾아가는 단말의 경우, 자신이 학습한 모델의 파라메터 값 또는 파라메터에 대한 에러 함수의 기울기값과 주변 단말들로부터 전파된 여러 파라메터 값들을 활용하여 더욱 더 빨리 그리고 정확하게 최적의 파라메터 값을 찾을 수 있게 된다. 예컨대, 임의의 단말 ο 가 특정 t+1 시간의 자신의 모델 파라메터 x, 즉 xo t + 1를 계산하기 위해 주변의 단말 ι 의 학습결과를 이용하는 방법은 수학식 1과 같을 수 있다. For example, in the case of a terminal searching for an optimal parameter value, the parameter of the model learned by itself or the slope of an error function for the parameter and various parameter values propagated from neighboring terminals are utilized more quickly and accurately. The value will be found. For example, a method in which an arbitrary terminal ο uses a learning result of a neighboring terminal ι to calculate its model parameter x, that is, x o t + 1 of a specific t + 1 time, may be represented by Equation 1.
즉, 임의의 단말 ο 가 자신의 데이터로부터 계산한 파라메터에 대한 에러함수의 기울기값 ∇f(xo t) 에 t 시간에서 자신(임의의 단말(ο))의 모델 파라메터 xo t와 주변의 단말 ι의 모델 파라메터 x, 즉 xι t의 차이에 대상단말의 신뢰도 ψ를 곱한 값을 합하여 일정학습 비율 η을 곱한 만큼 t 시간의 파라메터 x로부터 이동하여 최적의 파라메터를 찾는 것이 가능하다.In other words, any terminal ο of the model parameters x o t and around his (arbitrary terminal (ο)) at time t in the (x o t) ∇f inclination value of the error function for the parameters calculated from their data It is possible to find the optimal parameter by moving from the parameter x of t time by multiplying the difference of the model parameter x of the terminal ι, i.e. x ι t by the reliability terminal ψ of the target terminal, and multiplying the constant learning ratio η.
이러한 협력적인 작업은 단말 개별 간 뿐만 아니라, 도 1에서 볼 수 있듯이, 단말이 속한 단말 그룹과 주변의 다른 단말 그룹간에도 이루어질 수 있다 This cooperative work may be performed not only between individual terminals, but also between a terminal group to which the terminal belongs and another terminal group around as shown in FIG. 1.
이하, 도 2를 참조하여, 본 발명의 실시예에 따른 사물들의 집단 기계학습 장치의 동작에 대해 구체적으로 설명한다. 이하에서는, 집단 기계학습이 가능한 사물(단말)들 중에서 임의의 어느 하나의 단말에 구비된 집단 기계학습 장치를 예를 들어 설명하나, 집단 기계학습이 가능한 다른 단말에도 본 발명과 동일하게 집단 기계학습 장치가 구비될 수 있다. 아울러, 설명의 편의를 위해, 본 발명의 실시예에 다른 사물들의 집단 기계학습 장치가 구현된 단말을 ?戟윱棅?로 지칭하여 설명한다. Hereinafter, with reference to Figure 2, the operation of the collective machine learning apparatus of things according to an embodiment of the present invention will be described in detail. Hereinafter, the group machine learning apparatus provided in any one of the terminals (groups) capable of group machine learning will be described by way of example. However, the group machine learning can be performed in the same manner as the present invention in other terminals capable of group machine learning. The device may be provided. In addition, for convenience of description, it will be described in the embodiment of the present invention by referring to a terminal implemented with a group machine learning apparatus of other things as? 戟 윱 棅?.
도 2는 본 발명의 실시예에 따른 사물들의 집단 기계학습 장치 블록도이다.2 is a block diagram of a collective machine learning apparatus for objects according to an embodiment of the present invention.
도 2에 도시된 바와 같이, 집단 기계학습이 가능한 단말들 각각에서 내부의 학습 장치를 통해 개별적으로 학습을 수행하는 개별기계학습부(110), 학습된 결과 정보를 주변의 다른 단말들과 주고받으며 학습 성능 및 정확도를 더욱 더 향상시키는 집단기계학습부(120), 그리고 집단기계학습부(120)와 개별기계학습부(110)로부터 수신되는 학습정보를 이용하여 시시각각 계산된 학습 결과를 지속적으로 갱신하고 관리하는 학습결과관리부(130)를 포함할 수 있다. 여기서, 계산된 학습 결과는 각 단말에서의 파라메터 값 또는 파라메터에 대한 경사도 값 등일 수 있다.As illustrated in FIG. 2, the individual machine learning units 110 individually perform learning through internal learning devices in each of the terminals capable of group machine learning, and exchange the learned result information with other terminals nearby. Continuously update the calculated learning results from time to time by using the learning information received from the group
먼저, 개별기계학습부(110)는 자신(학습단말)이 가지고 있거나 외부로부터 유입되는 데이터로부터 학습 모델을 자동으로 관리하는 역할을 수행한다. 구체적으로, 개별기계학습부(110)는 입력으로 사용하는 데이터를 정답과 함께 입력받아 입력데이터로부터 정답을 이끌어내기 위한 학습 모델의 에러함수로부터 기울기(Gradient)를 계산한다. 이때, 개별기계학습부(110)는 데이터의 특징을 잘 나타낼 수 있도록 입력 데이터가 입력될 때마다 학습 모델의 파라메터 값을 최적화하기 위한 기울기를 계산하여 학습결과 관리부(130)에 지속적으로 파라메터 값의 업데이트를 요구하게 된다. 도 3은 이러한 학습 모델 최적화 과정의 일 실시예인 기울기 하강(Gradient Descent) 방법을 도시한 것으로, 미분의 개념을 최적화 문제에 적용하여 함수의 국소 최저치(local minimum 값)를 찾아가는 과정을 그린 그래프이다. 도 3에 도시된 바와 같이, 입력데이터를 이용하여 학습을 진행함에 따라 에러함수에 대한 파라메터의 기울기값을 구하고, 학습 모델의 최초 파라메터로부터 구해진 파라메터의 기울기의 반대방향으로 파라메터값을 이동함으로써 에러를 최소화하는 최적화 과정을 보여준다.First, the individual machine learning unit 110 performs a role of automatically managing the learning model from the data owned (learning terminal) or introduced from the outside. Specifically, the individual machine learning unit 110 receives data used as an input with a correct answer and calculates a gradient from an error function of a learning model for deriving a correct answer from the input data. At this time, the individual machine learning unit 110 calculates the slope for optimizing the parameter value of the learning model every time the input data is input so that the characteristics of the data can be well represented, the parameter of the parameter value continuously in the learning
일반적으로 학습에 사용되는 입력 데이터가 많을수록 학습 모델은 더욱 더 정확해지지만, 개별기계학습부(110)의 경우 수집되는 데이터의 양의 한계로 인해 학습 모델의 정확도가 상당히 낮을 수 밖에 없다. 이와 같은 개별기계학습부(110)의 낮은 정확도를 향상시키기 위해, 본 발명의 실시예에 따른 집단 기계학습 장치(100)는 집단기계학습부(120)를 구비할 수 있다.In general, the more input data used for learning, the more accurate the learning model is. However, in the case of the individual machine learning unit 110, the accuracy of the learning model is inevitably low due to the limitation of the amount of data collected. In order to improve the low accuracy of the individual machine learning unit 110, the group
집단기계학습부(120)는 자기와 동일한 모델 유형을 학습하는 인접 단말로부터 학습 모델 결과 정보를 전달받고, 전달받은 학습 모델 정보와 개별기계학습부(110)에서 내부적으로 학습한 학습 모델 정보를 협력적으로 활용하여 모델의 파라메터를 더욱 더 빨리, 그리고 정확하게 최적화시켜, 높은 정확도를 갖는 학습 모델을 도출하는 역할을 수행한다. 이하에서는 설명의 편의를 위해, 개별기계학습부(110)에서 학습된 학습 모델을 제1 학습 모델로 지칭하며, 주변 단말에서 학습된 학습 모델을 제2 학습 모델로 지칭한다.The group
한편, 집단기계학습부(120)는 집단학습을 위한 주변 단말이 탐색하고 관리하는 집단학습단말관리부(121), 주변 단말이 자신(학습단말)과 집단학습이 가능한 집단학습 대상단말인 경우, 집단 기계 학습 수행 시 대상단말에 대한 적절한 신뢰도를 계산하는 신뢰도판단부(123), 집단학습 대상단말로부터 전파된 학습 파라메터와 단말 자신의 파라메터의 차이에 상기 계산된 신뢰도를 적용하여 파라메터의 갱신을 요청하는 집단학습갱신부(125)를 포함할 수 있다.On the other hand, the group
이하, 도 4의 흐름도를 참조하여 본 발명의 실시예에 따른 집단기계학습부의 동작에 대해 구체적으로 설명한다. Hereinafter, the operation of the group machine learning unit according to the embodiment of the present invention will be described in detail with reference to the flowchart of FIG. 4.
도 4는 본 발명의 실시예에 따른 집단기계학습부의 집단기계학습 동작 흐름도이다.4 is a flowchart illustrating a group machine learning operation of a group machine learning unit according to an embodiment of the present invention.
집단기계학습부(120)의 집단학습단말관리부(121)는 일정 간격으로 주변의 단말을 탐색한다(S401). 탐색 결과 주변 단말이 탐색된 경우, 일정한 규약에 의해 탐색된 주변 단말에서 학습하고자 하는 학습 모델(제2 학습 모델)이 자신(학습단말)의 학습 모델(제1 학습 모델)과 부합하는지를 검사하여, 탑색된 주변단말이 집단학습의 대상단말인지 여부를 판단한다(S402). 예컨대, 집단학습단말관리부(121)는 자신의 학습 종류와 탐색된 주변 단말에서 학습하는 학습 종류가 동일한 분류로 구분되어 있는지를 확인하여 집단학습의 대상단말인지 여부를 판단할 수 있다. 이 외에도, 사전에 개발자에 의해서 설정된 설정값에 따라 주변 단말이 집단학습의 대상단말인지 여부를 판단할 수 있다.The group learning
단계 S402의 판단 결과, 탐색된 주변 단말이 집단학습 대상단말로 판단되는경우, 신뢰도판단부(123)는 대상단말의 특성정보 및 학습정보를 수신할 수 있다(S403). 이때, 특성 정보에는 운영체제, CPU 리소스, 메모리 크기, 에너지 사용량 정보, 위치정보, 설치 어플리케이션 정보 등이 포함될 수 있으며, 학습정보에는 학습 종류, 학습 모델, 파라메터 등이 포함될 수 있다. As a result of the determination of step S402, when the detected neighboring terminal is determined to be the group learning target terminal, the
또한, 대상단말이 특정 개인에 종속된 디바이스인 경우 대상 단말의 사용자정보를 추가적으로 주고 받는 것이 가능하다. 여기서, 사용자정보는 대상단말의 사용자의 나이, 성별, 관심사, 대상단말에 설치된 앱 등이 포함될 수 있다.In addition, when the target terminal is a device dependent on a specific individual, it is possible to additionally exchange user information of the target terminal. Here, the user information may include the age, gender, interests of the user of the target terminal, the app installed in the target terminal, and the like.
이후, 신뢰도판단부(123)는 대상 단말의 학습내용을 자신(학습단말)의 학습에 어느 정도의 가중치를 두어 적용할 것인지에 대한 신뢰도를 계산한다(S404). 여기서, 대상단말에 대한 신뢰도 계산을 위해 다양한 방법이 활용될 수 있다. 일 실시예로, 신뢰도판단부(123)는 단말들(대상단말 및 학습단말) 또는 단말들(대상단말 및 학습단말)의 사용자 간의 유사도, 대상단말에서 학습한 모델의 성숙도, 또는 이둘의 조합 등을 기반으로 신뢰도를 계산할 수 있다.Thereafter, the
이 중 유사도는 대상단말의 특성정보, 대상단말의 사용자정보, 또는 이 둘의 조합으로 계산할 수 있다. 가령, 건물 내에 설치된 IoT 단말이 에너지 사용량을 예측하는 경우, 자신(학습단말)과 대상단말의 설치된 방의 위치, 창의 방향(남향 또는 북향), 용도 등의 유사도를 측정하고, 유사도가 높은 대상단말로부터 수신한 학습 결과에 더 높은 신뢰도를 주는 것이 가능하다. 다른 실시예로, 개인 휴대단말의 문자메시지 단어 예측을 통한 입력서비스를 제공하고자 할 경우, 신뢰도판단부(123)는 자신과 대상단말의 휴대자의 성별, 나이, 직업, 거주지역 등의 유사도 측정하여 신뢰도를 부여하는 방법이 가능하다. The similarity may be calculated by using characteristic information of the target terminal, user information of the target terminal, or a combination of the two. For example, when an IoT terminal installed in a building predicts energy consumption, the similarity between the self (learning terminal) and the location of the room installed in the target terminal, the direction of the window (south or north), and the purpose of use is measured, It is possible to give higher confidence in the received learning results. In another embodiment, when it is desired to provide an input service through text message word prediction of a personal mobile terminal, the
한편, 대상단말에 대한 모델의 성숙도는 대상단말로부터 수신한 모델 즉 파라메터가 얼마나 잘 학습이 되어 성숙된 단계에 있는지 그 정도를 나타낸다. 성숙도는 많은 데이터로부터 학습과정을 거쳐서 얻어진 모델에 대한 파라메터의 경우 높은 신뢰도를 보장하는 것이 가능하다. 예컨대, 대상단말에 대한 모델의 성숙도는 대상단말로부터 파라메터의 최적값을 찾기 위한 기울기값을 수신하여 이에 반비례하게 측정하는 것이 가능하다. 즉, 모델의 성숙도는 기울기값에 따라 반비례 특성을 갖도록 기설정될 수 있다. 예컨대, 그 특징상 기울기값이 0에 가까울수록 높음 성숙도로 추정하는 것이 가능하다. 또한 대상단말로부터 모델 파라메터를 수신한 빈도 등을 고려하여 측정하는 것이 가능하다.On the other hand, the maturity of the model for the target terminal indicates how well the model received from the target terminal, i.e., the parameters, is in a mature stage. Maturity can ensure high reliability in the case of parameters for models obtained through learning from many data. For example, the maturity of the model for the target terminal can be measured in inverse proportion to the slope value for finding the optimal value of the parameter from the target terminal. That is, the maturity of the model may be preset to have an inverse characteristic according to the slope value. For example, it is possible to estimate the degree of maturity as the inclination value approaches 0. In addition, it is possible to measure in consideration of the frequency of receiving the model parameters from the target terminal.
신뢰도 계산은 집단학습을 수행한 단말들로부터 전달받은 학습 모델 정보(제2 학습 모델 정보)의 정확성 추이를 기반으로 더 세밀하게 수행할 수도 있다. 예컨대, 총 m개의 단말들이 집단학습을 수행하고 있으며, 시간 t에 임의의 단말 i로부터 수신된 학습 모델(제2 학습 모델) 정보의 파라메터 값을
학습결과관리부(130)는 집단학습을 수행한 대상단말들로부터 전달받은 학습 모델(제2 학습 모델)에 대한 파라메터 값들을 시간대 별로 아래의 수학식 2와 같이 관리하고 있다.The learning
신뢰도판단부(123)는 정확한 신뢰도 계산을 위해 학습결과관리부(130)에게, 시간 t에서 임의의 단말 i에 대한 학습 모델의 파라메터에 대한 정확성 정보를 요구한다. 학습결과관리부(130)는 저장된 Gt 값을 참조하여 t시간대에 학습된 파라메터 값들의 통계값(평균값
여기서,
신뢰도판단부(123)는 대상단말의 특성정보를 이용하여 계산된 유사도 값과 대상단말의 학습정보를 이용하여 계산된 유사도 값, 그리고 학습성숙도를 고려하여, 최종적으로 대상 단말에 대한 신뢰도를 판단하게 된다. 이런 신뢰도 정보들은 일정시간 유지되며, 자신 또는 대상단말의 특성정보가 변경된 경우, 또는 특정 주기별로, 재계산하여 집단학습을 반복할 수도 있다. 예컨대, 대상단말의 유사도 ω와 학습성숙도 β를 이용하여 둘을 조합한 신뢰도는 수식 4와 같이 계산할 수 있다.The
집단학습갱신부(125)는 집단학습 대상단말로부터 주기적으로 학습 모델(제2 학습 모델)의 파라메터나 파라메터의 기울기값을 수신할 수 있으며(S405), 수신되는 학습 모델의 파라메터나 파라메터의 기울기값과 주체가 되는 단말(학습단말)의 파라메터나 파라메터의 기울기값과의 차이값을 신뢰도판단부(123)에 의해 결정된 신뢰도를 가지고 그 정도에 따라 판단하여 학습결과관리부(130)에 갱신을 요청한다(S406). The group
이와 같이 집단기계학습부 (100)은 내부의 집단학습단말관리부(121), 신뢰도판단부(123), 집단학습갱신부(125) 모듈을 통해, 인접 집단학습 단말들과 상호 협력하여 최적의 학습 모델을 도출할 수 있게 된다.As described above, the group
학습결과관리부(130)에서는 개별기계학습부(110) 및 집단기계학습부(120) 중 적어도 하나로부터 전달받은 갱신요청시마다 파라메터를 지속적으로 갱신한다. 학습 모델에 대한 정보를 시간 별로, 그리고 단말 별로 관리를 한다. 또한, 개별기계학습부(110) 및 집단기계학습부(120) 중 적어도 하나로부터 전달받은 학습 모델의 파라메터 값으로, 또는 갱신요청 시 마다 일정한 학습비율에 의해 최종 학습 결과를 갱신한다. 이때, 학습 결과는 각 피쳐들에 대한 조율된 파라메터들이 될 수 있다. The learning
최종적으로 조율된 학습 결과는 개별기계학습부(110)에 전달되어 다음 주기의 학습에 활용하게 한다. 또한, 최종적으로 조율된 학습 결과는 집단기계학습부(120)에도 전달되어 다음시간 t에서 대상단말로부터의 학습을 수행하는데 활용되도록 하는 것이 가능하다. 나아가, 집단학습 대상단말이 학습하는데 활용할 수 있도록, 학습 결과를 대상단말로 전달하는 것이 가능하다Finally, the coordinated learning result is transmitted to the individual machine learning unit 110 to be used for learning in the next cycle. In addition, the finally tuned learning result can be transmitted to the group
이와 같이 본 발명을 실시예에 따르면, 동일한 문제를 학습하는 다른 단말과 학습된 파라메터값 또는 그 기울기를 조율하여 학습에 적용함으로써, 단말이 데이터, 컴퓨팅 리소스의 제약을 가지는 상황에서도 간접적으로 각 단말의 학습 결과를 활용하여 다양한 입력에 대해서도 폭넓게 학습하는 것이 가능하다. 또한, 각각의 단말이 학습능력을 보다 향상할 수 있는 이점이 있다. 아울러, 단말에서 생성한 데이터를 별도의 학습용 서버가 존재하는 다른 영역으로 이동시키지 않고 학습함으로써, 각자의 단말 내에서 학습하고 서로 결과를 공유하여 학습에 적용하여 데이터의 이동에 따른 학습과 학습 결과의 적용에 따른 지연문제와 프라이버시 문제를 완화할 수 있으며 온라인 러닝 등에 활용할 수 있다.
As described above, according to the exemplary embodiment of the present invention, by adjusting the learned parameter value or the slope thereof with another terminal learning the same problem, the terminal is indirectly connected to each terminal even in a situation where the terminal has limitations of data and computing resources. Using the learning results, it is possible to learn a wide range of inputs. In addition, there is an advantage that each terminal can further improve the learning ability. In addition, by learning the data generated in the terminal without moving to another area where a separate learning server exists, learning in each terminal and sharing the results with each other applied to the learning of the learning and learning results according to the movement of the data It can alleviate the delay and privacy issues caused by the application and can be used for online learning.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
As described above, the configuration of the present invention has been described in detail through preferred embodiments of the present invention, but a person having ordinary knowledge in the art to which the present invention pertains disclosed herein without changing the technical spirit or essential features of the present invention. It will be appreciated that the present invention may be embodied in other specific forms than. Therefore, it should be understood that the embodiments described above are exemplary in all respects and not restrictive. The protection scope of the present invention is shown by the following claims rather than the detailed description, and all changes or modifications derived from the claims and their equivalents should be construed as being included in the scope of the present invention.
110 : 개별기계학습부 120 : 집단기계학습부
121 : 집단학습단말관리부 123 : 신뢰도판단부
125 : 집단학습갱신부 130 : 학습 결과관리부110: individual machine learning department 120: group machine learning department
121: group learning terminal management unit 123: reliability determination unit
125: group learning update unit 130: learning result management unit
Claims (20)
주변의 다른 단말들의 학습 결과를 수신하고, 상기 제1 학습 모델과 상기 수신된 학습 결과를 이용하여 상기 다른 단말들의 제2 학습 모델을 도출하는 집단기계학습부; 및
상기 제1 및 제2 학습 모델 정보를 이용하여 실시간으로 상기 학습단말의 학습 결과를 갱신하고 관리하는 학습결과 관리부;를 포함하되,
상기 집단기계학습부는,
상기 다른 단말로부터 수신되는 특성 정보와 학습정보를 이용하여 다른 단말의 신뢰도를 계산한 후 다른 단말로부터 수신되는 학습모델의 파라메터 또는 파라메터의 기울기값에 신뢰도를 적용하여 학습단말의 학습 결과 갱신을 요청하는 것인 사물들의 집단 기계학습 장치.
An individual machine learning unit configured to receive input data and correct answers from outside and generate a first learning model of a learning terminal for deriving the correct answer from the input data;
A group machine learning unit for receiving learning results of other terminals in the vicinity and deriving a second learning model of the other terminals using the first learning model and the received learning results; And
And a learning result manager for updating and managing learning results of the learning terminal in real time using the first and second learning model information.
The group machine learning unit,
After calculating the reliability of the other terminal using the characteristic information and the learning information received from the other terminal and applying the reliability to the parameters of the learning model received from the other terminal or the slope value of the parameter request to update the learning result of the learning terminal Collective machine learning apparatus of things.
에러를 최소화하는 최적화 과정을 수행하기 위해, 상기 입력데이터를 이용하여 학습을 진행하여 에러함수에 대한 파라메터의 기울기값을 구하고, 상기 제1 학습 모델의 최초 파라메터로부터, 상기 구해진 에러 함수에 대한 파라메터의 기울기값의 반대방향으로 파라메터값을 이동시키고, 그 이동결과를 토대로 상기 학습결과 관리부에 상기 학습 결과의 갱신을 요청하는 것
인 사물들의 집단 기계학습 장치.
According to claim 1, wherein the individual machine learning unit,
In order to perform an optimization process that minimizes an error, learning is performed using the input data to obtain a slope value of a parameter with respect to an error function, and from the first parameter of the first learning model, a parameter of the obtained error function is obtained. Shifting a parameter value in a direction opposite to an inclination value and requesting the learning result management unit to update the learning result based on the shift result
Collective machine learning device of objects.
기설정된 일정 간격으로 주변의 적어도 하나의 단말을 탐색하고, 탐색된 적어도 하나의 단말이 집단학습의 대상단말인지 여부를 판단하는 집단학습단말관리부;
상기 적어도 하나의 대상단말로부터 특성정보와 상기 대상단말의 사용자정보 및 학습정보를 수신하고, 수신된 상기 대상단말의 특성정보, 학습정보를 이용하여 상기 대상단말의 신뢰도를 계산하는 신뢰도판단부; 및
상기 대상단말로부터 주기적으로 학습모델의 파라메터 또는 상기 파라메터의 기울기값을 수신하고, 수신된 상기 파라메터 또는 상기 파라메터의 기울기값에 상기 신뢰도판단부에 의해 계산된 신뢰도를 적용하여 상기 학습결과관리부에 갱신을 요청하는 집단학습갱신부;
를 포함하는 것인 사물들의 집단 기계학습 장치.
The method of claim 1, wherein the group machine learning unit,
A group learning terminal manager configured to search for at least one terminal around a predetermined interval, and determine whether the found at least one terminal is a target terminal for group learning;
A reliability judging unit receiving characteristic information, user information and learning information of the target terminal from the at least one target terminal, and calculating reliability of the target terminal using the received characteristic information and learning information of the target terminal; And
The parameter of the learning model or the slope of the parameter is periodically received from the target terminal, and the reliability calculated by the reliability determination unit is applied to the received parameter or the slope of the parameter to update the learning result management unit. Requesting group learning update unit;
Collecting machine learning apparatus of things that include.
탐색된 상기 주변 단말에서 학습하는 학습 종류와 상기 학습단말의 학습 종류가 동일한 분류로 구분되어 있으면, 탐색된 상기 주변 단말을 상기 대상단말인 것으로 판단하는 것
인 사물들의 집단 기계학습 장치.
The method of claim 3, wherein the group learning terminal management unit,
If the learning type learned in the found neighboring terminal and the learning type of the learning terminal are classified into the same classification, determining that the found neighboring terminal is the target terminal;
Collective machine learning device of objects.
상기 대상단말과 상기 학습단말, 또는 상기 대상단말과 상기 학습단말의 사용자 간의 유사도, 상기 대상단말이 학습한 모델의 성숙도 중 적어도 하나를 고려하여 상기 신뢰도를 계산하는 것
인 사물들의 집단 기계학습 장치.
The method of claim 3, wherein the reliability determination unit,
Calculating the reliability in consideration of at least one of the similarity between the target terminal and the learning terminal, or the similarity between the target terminal and the user of the learning terminal, and the maturity of the model trained by the target terminal;
Collective machine learning device of objects.
상기 유사도에 비례하여 신뢰도가 기설정될 수 있으며,
상기 신뢰도판단부는,
상기 유사도 고려 시, 상기 대상단말 특성정보 및 사용자정보와 상기 학습단말의 특성정보와 사용자정보 간의 유사도를 측정하고, 측정된 상기 유사도에 대응되어 기설정된 신뢰도를 책정하는 것
인 사물들의 집단 기계학습 장치.
The method of claim 5,
Reliability may be preset in proportion to the similarity.
The reliability determination unit,
In consideration of the similarity, measuring the similarity between the target terminal characteristic information and the user information and the characteristic information of the learning terminal and the user information, and setting a predetermined reliability corresponding to the measured similarity.
Collective machine learning device of objects.
에러함수의 파라메터에 대한 기울기값에 반비례하여 신뢰도가 기설정될 수 있으며,
상기 신뢰도판단부는,
상기 학습 모델의 성숙도 고려 시, 상기 대상단말의 에러함수의 파라메터에 대한 기울기값을 수신하고, 수신된 상기 기울기값에 대응하여 기설정된 신뢰도를 책정하는 것
인 사물들의 집단 기계학습 장치.
The method of claim 5,
The reliability can be preset in inverse proportion to the slope of the error function parameter.
The reliability determination unit,
When considering the maturity of the learning model, receiving a slope value for the parameter of the error function of the target terminal, and setting a predetermined reliability corresponding to the received slope value
Collective machine learning device of objects.
상기 대상단말의 운영체제, CPU 리소스, 메모리 크기, 에너지 사용량 정보, 위치 정보, 설치 어플리케이션 정보 중 적어도 하나의 특성 정보를 수신하고, 상기 대상 단말의 사용자의 성별, 나이, 취미, 주거지역, 관심사 중 적어도 하나의 사용자 특성정보, 상기 대상단말의 학습 종류, 학습 모델, 파라메터 중 적어도 하나의 학습정보를 수신하는 것
인 사물들의 집단 기계학습 장치.
The method of claim 3, wherein the reliability determination unit,
Receives at least one characteristic information of an operating system, CPU resources, memory size, energy usage information, location information, and installation application information of the target terminal, and includes at least one of a gender, age, hobby, residential area, and interest of the user of the target terminal. Receiving at least one learning information among one user characteristic information, a learning type of the target terminal, a learning model, and a parameter;
Collective machine learning device of objects.
복수의 대상단말의 학습모델에 대한 파라메터값들을 시간대별로 관리하는 상기 학습결과관리부에게 임의의 시간 t에서 임의의 대상단말 i에 대한 학습모델의 파라메터값들의 평균값 및 표준편차 중 적어도 하나를 포함하는 통계값을 기반으로 상기 임의의 대상단말 i에 대한 신뢰도 정보를 판단하는 것
인 사물들의 집단 기계학습 장치.
The method of claim 3, wherein the reliability determination unit,
Statistics including at least one of the average value and the standard deviation of the parameter values of the learning model for any target terminal i at any time t to the learning result management unit for managing the parameter values for the learning model of a plurality of target terminals for each time zone Determining reliability information for the target terminal i based on a value
Collective machine learning device of objects.
자신 또는 상기 대상단말의 특성정보가 변경된 경우, 또는 기설정된 특정 주기별로 상기 신뢰도를 재계산하여 집단학습을 반복하는 것
인 사물들의 집단 기계학습 장치.
The method of claim 9, wherein the reliability determination unit,
Repeating the group learning by recalculating the reliability at a predetermined period or when the characteristic information of the self or the target terminal is changed;
Collective machine learning device of objects.
상기 개별기계학습부 및 상기 집단기계학습부 중 적어도 하나로부터 전달받은 학습 모델의 파라메터값을 주기적으로 또는 별도의 갱신 요청시 마다 일정한 학습비율에 의해 최종학습결과를 갱신하며, 갱신된 상기 최종학습결과는 상기 개별기계학습부 및 상기 집단기계학습부 중 적어도 하나에 전달되어 학습 동작 또는 신뢰도 계산을 수행하는데 활용되는 것
인 사물들의 집단 기계학습 장치.The method of claim 1, wherein the learning result management unit,
The final learning result is updated by a predetermined learning rate periodically or whenever a separate update request is made for the parameter value of the learning model received from at least one of the individual machine learning unit and the group machine learning unit, and the updated final learning result is updated. Is transmitted to at least one of the individual machine learning unit and the group machine learning unit to be used to perform a learning operation or reliability calculation.
Collective machine learning device of objects.
상기 입력 데이터로부터 상기 정답을 이끌어내기 위한 학습단말의 제1 학습 모델을 생성하는 개별학습단계;
주변의 다른 단말들의 학습 결과를 수신하는 수신단계;
상기 제1 학습 모델과 상기 수신된 학습 결과를 이용하여 상기 다른 단말들의 제2 학습 모델을 도출하는 집단학습단계;
상기 제1 및 제2 학습 모델 정보를 이용하여 실시간으로 상기 학습단말의 학습 결과를 갱신하고 관리하는 학습결과 관리단계;를 포함하되,
상기 집단기계학습단계는,
상기 다른 단말로부터 수신되는 특성 정보와 학습정보를 이용하여 다른 단말의 신뢰도를 계산한 후 다른 단말로부터 수신되는 학습모델의 파라메터 또는 파라메터의 기울기값에 신뢰도를 적용하여 학습단말의 학습 결과 갱신을 요청하는 것인 사물들의 집단 기계학습 방법.
An input step of receiving input data and a correct answer input from the outside together;
An individual learning step of generating a first learning model of a learning terminal for deriving the correct answer from the input data;
Receiving step of receiving the learning results of the other terminals around;
A group learning step of deriving a second learning model of the other terminals by using the first learning model and the received learning result;
And a learning result management step of updating and managing a learning result of the learning terminal in real time using the first and second learning model information.
The group machine learning step,
After calculating the reliability of the other terminal using the characteristic information and the learning information received from the other terminal and applying the reliability to the parameters of the learning model received from the other terminal or the slope value of the parameter request to update the learning result of the learning terminal Collective machine learning method of things.
상기 입력데이터를 이용하여 학습을 진행함에 따라 에러함수에 대한 파라메터의 기울기값을 구하는 단계; 및
상기 제1 학습 모델의 최초 파라메터로부터, 상기 구해진 에러 함수에 대한파라메터의 기울기값의 반대방향으로 파라메터값을 이동시키고, 상기 이동 결과를 토대로 상기 학습단말의 학습 결과의 갱신을 하는 단계;
를 포함하는 것인 사물들의 집단 기계학습 방법.
The method of claim 12, wherein the individual learning step,
Obtaining a slope value of a parameter with respect to an error function as learning is performed using the input data; And
Moving a parameter value from an initial parameter of the first learning model in a direction opposite to a slope value of the parameter with respect to the obtained error function, and updating a learning result of the learning terminal based on the moving result;
The collective machine learning method of things that includes.
기설정된 일정 간격으로 주변의 적어도 하나의 단말을 탐색하는 단계
탐색된 적어도 하나의 단말이 집단학습의 대상단말인지 여부를 판단하는 단계;
상기 적어도 하나의 대상단말로부터 특성정보 및 학습정보를 수신하는 단계;
수신된 상기 대상단말의 특성정보 및 학습정보를 이용하여 상기 대상단말의 신뢰도를 계산하는 단계;
상기 대상단말로부터 주기적으로 학습모델의 파라메터 또는 상기 파라메터의 기울기값을 수신하는 단계; 및
수신된 상기 파라메터 또는 상기 파라메터의 기울기값에 상기 계산된 신뢰도를 적용하여 학습결과를 갱신하는 단계;
를 포함하는 것인 사물들의 집단 기계학습 방법.
The method of claim 12, wherein the group learning step,
Searching for at least one terminal in the vicinity at a predetermined interval;
Determining whether the found at least one terminal is a target terminal for group learning;
Receiving characteristic information and learning information from the at least one target terminal;
Calculating the reliability of the target terminal by using the received characteristic information and learning information of the target terminal;
Periodically receiving a parameter of a learning model or a slope value of the parameter from the target terminal; And
Updating a learning result by applying the calculated reliability to the received parameter or the slope value of the parameter;
The collective machine learning method of things that includes.
탐색된 상기 주변 단말에서 학습하는 학습 종류와 상기 학습단말의 학습 종류가 동일한 분류로 구분되어 있으면, 탐색된 상기 주변 단말을 상기 대상단말인 것으로 판단하는 것
인 사물들의 집단 기계학습 방법.
The method of claim 14, wherein the determining of whether the terminal is the target terminal comprises:
If the learning type learned in the found neighboring terminal and the learning type of the learning terminal are classified into the same classification, determining that the found neighboring terminal is the target terminal;
Collective machine learning method of objects.
상기 대상단말과 상기 학습단말, 또는 상기 대상단말과 상기 학습단말의 사용자 간의 유사도, 상기 대상단말이 학습한 모델의 성숙도 중 적어도 하나를 고려하여 상기 신뢰도를 계산하는 것
인 사물들의 집단 기계학습 방법.
15. The method of claim 14, wherein calculating the reliability of the target terminal,
Calculating the reliability in consideration of at least one of the similarity between the target terminal and the learning terminal, or the similarity between the target terminal and the user of the learning terminal, and the maturity of the model trained by the target terminal;
Collective machine learning method of objects.
상기 유사도 고려 시, 상기 대상단말 특성정보 및 사용자정보와 상기 학습단말의 특성정보와 사용자정보 간의 유사도를 측정하고, 측정된 상기 유사도에 비례하여 기설정된 값을 상기 신뢰도로 책정하며, 상기 학습 모델의 성숙도 고려 시, 상기 대상단말의 에러함수의 파라메터에 대한 기울기값을 수신하고, 수신된 상기 기울기값에 반비례하여 기설정된 값을 상기 신뢰도로 책정하는 것
인 사물들의 집단 기계학습 방법.
17. The method of claim 16, wherein calculating the reliability of the target terminal,
In consideration of the similarity, the similarity between the target terminal characteristic information and the user information and the characteristic information of the learning terminal and the user information is measured, and a predetermined value is set as the reliability in proportion to the measured similarity. In consideration of maturity, receiving a slope value for a parameter of an error function of the target terminal, and setting a predetermined value as the reliability in inverse proportion to the received slope value.
Collective machine learning method of objects.
상기 대상단말의 운영체제, CPU 리소스, 메모리 크기, 에너지 사용량 정보, 위치 정보, 설치 어플리케이션 정보 중 적어도 하나의 특성 정보를 수신하고, 상기 대상단말의 학습 종류, 학습 모델, 파라메터 중 적어도 하나의 학습정보를 수신하는 것
인 사물들의 집단 기계학습 방법.
The method of claim 14, wherein the receiving of the characteristic information and the learning information from the target terminal comprises:
Receive at least one characteristic information of an operating system, CPU resource, memory size, energy usage information, location information, installation application information of the target terminal, and at least one learning information of the learning type, learning model, parameters of the target terminal Receiving
Collective machine learning method of objects.
복수의 대상단말의 학습모델에 대한 파라메터값들을 시간대별로 관리하는 단계
를 더 포함하며,
상기 대상단말의 신뢰도를 계산하는 단계는,
임의의 시간 t에서 상기 복수의 대상단말 중 임의의 대상단말 i에 대한 학습모델의 파라메터값들의 평균값 및 표준편차 중 적어도 하나를 포함하는 통계값을 기반으로 상기 임의의 대상단말 i에 대한 신뢰도 정보를 반환하는 것
인 사물들의 집단 기계학습 방법.
The method of claim 14,
Managing the parameter values for the learning model of a plurality of target terminals by time zone
More,
Calculating the reliability of the target terminal,
Based on a statistical value including at least one of an average value and standard deviation of parameter values of a learning model for any target terminal i of the plurality of target terminals at any time t, the reliability information for the target terminal i is obtained. To return
Collective machine learning method of objects.
상기 개별학습단계 및 상기 집단학습단계 중 적어도 하나의 단계의 학습 모델의 파라메터값을 주기적으로 또는 별도의 갱신 요청 시 마다 일정한 학습비율에 의해 최종학습결과를 갱신하며, 갱신된 상기 최종학습결과는 상기 개별학습단계 및 상기 집단학습단계 중 적어도 하나의 단계의 학습 동작 또는 신뢰도 계산 시 활용되는 것
인 사물들의 집단 기계학습 방법.
The method of claim 12, wherein the learning result management step,
The final learning result is updated by a predetermined learning rate periodically or whenever a separate update request is made for the parameter values of at least one of the individual learning step and the group learning step, and the updated final learning result is the It is used to calculate learning behavior or reliability of at least one of the individual learning stage and the group learning stage.
Collective machine learning method of objects.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160129701A KR102067013B1 (en) | 2016-10-07 | 2016-10-07 | Device for collective machine learning of things and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160129701A KR102067013B1 (en) | 2016-10-07 | 2016-10-07 | Device for collective machine learning of things and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180039204A KR20180039204A (en) | 2018-04-18 |
| KR102067013B1 true KR102067013B1 (en) | 2020-01-17 |
Family
ID=62082788
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160129701A Active KR102067013B1 (en) | 2016-10-07 | 2016-10-07 | Device for collective machine learning of things and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102067013B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102297242B1 (en) * | 2019-07-08 | 2021-09-03 | 연세대학교 산학협력단 | Method, device and program for diagnosis of melanoma using deep learning |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150193693A1 (en) | 2014-01-06 | 2015-07-09 | Cisco Technology, Inc. | Learning model selection in a distributed network |
| WO2016118815A1 (en) | 2015-01-22 | 2016-07-28 | Preferred Networks, Inc. | Machine learning heterogeneous edge device, method, and system |
| US20160217387A1 (en) * | 2015-01-22 | 2016-07-28 | Preferred Networks, Inc. | Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment |
-
2016
- 2016-10-07 KR KR1020160129701A patent/KR102067013B1/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150193693A1 (en) | 2014-01-06 | 2015-07-09 | Cisco Technology, Inc. | Learning model selection in a distributed network |
| WO2016118815A1 (en) | 2015-01-22 | 2016-07-28 | Preferred Networks, Inc. | Machine learning heterogeneous edge device, method, and system |
| US20160217387A1 (en) * | 2015-01-22 | 2016-07-28 | Preferred Networks, Inc. | Machine learning with model filtering and model mixing for edge devices in a heterogeneous environment |
Non-Patent Citations (1)
| Title |
|---|
| 마쓰오 유타카. 인공지능과 딥러닝. 동아 앰앤비. 2016.07.25., 134~135페이지 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20180039204A (en) | 2018-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109902708B (en) | Recommendation model training method and related device | |
| US20230077451A1 (en) | Identifying upgrades to an edge network by artificial intelligence | |
| CN105247507B (en) | Method, system and storage medium for determining brand influence score | |
| US11531926B2 (en) | Method and apparatus for generating machine learning model by using distributed computing framework | |
| Islam et al. | Empirical prediction models for adaptive resource provisioning in the cloud | |
| US20180046724A1 (en) | Information recommendation method and apparatus, and server | |
| US20150347414A1 (en) | New heuristic for optimizing non-convex function for learning to rank | |
| CN110119475B (en) | POI recommendation method and system | |
| CN109948066B (en) | Interest point recommendation method based on heterogeneous information network | |
| CN109155012A (en) | Evaluate the accuracy of machine learning models | |
| US10679136B2 (en) | Decision processing and information sharing in distributed computing environment | |
| US20180367573A1 (en) | Stereotyping for trust management in iot systems | |
| Alkurd et al. | Big-data-driven and AI-based framework to enable personalization in wireless networks | |
| US12417436B2 (en) | Automated parameterized modeling and scoring intelligence system | |
| CN111783810A (en) | Method and apparatus for determining attribute information of user | |
| CN114186126B (en) | Object recommendation method and device, electronic equipment and storage medium | |
| Madumal et al. | Adaptive event tree-based hybrid CEP computational model for Fog computing architecture | |
| CN114297478A (en) | A page recommendation method, apparatus, device and storage medium | |
| Maghsudi et al. | Computational models of human decision-making with application to the Internet of everything | |
| Cai et al. | Indoor positioning by distributed machine-learning based data analytics on smart gateway network | |
| CN115510327B (en) | Training method, resource recommendation method and device for click-through rate prediction model | |
| KR102067013B1 (en) | Device for collective machine learning of things and method thereof | |
| US12056193B2 (en) | Occupant comfort model extrapolation | |
| CN116915724A (en) | A resource allocation system and method based on traffic prediction unit | |
| CN114648119A (en) | Heterogeneous causal effect determination method and device, electronic equipment and storage medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
Patent event code: PA01091R01D Comment text: Patent Application Patent event date: 20161007 |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20171101 Comment text: Request for Examination of Application Patent event code: PA02011R01I Patent event date: 20161007 Comment text: Patent Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20190620 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20191021 |
|
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20200110 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20200113 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration | ||
| PR1001 | Payment of annual fee |
Payment date: 20221110 Start annual number: 4 End annual number: 4 |
|
| PR1001 | Payment of annual fee |
Payment date: 20231127 Start annual number: 5 End annual number: 5 |
|
| PR1001 | Payment of annual fee |
Payment date: 20241226 Start annual number: 6 End annual number: 6 |