간단하게는 입력층(0층) 은닉층(1층) 출력층(2층)으로 이루어져있다. 기존 함수에 Bias(편향)을 명시한 퍼셉트론을 포함 > 활성화함수 활성화함수는 편향값을 포함한 입력신호의 총합을 출력신호로 변환하는 함수 - 계단함수 단순 활성화함수는 주로 계단함수로 표현된다. 0의 값을 기준으로 봤을때 0보다크면 1, 0보다 작으면 0으로 정의되어있는 계단모양의 함수 - 시그모이드 함수 신경망에서 자주 이용하는 활성화함수 0과 1의 값이 아니라 연속적인 실수값을 반환해주는 함수 - 계단함수와 시그모이드 함수 비교 공통점 : 두 함수 모두 비선형함수 (신경망에서는 활성화함수로 비선형함수를 사용해야함) 차이점 : 계단함수는 0 or 1만 출력 / 시그모이드는 연속적인 실수값 출력 - ReLU함수 (Rectified ..

신경망은 1949년에 시작되어 퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘 신경망(딥러닝)의 기원이 되는 알고리즘 퍼셉트론 perceptron : 인공 뉴런 다수의 신호를 입력 받아 하나의 신호 출력 신호 : 전류나 강물처럼 흐름이 있는 것을 상상 퍼셉트론 신호도 흐름을 만들고 정보를 앞으로 전달 퍼셉트론 신호는 흐른다(1), 안흐른다(0)의 두가지 값으로 표현 > AND 게이트 x1, x2모두 1로 입력되어야 y가 1로 출력된다. > NAND 게이트 x1, x2의 값이 모두 0이거나 서로 다른 경우 y가 1로 출력된다. > OR 게이트 x1, x2의 값이 모두 1이거나 서로 다른 경우 y가 1로 출력된다. > XOR 게이트 x1, x2의 값이 서로 다른 경우 y가 1로 출력된다. > 다층..

선형성*이라는 기본 가정이 충족된 상태에서 독립변수과 종속변수의 관계를 설명하거나 예측하는 통계방법 회귀분석*에서 독립변수에 따라 종속변수의 값이 일정한 패턴으로 변해사는데, 이러한 변수간의 관계를 나타내는 회귀선이 직선에 가깝게 나타나는 경우 *선형성 : 시간의 흐름에 따라 데이터가 선으로 연결됨 *회귀 : 다시 돌아간다 / 영국의 우생학자 골턴(galton)이 처음 회귀분석을 사용, 부모자식간 키의 유전적 관계 단순 선형 회귀 분석 : 독립변수가 하나인 경우 H(x) = Wx + b x : 독립변수 y : 종속변수 W : 직선의 기울기 (가중치 : weight) b : y절편 (bias) 경사 하강법 : 기울기를 잘 이용해 함수의 최소값을 찾는것 > 손실함수(loss function) = 비용함수(c..

확률 기반 머신러닝 분류 알고리즘 데이터를 나이브(단순)하게 독립적인 사건으로 가정하고 베이즈 이론에 대입시켜 가장 높은 확률의 레이블로 분류를 실행하는 알고리즘 P(레이블 | 데이터 특징) = P(데이터 특징 | 레이블) * P(레이블) / P(데이터 특징) 어떤 데이터가 있을 때 그에 해당하는 레이블은 기존 데이터의 특징 및 레이블의 확률을 사용해 구할 수 있음 > 나이브 베이즈 예시 치킨집에서 저녁에 손님이 오는 경우 맥주를 주문할지 안할지 예측 시간 맥주 오전 주문 X 오전 주문 X 점심 주문 O 점심 주문 X 점심 주문 X 저녁 주문 O 저녁 주문 O 저녁 주문 O 저녁 주문 X 저녁 주문 X 나이브 베이즈 공식 이용 P(주문 | 저녁) = P(저녁 | 주문) * P(주문) / P(저녁) = (..

데이터 분류 및 회귀에 사용되는 지도학습 알고리즘 데이터의 특징 속에서 분류에 큰 영향을 끼치는 특징을 발견하고 상위 노드로 선택하는 알고리즘 (스무고개와 비슷) 영향력이 큰 특징을 상위노드로, 영향력이 작은 특징은 하위 노드로 선택 데이터의 영향역의 크고 작음을 비교하기 위해 수치 필요 엔트로피 : 정보 이론적으로 불확실성을 수치로 표현한 값 정도 이득 : 불확실성이 줄어 든 정도 (기존 엔트로피 - 질문 이후의 엔트로피) 가장 효율적인 첫번째 질문을 하는것이 중요해서 효율적인 질문인지를 확인하기 위해 엔트로피를 계산하여 비교 > 한 가지 특징에 대한 엔트로피 계산 공식이 있는데 계산식의 흐름을 보자면 대충 아래와 같다. 엔트로피 = (선택된 특징 / 전체 데이터) * (원하는결과값 / 선택된 특징) ..

사용하기 편하면서 높은 정확도를 보이는 데이터 분류를 위한 지도학습 머신러닝 알고리즘 결정 경계 : 서로 다른 분류 값을 결정하는 경계선 (분류선, 기준선) / 피쳐의개수 - 1 차원 세포트 벡터 : 결정 경계선과 가장 가까이 맞닿은 데이터 포인트 마진 : 서포트 벡터과 결정 경계 사이의 거리 svm의 목표는 마진을 최대로 하는 결정 경계를 찾는것 > 커널트릭 저차원에서 결정경계를 찾지 못할 때 고차원으로 데이터를 옮겨서 결정 경계를 찾는 방법 저차원의 데이터를 고차원의 데이터로 옮겨주는 매핑함수를 이용해 결정 경계선 탐색 매핑함수를 이용해 너무 많은 양의 데이터를 저차원에서 고차원으로 옮기기엔 계산량이 많아서 현실적으로 사용하기가 어려워 실제로 고차원으로 데이터를 보내진 않지만 고차원으로 보낸것과 동일..

지도학습과 비지도학습의 차이 답을 알려주고 학습을 시키느냐(지도학습) 답과 특징을 알려주지 않고 학습을 시키느냐(비지도학습) k-최근접 이웃 (k-Nearest Neighbor, kNN) > 특징 대표적인 지도학습 알고리즘 특정 공간 내에서 입력과 제일 근접한 K개의 요소를 찾아 더 많이 일치하는 것으로 분류하는 알고리즘 유사한 특성을 가진 데이터들끼리는 거리가 가깝다고 가정하여 거리 공식을 사용해 가까운 데이터 탐색 k값 변경 가능 > 예시 k = 1 기준 데이터로부터 가장 가까이에 있는 데이터 ex) 나는 무슨색인가? 나와 가장 가까이에 있는 데이터가 파란색이면 나도 파란색 k = 3 기준 데이터로부터 가장 가까이에 있는 데이터 3개 ex) 나는 무슨색인가? 나와 가장 가까이에 있는 데이터 3개 중 ..