데이터 분석에서 분류 알고리즘은 True/False로 결과를 나타내거나 카테고리로 나누는 경우 사용할 수 있다. 이미 알고있는 데이터의 레이블값을 통해 새로운 데이터가 어떤것으로 분류되는지 예측하는것이라고 할 수 있다. 분류 알고리즘 종류 나이브 베이즈 로지스틱 회귀 결정 트리 최소 근접 알고리즘(kNN) 서포트 벡터 머신(SVM) 신경망 앙상블 이 포스팅에서는 결정트리, 앙상블에 대해서만 다루려고 한다. 결정트리 가장 직관적인 알고리즘으로 가장 효율적인 규칙을 찾아 분류하는 알고리즘이다. 결정트리는 루트노드, 규칙노드, 리프노드로 이루어져 있고, 가능한 적은 규칙노드로 높은 예측 정확도를 가지는 것이 목표다. 아래는 예시를 들어봤다. 루트노드에 사과, 초콜릿, 바구니, 손수건이라는 데이터가 있고 이 데..

신경망학습은 데이터로부터 매개변수의 값을 정하는 방법 손실함수는 신경망이 학습할 수 있도록 해주는 지표로 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는게 중요함 - 훈련 데이터 : 훈련 데이터만 사용하여 학습하면서 최적의 매개변수 탐색 - 시험 데이터 : 앞서 훈련한 모델의 실력 평가 - 훈련, 시험 데이터 분리 이유 : 범용적으로 사용할 수 있는 모델 구현을 위해 - 오버피팅 : 한 데이터 셋에만 지나치게 최적화된 상태 > 신경망 특징 데이터를 보고 학습 가능 = 가중치 매개면수 값을 데이터를 보고 자동 결정한다 사람의 개입을 최소화하고 수집한 데이터로부터 답과 패턴을 찾으려는 시도 신경망은 기존 기계학습보다 사람의 개입을 더 배제할 수 있게함 > 미니배치 학습 (mini-batch) 모..

신경망은 1949년에 시작되어 퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘 신경망(딥러닝)의 기원이 되는 알고리즘 퍼셉트론 perceptron : 인공 뉴런 다수의 신호를 입력 받아 하나의 신호 출력 신호 : 전류나 강물처럼 흐름이 있는 것을 상상 퍼셉트론 신호도 흐름을 만들고 정보를 앞으로 전달 퍼셉트론 신호는 흐른다(1), 안흐른다(0)의 두가지 값으로 표현 > AND 게이트 x1, x2모두 1로 입력되어야 y가 1로 출력된다. > NAND 게이트 x1, x2의 값이 모두 0이거나 서로 다른 경우 y가 1로 출력된다. > OR 게이트 x1, x2의 값이 모두 1이거나 서로 다른 경우 y가 1로 출력된다. > XOR 게이트 x1, x2의 값이 서로 다른 경우 y가 1로 출력된다. > 다층..

선형성*이라는 기본 가정이 충족된 상태에서 독립변수과 종속변수의 관계를 설명하거나 예측하는 통계방법 회귀분석*에서 독립변수에 따라 종속변수의 값이 일정한 패턴으로 변해사는데, 이러한 변수간의 관계를 나타내는 회귀선이 직선에 가깝게 나타나는 경우 *선형성 : 시간의 흐름에 따라 데이터가 선으로 연결됨 *회귀 : 다시 돌아간다 / 영국의 우생학자 골턴(galton)이 처음 회귀분석을 사용, 부모자식간 키의 유전적 관계 단순 선형 회귀 분석 : 독립변수가 하나인 경우 H(x) = Wx + b x : 독립변수 y : 종속변수 W : 직선의 기울기 (가중치 : weight) b : y절편 (bias) 경사 하강법 : 기울기를 잘 이용해 함수의 최소값을 찾는것 > 손실함수(loss function) = 비용함수(c..

확률 기반 머신러닝 분류 알고리즘 데이터를 나이브(단순)하게 독립적인 사건으로 가정하고 베이즈 이론에 대입시켜 가장 높은 확률의 레이블로 분류를 실행하는 알고리즘 P(레이블 | 데이터 특징) = P(데이터 특징 | 레이블) * P(레이블) / P(데이터 특징) 어떤 데이터가 있을 때 그에 해당하는 레이블은 기존 데이터의 특징 및 레이블의 확률을 사용해 구할 수 있음 > 나이브 베이즈 예시 치킨집에서 저녁에 손님이 오는 경우 맥주를 주문할지 안할지 예측 시간 맥주 오전 주문 X 오전 주문 X 점심 주문 O 점심 주문 X 점심 주문 X 저녁 주문 O 저녁 주문 O 저녁 주문 O 저녁 주문 X 저녁 주문 X 나이브 베이즈 공식 이용 P(주문 | 저녁) = P(저녁 | 주문) * P(주문) / P(저녁) = (..

데이터 분류 및 회귀에 사용되는 지도학습 알고리즘 데이터의 특징 속에서 분류에 큰 영향을 끼치는 특징을 발견하고 상위 노드로 선택하는 알고리즘 (스무고개와 비슷) 영향력이 큰 특징을 상위노드로, 영향력이 작은 특징은 하위 노드로 선택 데이터의 영향역의 크고 작음을 비교하기 위해 수치 필요 엔트로피 : 정보 이론적으로 불확실성을 수치로 표현한 값 정도 이득 : 불확실성이 줄어 든 정도 (기존 엔트로피 - 질문 이후의 엔트로피) 가장 효율적인 첫번째 질문을 하는것이 중요해서 효율적인 질문인지를 확인하기 위해 엔트로피를 계산하여 비교 > 한 가지 특징에 대한 엔트로피 계산 공식이 있는데 계산식의 흐름을 보자면 대충 아래와 같다. 엔트로피 = (선택된 특징 / 전체 데이터) * (원하는결과값 / 선택된 특징) ..