확률 기반 머신러닝 분류 알고리즘 데이터를 나이브(단순)하게 독립적인 사건으로 가정하고 베이즈 이론에 대입시켜 가장 높은 확률의 레이블로 분류를 실행하는 알고리즘 P(레이블 | 데이터 특징) = P(데이터 특징 | 레이블) * P(레이블) / P(데이터 특징) 어떤 데이터가 있을 때 그에 해당하는 레이블은 기존 데이터의 특징 및 레이블의 확률을 사용해 구할 수 있음 > 나이브 베이즈 예시 치킨집에서 저녁에 손님이 오는 경우 맥주를 주문할지 안할지 예측 시간 맥주 오전 주문 X 오전 주문 X 점심 주문 O 점심 주문 X 점심 주문 X 저녁 주문 O 저녁 주문 O 저녁 주문 O 저녁 주문 X 저녁 주문 X 나이브 베이즈 공식 이용 P(주문 | 저녁) = P(저녁 | 주문) * P(주문) / P(저녁) = (..

데이터 분류 및 회귀에 사용되는 지도학습 알고리즘 데이터의 특징 속에서 분류에 큰 영향을 끼치는 특징을 발견하고 상위 노드로 선택하는 알고리즘 (스무고개와 비슷) 영향력이 큰 특징을 상위노드로, 영향력이 작은 특징은 하위 노드로 선택 데이터의 영향역의 크고 작음을 비교하기 위해 수치 필요 엔트로피 : 정보 이론적으로 불확실성을 수치로 표현한 값 정도 이득 : 불확실성이 줄어 든 정도 (기존 엔트로피 - 질문 이후의 엔트로피) 가장 효율적인 첫번째 질문을 하는것이 중요해서 효율적인 질문인지를 확인하기 위해 엔트로피를 계산하여 비교 > 한 가지 특징에 대한 엔트로피 계산 공식이 있는데 계산식의 흐름을 보자면 대충 아래와 같다. 엔트로피 = (선택된 특징 / 전체 데이터) * (원하는결과값 / 선택된 특징) ..

사용하기 편하면서 높은 정확도를 보이는 데이터 분류를 위한 지도학습 머신러닝 알고리즘 결정 경계 : 서로 다른 분류 값을 결정하는 경계선 (분류선, 기준선) / 피쳐의개수 - 1 차원 세포트 벡터 : 결정 경계선과 가장 가까이 맞닿은 데이터 포인트 마진 : 서포트 벡터과 결정 경계 사이의 거리 svm의 목표는 마진을 최대로 하는 결정 경계를 찾는것 > 커널트릭 저차원에서 결정경계를 찾지 못할 때 고차원으로 데이터를 옮겨서 결정 경계를 찾는 방법 저차원의 데이터를 고차원의 데이터로 옮겨주는 매핑함수를 이용해 결정 경계선 탐색 매핑함수를 이용해 너무 많은 양의 데이터를 저차원에서 고차원으로 옮기기엔 계산량이 많아서 현실적으로 사용하기가 어려워 실제로 고차원으로 데이터를 보내진 않지만 고차원으로 보낸것과 동일..

지도학습과 비지도학습의 차이 답을 알려주고 학습을 시키느냐(지도학습) 답과 특징을 알려주지 않고 학습을 시키느냐(비지도학습) k-최근접 이웃 (k-Nearest Neighbor, kNN) > 특징 대표적인 지도학습 알고리즘 특정 공간 내에서 입력과 제일 근접한 K개의 요소를 찾아 더 많이 일치하는 것으로 분류하는 알고리즘 유사한 특성을 가진 데이터들끼리는 거리가 가깝다고 가정하여 거리 공식을 사용해 가까운 데이터 탐색 k값 변경 가능 > 예시 k = 1 기준 데이터로부터 가장 가까이에 있는 데이터 ex) 나는 무슨색인가? 나와 가장 가까이에 있는 데이터가 파란색이면 나도 파란색 k = 3 기준 데이터로부터 가장 가까이에 있는 데이터 3개 ex) 나는 무슨색인가? 나와 가장 가까이에 있는 데이터 3개 중 ..