CNN은 높은 정확도를 가지고 있음 자연어를 이용해서 정확도를 더 높이려는 시도중 > 완전 연결 계층의 문제점 데이터의 형상 무시 입력 데이터가 이미지인 경우, 이미지는 3차원으로 구성된 데이터지만 1차원으로 평탄화 필요 MNIST 데이터셋(1채널, 가로 28 세로 28 픽셀) 형상을 무시하고 모든 입력 데이터를 동등한 뉴런으로 취급하여 형상에 담긴 정보를 살릴 수 없음 > 합성곱 계층의 특징 입력 데이터의 형상 유지 이미지도 3차원 데이터로 입력 받으며 다음 계층에도 3차원 데이터로 전달 형상을 가진 데이터를 제대로 이해할 가능성이 큼 CNN에서 합성곱 계층의 입출력 데이터를 특징 맵이라고 함 > 합성곱 연산 - 입력 데이터에 필터를 적용 합성곱 연산을 * 기호로 표기 이미지 처리에서 말하는 필터 연산..
신경망학습은 데이터로부터 매개변수의 값을 정하는 방법 손실함수는 신경망이 학습할 수 있도록 해주는 지표로 손실함수의 결과값을 가장 작게 만드는 가중치 매개변수를 찾는게 중요함 - 훈련 데이터 : 훈련 데이터만 사용하여 학습하면서 최적의 매개변수 탐색 - 시험 데이터 : 앞서 훈련한 모델의 실력 평가 - 훈련, 시험 데이터 분리 이유 : 범용적으로 사용할 수 있는 모델 구현을 위해 - 오버피팅 : 한 데이터 셋에만 지나치게 최적화된 상태 > 신경망 특징 데이터를 보고 학습 가능 = 가중치 매개면수 값을 데이터를 보고 자동 결정한다 사람의 개입을 최소화하고 수집한 데이터로부터 답과 패턴을 찾으려는 시도 신경망은 기존 기계학습보다 사람의 개입을 더 배제할 수 있게함 > 미니배치 학습 (mini-batch) 모..
간단하게는 입력층(0층) 은닉층(1층) 출력층(2층)으로 이루어져있다. 기존 함수에 Bias(편향)을 명시한 퍼셉트론을 포함 > 활성화함수 활성화함수는 편향값을 포함한 입력신호의 총합을 출력신호로 변환하는 함수 - 계단함수 단순 활성화함수는 주로 계단함수로 표현된다. 0의 값을 기준으로 봤을때 0보다크면 1, 0보다 작으면 0으로 정의되어있는 계단모양의 함수 - 시그모이드 함수 신경망에서 자주 이용하는 활성화함수 0과 1의 값이 아니라 연속적인 실수값을 반환해주는 함수 - 계단함수와 시그모이드 함수 비교 공통점 : 두 함수 모두 비선형함수 (신경망에서는 활성화함수로 비선형함수를 사용해야함) 차이점 : 계단함수는 0 or 1만 출력 / 시그모이드는 연속적인 실수값 출력 - ReLU함수 (Rectified ..
신경망은 1949년에 시작되어 퍼셉트론은 프랑크 로젠블라트가 1957년에 고안한 알고리즘 신경망(딥러닝)의 기원이 되는 알고리즘 퍼셉트론 perceptron : 인공 뉴런 다수의 신호를 입력 받아 하나의 신호 출력 신호 : 전류나 강물처럼 흐름이 있는 것을 상상 퍼셉트론 신호도 흐름을 만들고 정보를 앞으로 전달 퍼셉트론 신호는 흐른다(1), 안흐른다(0)의 두가지 값으로 표현 > AND 게이트 x1, x2모두 1로 입력되어야 y가 1로 출력된다. > NAND 게이트 x1, x2의 값이 모두 0이거나 서로 다른 경우 y가 1로 출력된다. > OR 게이트 x1, x2의 값이 모두 1이거나 서로 다른 경우 y가 1로 출력된다. > XOR 게이트 x1, x2의 값이 서로 다른 경우 y가 1로 출력된다. > 다층..
선형성*이라는 기본 가정이 충족된 상태에서 독립변수과 종속변수의 관계를 설명하거나 예측하는 통계방법 회귀분석*에서 독립변수에 따라 종속변수의 값이 일정한 패턴으로 변해사는데, 이러한 변수간의 관계를 나타내는 회귀선이 직선에 가깝게 나타나는 경우 *선형성 : 시간의 흐름에 따라 데이터가 선으로 연결됨 *회귀 : 다시 돌아간다 / 영국의 우생학자 골턴(galton)이 처음 회귀분석을 사용, 부모자식간 키의 유전적 관계 단순 선형 회귀 분석 : 독립변수가 하나인 경우 H(x) = Wx + b x : 독립변수 y : 종속변수 W : 직선의 기울기 (가중치 : weight) b : y절편 (bias) 경사 하강법 : 기울기를 잘 이용해 함수의 최소값을 찾는것 > 손실함수(loss function) = 비용함수(c..
확률 기반 머신러닝 분류 알고리즘 데이터를 나이브(단순)하게 독립적인 사건으로 가정하고 베이즈 이론에 대입시켜 가장 높은 확률의 레이블로 분류를 실행하는 알고리즘 P(레이블 | 데이터 특징) = P(데이터 특징 | 레이블) * P(레이블) / P(데이터 특징) 어떤 데이터가 있을 때 그에 해당하는 레이블은 기존 데이터의 특징 및 레이블의 확률을 사용해 구할 수 있음 > 나이브 베이즈 예시 치킨집에서 저녁에 손님이 오는 경우 맥주를 주문할지 안할지 예측 시간 맥주 오전 주문 X 오전 주문 X 점심 주문 O 점심 주문 X 점심 주문 X 저녁 주문 O 저녁 주문 O 저녁 주문 O 저녁 주문 X 저녁 주문 X 나이브 베이즈 공식 이용 P(주문 | 저녁) = P(저녁 | 주문) * P(주문) / P(저녁) = (..
데이터 분류 및 회귀에 사용되는 지도학습 알고리즘 데이터의 특징 속에서 분류에 큰 영향을 끼치는 특징을 발견하고 상위 노드로 선택하는 알고리즘 (스무고개와 비슷) 영향력이 큰 특징을 상위노드로, 영향력이 작은 특징은 하위 노드로 선택 데이터의 영향역의 크고 작음을 비교하기 위해 수치 필요 엔트로피 : 정보 이론적으로 불확실성을 수치로 표현한 값 정도 이득 : 불확실성이 줄어 든 정도 (기존 엔트로피 - 질문 이후의 엔트로피) 가장 효율적인 첫번째 질문을 하는것이 중요해서 효율적인 질문인지를 확인하기 위해 엔트로피를 계산하여 비교 > 한 가지 특징에 대한 엔트로피 계산 공식이 있는데 계산식의 흐름을 보자면 대충 아래와 같다. 엔트로피 = (선택된 특징 / 전체 데이터) * (원하는결과값 / 선택된 특징) ..
사용하기 편하면서 높은 정확도를 보이는 데이터 분류를 위한 지도학습 머신러닝 알고리즘 결정 경계 : 서로 다른 분류 값을 결정하는 경계선 (분류선, 기준선) / 피쳐의개수 - 1 차원 세포트 벡터 : 결정 경계선과 가장 가까이 맞닿은 데이터 포인트 마진 : 서포트 벡터과 결정 경계 사이의 거리 svm의 목표는 마진을 최대로 하는 결정 경계를 찾는것 > 커널트릭 저차원에서 결정경계를 찾지 못할 때 고차원으로 데이터를 옮겨서 결정 경계를 찾는 방법 저차원의 데이터를 고차원의 데이터로 옮겨주는 매핑함수를 이용해 결정 경계선 탐색 매핑함수를 이용해 너무 많은 양의 데이터를 저차원에서 고차원으로 옮기기엔 계산량이 많아서 현실적으로 사용하기가 어려워 실제로 고차원으로 데이터를 보내진 않지만 고차원으로 보낸것과 동일..