로지스틱 회귀는 이름에는 회귀라고 붙어있지만 사실상 분류할 때 사용하는 모델이다. 분류와 회귀 알고리즘에 대해 알고싶다면 이전 포스팅을 참고하면 좋다. 2021.07.30 - [머신러닝] - 파이썬 머신러닝 04-3. 분류 알고리즘 (결정트리, 앙상블 보팅, 배깅) 2021.08.03 - [머신러닝] - 파이썬 머신러닝 04-4. 분류 알고리즘 (앙상블 부스팅) 2021.08.04 - [머신러닝] - 파이썬 머신러닝 05. 회귀 # 필요한 라이브러리 가져오기 및 버전확인 import numpy as np import matplotlib.pyplot as plt %matplotlib inline import tensorflow as tf tf.random.set_seed(777) # for reproduc..

단순회기분석을 텐서플로우로 구현해보는 코드다. 나는 쥬피터랩에서 코드를 구현했다. 나도 데이터분석을 시작한 지 얼마 되지 않기 때문에 최대한 자세히 설명하려고 한다. #필요한 라이브러리 가져오기 import tensorflow as tf import numpy as np 라이브러리는 우리라 코드를 작성할 때 필요한 함수식을 모아둔 곳이라고 생각하면 좋다. 각각의 명령어에 기능들이 포함되어있으니 자주 사용하는 numpy와 pandas에는 어떤 기능이 있는지 알아두면 좋다. import numpy as np import 라이브러리 이름 as 사용할 약자 라이브러리는 기본적으로 import를 통해 불러오고, as를 통해 약자를 정해준다. 코드에서 numpy라고 다 적어줘도 상관은 없지만 빠른 코딩을 위해 np..

심층 신경망은 무엇인가? 우리는 로지스틱 회귀를 매우 얕은 모델(1층 신경망)이라고 하고 은닉층이 2개 이상 있는 경우 상대적으로 깊은 신경망이 있다고 한다. 이것이 심층 신경망이다. 지난 몇년동안, 기계학습 커뮤니티의 인공지능이 얕은 모델로는 할 수 없는 학습을 심층 신경망으로 가능하게 하는 함수가 있다는 것을 발견했다. 하지만 얼마나 깊은 신경망을 사용해야 하는지 미리 정확하게 예측하기는 어렵다. 심층 신경망을 바로 사용하기 보다는 보통 로지스틱회귀를 먼저 시도하고 결과값이 별로이면 두개의 은닉층을 가진 모델을 사용한다. 개발 설정 과정에서 은닉층을 또 다른 파라미터로 생각하고 다양한 값을 시도해 검증데이터에서 평가한다. 심층 신경망 표기법 4층의 신경망을 예시로 표기법을 알아본다. L : 네트워크의..

신경망 여러개의 독립변수들의 경우의 수를 모두 고려하여 최종값을 도출하는 방법이다. 간단하게 설명하자면 로지스틱 회귀를 두번 반복한것이 신경망이다. 아래는 각 값에 대한 함수식을 간단하게 표시한 것으로 특성인x, 변수인 w, b를 이용해 z를 계산하고 z를 통해 손실함수에 필요한 a값을 계산, 최종적으로는 손실함수 L을 계산한다. 신경망은 아래와같이 여러 단계에 걸쳐 나타날 수 있고, 각 단계마다 위의 식을 반복하여 z값과 a값을 구하고 마지막 단계에서 손실함수 L을 계산한다. 로지스틱회귀에서는 위 식을 한번만 계산했지만 신경망에서는 여러번 계산한다. 신경망에서 도함수를 구하려면 로지스틱회귀에서 역방향 계산을 한 것 처럼 신경망에서도 역방향 계산을 통해 도함수를 구할 수 있다. 신경망 네트워크의 구성 입..

IT쪽으로 진로를 틀어야겠다고 생각한 이후 어떤 직군이 있는지 알아보았는데 생각보다 IT직군이 많아서 입사지원을 할 때 까지 직군별 차이점을 알기 힘들었다. 그나마 잘 구분할 수 있는 직군이 프론트엔드, 백엔드였는데 나는 데이터분석을 희망했고, 빅데이터쪽에서는 직군을 구분하는 기준을 명확하게 알려주는 사람이 없어서 입사지원을 하면서도 내가 원하는 직무에 잘 지원하고 있는지 의심스러웠다. IT 직군은 크게 개발, 데이터분석, 보안으로 나눌 수 있다. 현재 가장 수요가 많고 비전공자들이 가장 많이 도전하는 부분은 개발직군이다. 보안의 경우 각 학교의 정보보호학과 전공자들이나 컴공전공 중에서 정보보호, 정보처리쪽으로 공부한 사람들이 많이 가기 때문에 비전공자들이 준비해서 가는 경우는 많이 못봤다. (내 경험이..

경사하강법 앤드류응 머신러닝 한글자막 - 경사하강법 경사하강법을 통해 비용함수의 매개변수 w와 b를 훈련세트에 학습시키는 방법을 알아본다. 비용함수 J(w, b) = 손실함수들의 평균 = 손실함수들의합 / 손실함수의 갯수 손실함수 = 각 훈련샘플에 대한 참값과 예측값을 비교하는 함수 비용함수가 훈련세트를 잘 예측하는지 측정하려면 비용함수의 최솟값을 만드는 매개변수 w와 b를 찾아야 한다. 이차함수에서 최솟값을 찾는것과 같은 수학적 원리를 가진다. 따라서 비용함수는 항상 볼록한 형태의 이차함수여야 한다. 비용함수의 그래프에서 임의의 점 하나를 골라서 경사하강법을 시작한다. 시작점에서 가장 기울기가 큰 방향으로 점이 이동하면서 결국에는 기울기가 0이 되는 지점을 찾는다. 점이 이동할 때 마다 w와b의 값이 ..

머신러닝, 딥러닝의 대가 앤드류 응 교수님의 강의는 총 3곳에서 들을 수 있다. 일단 앤드류 응 교수님은 홍콩계 미국인이라 한국어 강의는 없고 자막이 있는것도 찾기 힘들다. 유튜브는 가장 접근성이 좋다는 장점이 있다. 코세라는 7일간 무료로 강의를 들을 수 있고, 모든 강의를 수료하면 수료증을 받을 수 있다. 네이버 에드위드 부스트코스에 있는 강의는 코세라 강의와 동일하면서도 자막이 있고 네이버 아이디가 있다면 무료로 강의를 들을 수 있다. 그래서 나는 네이버 아이디로 부스트 코스에 있는 강의를 듣기로 했다. 1. 유튜브 - https://youtube.com/playlist?list=PLLssT5z_DsK-h9vYZkQkYNWcItqhlRJLN Machine Learning — Andrew Ng, St..

회귀 알고리즘을 하나하나 자세히 공부하기 보기보다는 큰 틀에서 어떤 종류의 알고리즘이 있고, 어떤 특징이 있는지 대략적으로 공부하고자 작성했다. 회귀 알고리즘? 여러 개의 독립변수과 한 개의 종속변수 간의 상관관계를 모델링하는 기법 독립변수 : 영향을 미치는 요소 종속변수 : 영향을 받는 요소 독립변수 개수 회귀계수의 결합 1개 : 단일 회귀 회귀계수가 선형 : 선형회귀 여러개 : 다중 회귀 회귀계수가 비선형 : 비선형회귀 회귀 알고리즘의 종류 - 선형회귀 : 실제 값과 예측 값의 차이를 최소화하는 직선형 회귀선을 최적화하는 방식 일반 선형회귀 릿지(L2 규제) 라쏘(L1 규제, 피쳐 선택 기능) 엘라스틱넷(릿지+라쏘) - 로지스틱 회귀 - 회귀 트리 단순 선형 회귀 하나의 특징(독립변수)을 가지고 라벨..