머신러닝 모델은 평가는 정확도, 정밀도, 재현율, f1, roc_auc와 같은 성능 평가 지표 사용 오차행렬 예측 Negative 예측 Positive 실제 Negative TN (True Negative) FP (False Positive) 실제 Positive FN (False Negative) TP (True Positive) 실제 값과 예측값 사이의 관계에 따라 4분행렬 기반으로 예측 성능 평가 정확도 = 예측 결과가 동일한 데이터 수 / 전체 데이터 수 = (TN + TP) / (TN + TP + FN + FP) 정밀도 = positive 예측 일치 / positive 예측 전체 = TP / (FP + TP) 재현율 = positive 예측 일치 / positive 실제값 전체 = TP / (F..

머신러닝 명확한 답이 주어진 학습 데이터 세트를 통해 학습 테스트 데이터 세트를 통해 미지의 정답을 예측 > 사이킷런 이용 - sklearn.datasets : 데이터세트 생성 모듈 - sklearn.tree : 트리 기반 ML알고리즘 구현한 클래스 모임 - sklearn.npdel_selection : 데이터분리, 최적의 *하이퍼 파라미터 평가위한 모듈 * 하이퍼 파라미터 : 최적의 학습을 위해 직접 입력하는 파라미터 통칭 머신러닝 개요 1. 데이터 불러오기 2. 데이터 분리 : 학습데이터, 테스트 데이터 3. 모델 학습 : 학습데이터 이용, 머신러닝알고리즘(ML알고리즘) 적용 (x_train, y_train) 4. 예측 수행 : 테스트 데이터로 결과값 예측 (x_test) 5. 평가 : 예측된 결과값..

numpy 선형대수 기반, 다차원 배열 가능 ndarray생성 - np.arange(start, stop, step) 변수1 = np.array([3, 2, 5, 1, 4]) > sort() np.sort(변수) -> 원본 행렬 변경하지 않음 변수.sort() -> 원본 행렬 변경함 > argsort() 데이터를 오름차순으로 정렬한 이후 인덱스 값을 반환 내림차순을 원하는 경우 [::-1] 작성 변수2 = np.argsort(변수1)[::-1] > reshape() ndarray를 특정 차원 및 크기로 변환해주는 함수 변수1 = np.array(10) >> [0 1 2 3 4 5 6 7 8 9] 변수2 = 변수1.reshape(2,5) >> [[0 1 2 3 4] [5 6 7 8 9]] 변수3 = 변수1..

데이터분석 프로젝트를 진행하게 되면서 특허를 활용하게 되었고, 특허는 수치형 자료가 많이 없기때문에 예측분석이나 머신러닝, 딥러닝을 사용하기 어려운 주제였다. 데이터분석에서 가장 중요한 누구에게 어떤 분석을 해주느냐를 고민했고, 주제선정에 오랜 시간이 결렸다. 국비과정 수업을 듣는 사람들은 대부분 취준생이고 비전공자도 많았기 때문에 우리의 데이터분석은 처음부터 빅데이터쪽 취준생(+비전공자)를 위한 분석이되었고, 이들에게 빅데이터 관련 회사를 추천해주는것이 분석의 목표였다. 팀원들의 동의를 받지 않았기에 코드는 따로 올리지 않고 분석 결과만 간략하게 소개하려고 한다. 먼저 유의미한 회사를 찾기 위해 빅데이터 관련 특허를 보유하고 있는 회사를 추천하기로 했다. 최근 10년간 등록된 빅데이터 관련 특허를 분석..

자바 배운지 3개월만에 코테를 본다는 것은 초등학생이 고등학생 수학문제를 푸는 수준이라고나 할까... 내가 코테를 위해서 자바를 공부한것도 아니였고 국비과정에서 홈페이지 만들기 프로젝트 경험만 있었기 때문에 문제풀이용 문법을 많이 모르는 상태였지만 일단 지원을 한 마이다스 아이티! 1차 서류접수 및 AI면접(기본) 서류접수와 동시에 20분짜리 AI면접을 본다. 뭐 여기까지는 나쁘지 않은 출발이었다. 2차 AI면접(심화) 마이다스 아이티에서 자체개발한건지는 모르겠지만 AI면접 심화과정을 한번 더 치룬다. 거의 90~100분동안 보는데 집중력도 흐트러지고 기빨려서 ai게임을 포기할까 했지만 나름 잘 했던 것 같다. 하나 배운 점이 있다면 체력이 좀 있는 초반에 면접을 먼저 끝내고 나를 알아보기를 마지막에 했..

1. 문제파악 어떤 데이터를 수집하고 분석하기 전에 문제파악과 해결의 방향성을 정한다. 실무에서 의뢰를 받는 경우라면 정해져있기 때문에 많이 고민되지 않는 부분이긴하지만 프로젝트를 진행할 때는 이 부분부터 정해야 분석의 방향을 정할 수 있다. 하지만 실제로를 그렇게 안됨.... 구할 수 있는 데이터부터 구하고 그 데이터로 어떤 분석이 가능한가에 맞춰 문제해결을 찾으려고 순서로 진행되는 편인것 같다. > 예시 의뢰가 들어오는 경우 : 정부에서 지하철역을 새로 만들고자 하는 경우 최적의 지하철역 위치를 찾아주세요 회사 자체적으로 문제파악을 하는 경우 : 우리 회사 계열사인 제약회사의 판매량을 늘리기 위한 유의미한 분석을 해봐라 프로젝트를 하는 경우 : 누구의 입장에서 무엇이 문제이고 원하는 이익은 무엇인가를..

팀 프로젝트의 목표 1. 배운 기술 모두 활용 2. 마감시간에 촉박하지 않게 효율적, 가성비 있게 진행 3. 컴팩트하게! 4. 포트폴리오로 썼을 때 기업에서 솔깃해 할 만한 주제 선정 기업이 알고는 있는데 안해본거 : 데이터는 있지만 결과물이 없는 경우 팀 프로젝트 주제 크롤링을 사용해서 주제를 선정하고 공공데이터를 이용하자 주제부터 정하지 말고 데이터셋과 칼럼을 확인해보고 주제 정하기 1. 어린이집 공기질 분석을 통한 공기청정기 효율 분석 2. 교통상황에 따른 휴게소 입지 선정 3. 티머니 정보를 이용한 인구 유동 확인을 통해 광고 입지 선정 or 상가 입점 선정 4. 특허 데이터 이용 미래 기술 예측 or 마케팅 예측 5. 공공데이터 주제를 가지고 특허랑 연결시켜 현실적 상황 매칭(?) 6. 과거 데..

순차적인 데이터를 입력 받아 결과값을 도출하는데 사용하는 딥러닝 모델 대표적으로 자연어 처리에 많이 사용 이전 입력 값들이 현재 입력 값의 출력값에 영향을 줌 google은 같은 단어인데 앞뒤 단어들에 따라 명사 또는 동사로 사용된다. work도 같은 단어지만 앞뒤 단어들에 따라 동사 또는 명사로 사용된다. 이런 경우 순차적인 입력으로 이전 입력값들에 의해 지금 출력값에 영향을 준다는 것을 알 수 있다. > 메모리 셀 타임 스텝에 걸쳐서 어떤 상태를 보존하는 신경망의 구성 요소 타임 스텝 t에서 순환 뉴런의 출력은 이전 타임 스텝의 모든 입력에 대한 함수이기 때문에 이를 일종의 메모리 형태라고 말할 수 있음 RNN에서 셀이라고 말할 때는 완전 연결 신경망에서 층(layer)을 의미 LSTM - 기존 RN..