이전에 학원에서 데이터 분석을 배울 때 포스팅했던 프로젝트 주제 회의 글이 있는데 이제는 어엇한 새내기 데이터분석가로 좀 더 의미있고 해볼만한 데이터 분석 주제를 가져와봤다. 프로젝트 회의하는 과정이 보고싶다면 아래 글을 참고하면 된다. [빅데이터 프로젝트] - 빅데이터 프로젝트 1. 주제 선정 회의 빅데이터 프로젝트 1. 주제 선정 회의 팀 프로젝트의 목표 1. 배운 기술 모두 활용 2. 마감시간에 촉박하지 않게 효율적, 가성비 있게 진행 3. 컴팩트하게! 4. 포트폴리오로 썼을 때 기업에서 솔깃해 할 만한 주제 선정 기업이 알고는 있 magicode.tistory.com 데이터세트 구하기 학생때 머신러닝프로젝트를 하면서 가장 어려움을 겪는 부분은 주어지는 공공데이터가 매우 제한적이라는 점이다. 공공데..

소프트맥스 우리는 무언가를 분류할 때 맞다 아니다(True/False)만 분류하는 것이 아니라 상, 중, 하로 분류하기도 하고 동물의 사진을 보고 강아지, 고양이, 토끼, 앵무새 등으로 분류하기도 한다. 그렇게 클래스가 여러개인 경우에도 0~1로 표현해주는 시그모이드 함수를 이용해 클래스를 분류하도록 하는 메소드가 소프트맥스다. 예를 들어 동물들의 사진을 두고 예측해보라고 했을 때 소프트맥스는 해당 동물이 강아지일 확률 0.7, 고양이일 확률 0.2, 토끼일 확률 0.1로 표현하여 모든 값을 더했을 때 1이 되도록 값을 출력해준다. 소프트맥스로 확률값을 구한 이후에 '원-핫인코딩'을 이용해서 제일 큰 값을 1로 나머지 값은 0으로 변환한다. 결론적으로 이 동물은 강아지라고 결정하게된다. # 필요한 라이브..

로지스틱 회귀는 이름에는 회귀라고 붙어있지만 사실상 분류할 때 사용하는 모델이다. 분류와 회귀 알고리즘에 대해 알고싶다면 이전 포스팅을 참고하면 좋다. 2021.07.30 - [머신러닝] - 파이썬 머신러닝 04-3. 분류 알고리즘 (결정트리, 앙상블 보팅, 배깅) 2021.08.03 - [머신러닝] - 파이썬 머신러닝 04-4. 분류 알고리즘 (앙상블 부스팅) 2021.08.04 - [머신러닝] - 파이썬 머신러닝 05. 회귀 # 필요한 라이브러리 가져오기 및 버전확인 import numpy as np import matplotlib.pyplot as plt %matplotlib inline import tensorflow as tf tf.random.set_seed(777) # for reproduc..

단순회기분석을 텐서플로우로 구현해보는 코드다. 나는 쥬피터랩에서 코드를 구현했다. 나도 데이터분석을 시작한 지 얼마 되지 않기 때문에 최대한 자세히 설명하려고 한다. #필요한 라이브러리 가져오기 import tensorflow as tf import numpy as np 라이브러리는 우리라 코드를 작성할 때 필요한 함수식을 모아둔 곳이라고 생각하면 좋다. 각각의 명령어에 기능들이 포함되어있으니 자주 사용하는 numpy와 pandas에는 어떤 기능이 있는지 알아두면 좋다. import numpy as np import 라이브러리 이름 as 사용할 약자 라이브러리는 기본적으로 import를 통해 불러오고, as를 통해 약자를 정해준다. 코드에서 numpy라고 다 적어줘도 상관은 없지만 빠른 코딩을 위해 np..

데이터분석 프로젝트를 진행하게 되면서 특허를 활용하게 되었고, 특허는 수치형 자료가 많이 없기때문에 예측분석이나 머신러닝, 딥러닝을 사용하기 어려운 주제였다. 데이터분석에서 가장 중요한 누구에게 어떤 분석을 해주느냐를 고민했고, 주제선정에 오랜 시간이 결렸다. 국비과정 수업을 듣는 사람들은 대부분 취준생이고 비전공자도 많았기 때문에 우리의 데이터분석은 처음부터 빅데이터쪽 취준생(+비전공자)를 위한 분석이되었고, 이들에게 빅데이터 관련 회사를 추천해주는것이 분석의 목표였다. 팀원들의 동의를 받지 않았기에 코드는 따로 올리지 않고 분석 결과만 간략하게 소개하려고 한다. 먼저 유의미한 회사를 찾기 위해 빅데이터 관련 특허를 보유하고 있는 회사를 추천하기로 했다. 최근 10년간 등록된 빅데이터 관련 특허를 분석..

1. 문제파악 어떤 데이터를 수집하고 분석하기 전에 문제파악과 해결의 방향성을 정한다. 실무에서 의뢰를 받는 경우라면 정해져있기 때문에 많이 고민되지 않는 부분이긴하지만 프로젝트를 진행할 때는 이 부분부터 정해야 분석의 방향을 정할 수 있다. 하지만 실제로를 그렇게 안됨.... 구할 수 있는 데이터부터 구하고 그 데이터로 어떤 분석이 가능한가에 맞춰 문제해결을 찾으려고 순서로 진행되는 편인것 같다. > 예시 의뢰가 들어오는 경우 : 정부에서 지하철역을 새로 만들고자 하는 경우 최적의 지하철역 위치를 찾아주세요 회사 자체적으로 문제파악을 하는 경우 : 우리 회사 계열사인 제약회사의 판매량을 늘리기 위한 유의미한 분석을 해봐라 프로젝트를 하는 경우 : 누구의 입장에서 무엇이 문제이고 원하는 이익은 무엇인가를..

팀 프로젝트의 목표 1. 배운 기술 모두 활용 2. 마감시간에 촉박하지 않게 효율적, 가성비 있게 진행 3. 컴팩트하게! 4. 포트폴리오로 썼을 때 기업에서 솔깃해 할 만한 주제 선정 기업이 알고는 있는데 안해본거 : 데이터는 있지만 결과물이 없는 경우 팀 프로젝트 주제 크롤링을 사용해서 주제를 선정하고 공공데이터를 이용하자 주제부터 정하지 말고 데이터셋과 칼럼을 확인해보고 주제 정하기 1. 어린이집 공기질 분석을 통한 공기청정기 효율 분석 2. 교통상황에 따른 휴게소 입지 선정 3. 티머니 정보를 이용한 인구 유동 확인을 통해 광고 입지 선정 or 상가 입점 선정 4. 특허 데이터 이용 미래 기술 예측 or 마케팅 예측 5. 공공데이터 주제를 가지고 특허랑 연결시켜 현실적 상황 매칭(?) 6. 과거 데..