지난 포스팅에 이어 원서접수 후기를 작성한다. 데이터 사이언티스트 직장인 대학원 준비하기 (성균관대학교 일반대학원 데이터사이언스융합학과) 데이터 사이언티스트 직장인 대학원 준비하기 (성균관대학교 일반대학원 데이터사이언스융합학 나는 비전공자로 국비지원 교육을 통해 현재 주니어 데이터사이언티스로 일한지 9개월차다. 빅데이터에 몸을 담은지는 1년이 지났다고 할 수 있다. 주변에서 대학원 가는게 장기적으로 이득이 magicode.tistory.com 오랜만에 자기소개서(학업계획서)를 쓰려고하니 어떻게 써야할지 감이 오지도 않았고 차일피일 작성을 미루고 있었다... 더는 미룰 수 없다는 생각에 학업계획서를 작성하기로 했다! 학업계획서를 쓸 때 가장 필요한것은 학과 홈페이지다. 그곳에서 교수님 정보, 커리큘럼, 연..
1. yolov4.yaml 생성 yolov4.yaml 경로 : yolov5/models https://github.com/Lornatang/YOLOv4-PyTorch/tree/048cb8c23a4dacadffd3db53f25aa7f4660087cf GitHub - Lornatang/YOLOv4-PyTorch: Pytorch implements yolov4.Good performance, easy to use, fast speed. Pytorch implements yolov4.Good performance, easy to use, fast speed. - GitHub - Lornatang/YOLOv4-PyTorch: Pytorch implements yolov4.Good performance, easy ..
나는 비전공자로 국비지원 교육을 통해 현재 주니어 데이터사이언티스로 일한지 9개월차다. 빅데이터에 몸을 담은지는 1년이 지났다고 할 수 있다. 주변에서 대학원 가는게 장기적으로 이득이 될거라는 이야기를 듣고 직장인이 다니기 좋은 대학원을 찾아보았다. 원래는 갈 생각이 없었는데 찾다보니 내 상황 상 대학원을 진학해도 좋고 안해도 좋은 느낌이라 일단 지원해보기로 했다. 왜 대학원에 진학하는가? 비전공자로서 관련 지식 및 인맥이 너무 없다고 느끼기 때문 업무를 하면서 배워도 좋지만 더 빠르게 성장하기 위한 발판이 필요하다고 느낌 무엇을 공부하고 싶은가? 국비교육으로는 기초 기술을 익히는데 급급했다면 대학원에서 알고싶은 것들은 1. 좀 더 정리된 이론들 2. 다른 사람들은 어떻게 공부하나 3. 미래에 나는 어떠..
#object_detection #image_labeling #polygon #CVAT #json #bbox #bounding_box_visualization #bbox_label_visualization > how to make bounding box(bbox) and polygon with CVAT? > how to visualized bbox and polygon? 컴퓨터비전의 아주 기초단계에는 이미지 라벨징 구축이 있다. 대부분 라벨링을 하고 학습을 시키기 때문에 시각화를 하는건 옵션사항일 수도 있는데, 컴퓨터비전을 처음 배우는 나로써는 하나씩 모든 것을 다 경험해보고 싶은 마음이다. 목표 1. 이미지에 직접 라벨링, 폴리곤을 만들기 2. bbox 예측을 포함한 시각화 1. 이미지 준비 일단은 실..
아래 명령어가 안되는 분들 pip install pycocotools conda install pycocotools pip install git+https://github.com/waleedka/cocoapi/git conda install -c conda-forge pycocotools 나는 이거 하니까 바로 깔렸다. from pycocotools.coco import COCO 실행해보면 잘 import 해오는걸 볼 수 있다.
Data Management 필요성 Raw Data를 처리하면서 다양한 시도들로 인해 Data의 버전이 많이 발생한다. 다양한 시도들을 하다보면 어떤 버전의 데이터를 사용해서 어떤 결과가 나왔는지 매칭하거나 관리하기 힘들어진다. 이를 관리하기 위하여 대부분의 사람들이 Git을 이용한다. 하지만 Git은 파일 크기에 제한이 있기 때문에 대용량 데이터를 관리하기에는 적합하지 않다. 대용량 데이터를 이용한 소스코드와 데이터를 같이 관리하기 위해서 DVC, Pachyderm, Delta Lake, Dolt 등의 툴이 생겼다. DVC Data Version Control의 약자다. 대부분의 스토리지와 호환 가능 (amazon s3, google drive...) 대부분의 git 호스팅 서버와 연동 가능 (GitH..
쿠버네티스 안내서와 패스트캠퍼스 강의를 보고 작성한 포스팅입니다. Pod는 자체 IP를 가지고있고 클러스터 내부에서는 Pod IP를 통해 통신하고 접근할 수 있지만 두가지 단점이 있다. 첫번째로는 Pod가 쉽게 사라지고 생성되는 특징 때문에 직접 통신하고자 하는 Pod를 찾이 어렵다. 두번째로는 클러스터 외부에서 Pod에 접근할 수 없다는 점이다. 쿠버네티스는 Pod과 직접 통신하는 방법 대신 별도의 고정된 IP를 가진 "서비스"를 만들고 이 서비스를 통해 Pod에 접근하는 방식을 사용한다. 서비스는 노출 범위에 따라 CluterIP, NodePort, LoadBalancer 이렇게 3가지로 구분할 수 있다. 서비스 생성에 앞서서 디플로이먼트가 있어야하기 때문에 이전에 만들어두었던 파일을 통해 서비스 만..
시작하기 전 확인사항 GPU 연결 완료 (내가 사용하는 gpu 는 linux, 사용하는 노트북은 Mac) Anaconda 설치 완료 CUDA 설치 완료 1. 가상환경 만들기 아나콘다를 설치하면 기본적으로 base라는 가상환경이 생긴다. 가상환경은 프로젝트마다 사용하는 라이브러리, 버전 등이 다르기 때문에 가능하면 base보다는 따로 만들어서 프로젝트를 실행하는 것을 추천한다. 먼저, gpu와 연결이 되어있다면 터미널을 열었을 때 (base)로 시작하는지 보고, 첫번째 명령어로 내 아나콘다에는 어떤 가상환경이 있는지 확인한다. # 가상환경 리스트 conda env list 아나콘다를 설치하고 처음 하용하는 것이라면 base 하나만 있는것이 정상이다. 이제 프로젝트에 사용할 가상환경을 만들어준다. # 가상환..
쿠버네티스 안내서와 패스트캠퍼스 강의를 보고 작성한 포스팅입니다. 쿠버네티스의 구조를 다시 한 번 살펴보자면 아래와 같이 컨테이너 < Pod < ReplicaSet < Deployment < Service 순서대로 각각을 감싸고 있다. 이번 실습에서는 Deployment를 생성하고 그 내부에 있는 ReplicaSet이나 Pod를 수정해본다. Deployment 만들기 이제는 별다른 설명 없이 코드만 봐도 어떤 느낌인지 감이 오기 시작했다. # 1. 도커실행 # 2. minikube 시작 minikube start cd Desktop/kube # 3. Deployment 생성 vi echo-dep.yml apiVersion: apps/v1 kind: Deployment metadata:# Deploymen..
쿠버네티스 안내서를 보고 작성한 포스팅입니다. Pod을 단독으로 만들면 Pod에 어떤 문제(서버가 죽어서 Pod이 사라졌다던가)가 생겼을 때 자동으로 복구되지 않는다. 이러한 Pod을 정해진 수만큼 복제하고 관리하는 것이 ReplicaSet이다. 이전 실습에서 pod와 minikube를 모두 삭제했기 때문에 실습환경을 다시 시작한다. # 1. 도커실행 # 2. 디렉토리 이동 cd Desktop/kube # 3. 미니큐브 실행 minikube start 이전에는 pod만 만들었다면 이번에는 replica set를 만들어보려고 한다. 컨테이너 하나 또는 두개 이상 포함하던게 pod이라면 이런 pod를 하나 또는 여러개 관리하는게 replica set이다. replica set은 spec: 부분에 replic..