아래 명령어가 안되는 분들 pip install pycocotools conda install pycocotools pip install git+https://github.com/waleedka/cocoapi/git conda install -c conda-forge pycocotools 나는 이거 하니까 바로 깔렸다. from pycocotools.coco import COCO 실행해보면 잘 import 해오는걸 볼 수 있다.
Data Management 필요성 Raw Data를 처리하면서 다양한 시도들로 인해 Data의 버전이 많이 발생한다. 다양한 시도들을 하다보면 어떤 버전의 데이터를 사용해서 어떤 결과가 나왔는지 매칭하거나 관리하기 힘들어진다. 이를 관리하기 위하여 대부분의 사람들이 Git을 이용한다. 하지만 Git은 파일 크기에 제한이 있기 때문에 대용량 데이터를 관리하기에는 적합하지 않다. 대용량 데이터를 이용한 소스코드와 데이터를 같이 관리하기 위해서 DVC, Pachyderm, Delta Lake, Dolt 등의 툴이 생겼다. DVC Data Version Control의 약자다. 대부분의 스토리지와 호환 가능 (amazon s3, google drive...) 대부분의 git 호스팅 서버와 연동 가능 (GitH..
쿠버네티스 안내서와 패스트캠퍼스 강의를 보고 작성한 포스팅입니다. Pod는 자체 IP를 가지고있고 클러스터 내부에서는 Pod IP를 통해 통신하고 접근할 수 있지만 두가지 단점이 있다. 첫번째로는 Pod가 쉽게 사라지고 생성되는 특징 때문에 직접 통신하고자 하는 Pod를 찾이 어렵다. 두번째로는 클러스터 외부에서 Pod에 접근할 수 없다는 점이다. 쿠버네티스는 Pod과 직접 통신하는 방법 대신 별도의 고정된 IP를 가진 "서비스"를 만들고 이 서비스를 통해 Pod에 접근하는 방식을 사용한다. 서비스는 노출 범위에 따라 CluterIP, NodePort, LoadBalancer 이렇게 3가지로 구분할 수 있다. 서비스 생성에 앞서서 디플로이먼트가 있어야하기 때문에 이전에 만들어두었던 파일을 통해 서비스 만..
시작하기 전 확인사항 GPU 연결 완료 (내가 사용하는 gpu 는 linux, 사용하는 노트북은 Mac) Anaconda 설치 완료 CUDA 설치 완료 1. 가상환경 만들기 아나콘다를 설치하면 기본적으로 base라는 가상환경이 생긴다. 가상환경은 프로젝트마다 사용하는 라이브러리, 버전 등이 다르기 때문에 가능하면 base보다는 따로 만들어서 프로젝트를 실행하는 것을 추천한다. 먼저, gpu와 연결이 되어있다면 터미널을 열었을 때 (base)로 시작하는지 보고, 첫번째 명령어로 내 아나콘다에는 어떤 가상환경이 있는지 확인한다. # 가상환경 리스트 conda env list 아나콘다를 설치하고 처음 하용하는 것이라면 base 하나만 있는것이 정상이다. 이제 프로젝트에 사용할 가상환경을 만들어준다. # 가상환..
쿠버네티스 안내서와 패스트캠퍼스 강의를 보고 작성한 포스팅입니다. 쿠버네티스의 구조를 다시 한 번 살펴보자면 아래와 같이 컨테이너 < Pod < ReplicaSet < Deployment < Service 순서대로 각각을 감싸고 있다. 이번 실습에서는 Deployment를 생성하고 그 내부에 있는 ReplicaSet이나 Pod를 수정해본다. Deployment 만들기 이제는 별다른 설명 없이 코드만 봐도 어떤 느낌인지 감이 오기 시작했다. # 1. 도커실행 # 2. minikube 시작 minikube start cd Desktop/kube # 3. Deployment 생성 vi echo-dep.yml apiVersion: apps/v1 kind: Deployment metadata:# Deploymen..
쿠버네티스 안내서를 보고 작성한 포스팅입니다. Pod을 단독으로 만들면 Pod에 어떤 문제(서버가 죽어서 Pod이 사라졌다던가)가 생겼을 때 자동으로 복구되지 않는다. 이러한 Pod을 정해진 수만큼 복제하고 관리하는 것이 ReplicaSet이다. 이전 실습에서 pod와 minikube를 모두 삭제했기 때문에 실습환경을 다시 시작한다. # 1. 도커실행 # 2. 디렉토리 이동 cd Desktop/kube # 3. 미니큐브 실행 minikube start 이전에는 pod만 만들었다면 이번에는 replica set를 만들어보려고 한다. 컨테이너 하나 또는 두개 이상 포함하던게 pod이라면 이런 pod를 하나 또는 여러개 관리하는게 replica set이다. replica set은 spec: 부분에 replic..
쿠버네티스 안내서와 패스트캠퍼스 강의를 보고 작성한 포스팅입니다. Pod는 하나 또는 여러개의 컨테이너를 포함한 쿠버네티스에서 사용하는 가장 작은 단위다. 이번에는 Pod을 생성하는 실습을 진행한다. # 도커를 실행시키고 터미널에 명령어 입력 minikube start # 실습할 디렉토리로 이동 cd Desktop/kube Pod 생성 저번에는 만들어진 yaml 파일을 실행시키는 방법을 사용했었는데 이번에는 파일을 직접 만들어서 실행시켜보려고 한다. # pod.yaml 파일 생성 vi pod.yaml # pod.yaml 파일에 내용 작성 apiVersion: v1 kind: Pod metadata: name: echo labels: app: echo spec: containers: - name: app ..
쿠버네티스 안내서와 패스트캠퍼스 강의를 보고 작성한 포스팅입니다. 배포를 위한 yaml 파일 구조 확인 쿠바네티스를 컨테이너를 등록하고 관리하기 위해 pod이라는 오브젝트를 사용한다. 컨테이너 < pod < replica set < deployment 순으로 구성되어있음을 기억하면서 컨테이너 배포를 위한 pod을 생성해보자 apiVersion: v1# 쿠바네티스 리소스의 api 버전 kind: Pod# 쿠바네티스 리소스 이름 (내가 만들고자 하는것) metadata:# name, namespace, labels, annotations 등을 포함 name: hello labels: app: hello spec:# 가장 중요 리소스의 설정 정보 입력 containers:# 컨테이너에 대한 정보를 입력하겠다 ..