GPU 서버 가상환경에 pytorch 설치 (Linux, MacOS, import torch에러)

시작하기 전 확인사항

• GPU 연결 완료 (내가 사용하는 gpu 는 linux, 사용하는 노트북은 Mac)
• Anaconda 설치 완료
• CUDA 설치 완료

 

1. 가상환경 만들기

아나콘다를 설치하면 기본적으로 base라는 가상환경이 생긴다.

가상환경은 프로젝트마다 사용하는 라이브러리, 버전 등이 다르기 때문에 가능하면 base보다는 따로 만들어서 프로젝트를 실행하는 것을 추천한다.

 

먼저, gpu와 연결이 되어있다면 터미널을 열었을 때 (base)로 시작하는지 보고,

첫번째 명령어로 내 아나콘다에는 어떤 가상환경이 있는지 확인한다.

 

# 가상환경 리스트
conda env list

 

아나콘다를 설치하고 처음 하용하는 것이라면 base 하나만 있는것이 정상이다.

이제 프로젝트에 사용할 가상환경을 만들어준다.

 

# 가상환경 만들기
# conda create -n 가상환경이름
conda create -n torch

# 가상환경을 만들 때 필요한 패키지를 같이 설치
conda create -n torch python anaconda

 

conda : 아나콘다를 실행하는 명령어

create : 가상환경을 만들겠다는 명령어

-n : 만들고자 하는 가상환경 이름 (여기서는 torch로 설정했는데 보통은 버전을 같이 적어준다.)

이후에 있는 python 과 anaconda는 가상환경을 만들면서 같이 설치하기 위해 입력해주었다.

특정 버전을 입력하고 싶다면 conda create -n 가상환경이름 python=3.8 처럼 버전을 같이 작성해주면 된다.

 

2. Pytorch 설치

pytorch를 gpu에서 사용하기 위해서는 cuda가 설치되어 있어야 한다.

설치가 되어있다고 가정하고 바로 파이토치 설치로 넘어간다.

 

torch라는 가상환경에 파이토치를 설치할 예정이기 때문에 torch 가상환경을 활성화했다.

 

# 가상환경 활성화
# conda activate 가상환경이름
conda activate torch

 

conda activate를 통해 사용하고자 하는 가상환경을 활성화하면 터미널에서 제일 앞에 (base)라고 있던 곳이 가상환경 이름으로 바뀌게 된다. 해당 가상환경에 접속했다는 의미다. 이 포스팅에서는 가상환경 이름을 torch라고 했기 때문에 (torch)라고 나타난다.

 

# cuda 버전 확인
nvcc --version

# 또는 cuda 다운로드 경로에서 버전 확인
cat 쿠다설치경로/cuda/version.txt

 

나는 쿠다 버전이 11.0인데 nvcc로 확인하면 9.1로 나와서 version.txt에서 확인한 11.0으로 적용하려고 한다.

아무래도 cuda에서 제공하는 version이 좀 더 신빙성 있기 때문이다.

 

아래 홈페이지에 들어가서 본인 gpu에 해당하는 설정을 잡고 명령어를 받아서 입력해주면 된다.

https://pytorch.org/get-started/locally/

 

 

# 파이토치 설치
conda install pytorch torchvision torchaudio cudatoolkit=11.0 -c pytorch

 

여기서 조금 헷갈렸던 부분이 나는 Mac을 사용하고 있어서 OS를 Mac으로 선택했었는데, 내가 사용하고자 하는 GPU는 Linux이기 때문에 OS를 Linux로 선택해주어야 한다. Pytorch Build는 특별한 일 없으면 Stable로 설정한다.

 

홈페이지에서 만들어준 명령어 중에서 cuda 버전이 다르기 때문에 11.3을 11.0으로 변경해서 설치해주었다.

 

3. Pytorch 설치 확인

잘 설치되었는지 확인하기 위해서 (torch) 가상환경에 파이썬을 실행하고 간단한 torch 코드를 입력해본다.

 

ptyhon
>>> import torch
>>> torch.rand(10)

 

10개의 수소점 숫자가 출력된다면 잘 설치되었고, 잘 실행된다는 뜻이다.

ctrl+z 로 python을 빠져나올 수 있다.

 

4. jupyter lab 연결

설치가 잘 되었는지 확인했다면 이제 쥬피터에서 torch를 사용해보자.

따로 연결을 해주지 않으면 import torch 에러가 발생한다.

쥬피터를 사용하려면 conda에 쥬피터를 깔아줘야한다.

 

# 쥬피터 설치
conda install jupyter

 

쥬피터랩에 가상환경 커널을 등록하기위해 ipykernel을 사용한다.

 

# 1. 해당 가상환경 진입
conda activate 가상환경이름

# 2. ipykernel 설치
pip install ipykernel

# 3. 커널 연결
python -m ipykernel install --user --name 가상환경이름

 

이렇게하고 gpu 쥬피터로 넘어가면 notebook을 새로 만드는 곳에 python3 말고 내가 만든 가상환경 이름이 뜬다.

 

 

 

이렇게 가상환경에서 gpu로 pytorch를 사용하도록 모든 세팅을 완료되었다.

앞으로 여기서 대용량의 데이터를 처리하면 된다.