[Python] GPU로 AI 모델을 구동하기 위한 PyTorch + CUDA + cuDNN 설정 방법 [03]

 

[Python] LangChain으로 Llama3 언어 모델 구동해보기 [02]

 

AI모델 테스트는 CPU를 사용해서 진행해도 되지만 실제 서비스를 하기 위해서는
병렬처리에 특화된 GPU를 사용해서 모델을 구동시켜야 합니다.

 

아시겠지만 최근 엔비디아가 핫한 이유도 AI모델 구동에 GPU가 필수적이기 때문입니다. 
 
 
https://www.nvidia.com/ko-kr/geforce/graphics-cards/40-series/

 
엔비디아 GPU의 사양 리스트입니다. 
RTX 2000번대부터 AI 연산에 특화된 텐서코어가 탑재된 것으로 보이며,
텐서코어가 없고 VRAM용량이 작은 구 모델은 오히려 CPU를 사용하는 것보다 더 느릴 수 있습니다.
 
 

---

 
 
🔷 그럼 이제 설정 방법에 대해 설명하겠습니다.
 
우선 다음 항목들의 설치가 필요하며 서로 호환이 가능한 버전을 설치해야 합니다.
- Anaconda
- Python
- 그래픽 드라이버
- GPU사용을 지원하는 Torch or Tensorflow 프레임워크
- CUDA Toolkit
- cuDNN
 
 
아나콘다는 최신 버전, 파이썬도 3 버전 이상이면 크게 상관 없는 것으로 알고있고
그래픽 드라이버도 설치되어 있다는 가정 하에 밑에 3개만 설명하겠습니다.
 
 
 

1. PyTorch

요즘 많이 사용되는 딥러닝 프레임워크는 파이토치와 텐서플로우 2가지가 있는데
여기서는 파이토치로 설명하겠습니다. 
 
우선 명령프롬프트(CMD)에서 nvidia-smi를 입력해서 호환 가능한 CUDA버전을 확인해봅니다.

 
여기 나타나는 CUDA 버전은 현재 그래픽카드와 가장 잘 호환되는 버전이 나타나는 것이며,
꼭 저 버전으로 설치할 필요는 없어서 PyTorch가 지원하는 버전에 맞게 설치해줍니다.
 
만약 하나라도 잘못 설치해서 환경이 틀어진 경우 다 지우고 다시 설치해야 돼서
처음부터 제대로 확인하고 설치를 진행하는게 좋습니다.
 
 
 
https://pytorch.org/get-started/locally/

 

파이토치 공식 사이트에서 OS, 언어, CUDA버전 등을 선택하고
아래 커맨드를 이용하여 pip로 현재 환경에 torch를 설치해줍니다.
(저는 12.1버전으로 설치했습니다)
 
 
 

2. CUDA Toolkit

 
https://developer.nvidia.com/cuda-toolkit-archive

 
그 다음 CUDA Toolkit 사이트에 접속해서 동일한 버전(12.1)의 툴킷을 다운받아 설치합니다.
 
설치 후 명령프롬프트에 nvcc -V를 입력하여 제대로 설치되었는지 확인해봅니다. 

 
 
 
 

3. cuDNN

 
https://developer.nvidia.com/rdp/cudnn-archive

 
마지막으로 cuDNN입니다.
리스트를 확인해보면 CUDA 버전은 동일한데 cuDNN버전은 여러 가지 존재합니다.
 
딱 정해진 버전은 없지만 저는 CUDA와 cuDNN이 세트라고 생각돼서
비슷한 시기에 릴리즈된 버전을 다운받았습니다.
(CUDA 12.1.1 / cuDNN 8.9.0 / [April, 2023])

 
 

 
다운 받고 압축을 풀면 위와 같은 폴더가 생성되는데
C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v12.1 경로에 각 폴더를 복사해줍니다.
 

 

 
설치가 끝났으면 파이썬에서 CUDA가 사용 가능한지 간단하게 테스트해봅니다.

import torch

print("CUDA available:", torch.cuda.is_available())

if torch.cuda.is_available():
    print("GPU name:", torch.cuda.get_device_name(0))

device = torch.device("cuda" if torch.cuda.is_available() else "cpu")

tensor = torch.rand(3, 3).to(device)
print("Tensor on GPU:", tensor)

 

 

다음은 허깅페이스로 AI 오픈소스 모델들을 구동해보는 간단한 예제입니다.

[Python] HuggingFace로 오픈소스 AI모델 구동해보기 [04]