데이터센터 GPU로 로컬 LLM 추론 환경 만들기
고급45분2026-06-05
Tesla V100이 장착된 NixOS 머신에서 큰 언어 모델을 로컬로 돌리기 위해, GPU 드라이버 설정과 llama.cpp CUDA 빌드 절차, 그리고 단일/다중 GPU 추론 명령을 재현 가능한 문서와 스크립트로 정리합니다. 최종 결과물은 Tesla V100용 NixOS 설정 파일, llama.cpp CUDA 빌드 스크립트, 그리고 GPU 구성별 실행 명령을 담은 마크다운 실행서 모음입니다.
이 코칭은 터미널에서 진행됩니다
오른쪽 패널에서 설치 명령어를 복사하세요이런 걸 배워요
- Tesla V100용 NVIDIA 드라이버 설정을 NixOS 파일로 정리합니다
- CUDA 지원 llama.cpp 빌드 절차를 재현 가능한 명령어로 남깁니다
- 단일 GPU와 다중 GPU 추론 명령어를 상황별로 구분합니다
- 실제 장비 적용 전 확인해야 할 검증 체크리스트를 만듭니다
어떻게 진행해요
1. 환경 경계 확인
2. GPU 구성 문서화
3. NixOS GPU 설정 작성
4. CUDA 오버레이 구성
5. llama.cpp 빌드 절차 작성
6. 분산 추론 명령 작성
7. 적용 전 검증표 작성
8. 최종 실행서 점검
AI 튜터가 각 단계를 하나씩 안내해줄 거예요