wsl에서 ollama model을 실행하려면 먼저 컴퓨터 RAM에 LLM Model을 업로드해야 합니다. 이 때 PC-WSL에 할당된 RAM용량의 점검해야 합니다.
예를 들어, 8.9GB의 용량을 가진 gemma3:12b-it-qat 모델을 Loading하려니 기존 wsl세팅에서는 실행 불가입니다.
아래처럼 [사용자 Home폴더]에서 .wslconfig 파일을 수정해 줘야 합니다.
적절한 memory=14GB 이상을 부여해야 정상적으로 Loading이 됩니다.
설정파일을 수정하면 wsl --shutdown 명령어를 통해서 wsl를 재시작해야 합니다.
ollama run gemma3:12b-it-qat
명령어를 통해 실행을 해봅니다.
"send a message"라는 명령어가 보이면 정상적으로 loading이 완료된 것입니다.
질문을 입력하면 LLM이 그에 따른 응답을 보내줍니다.
GPU VGA RAM을 사용하지 않고, PC RAM용량을 사용하는 것이 특이합니다.
별도의 사용법이 있는지 확인해 봐야 할 것 같습니다.
https://www.amd.com/en/support/download/linux-drivers.html
sudo apt update
wget https://repo.radeon.com/amdgpu-install/6.3.4/ubuntu/noble/amdgpu-install_6.3.60304-1_all.deb
sudo apt install ./amdgpu-install_6.3.60304-1_all.deb
sudo amdgpu-install -y --usecase=graphics,rocm
sudo usermod -a -G render,video $LOGNAME
댓글
댓글 쓰기