안나 비야레알(Anna Villarreal)이 자원 관리를 최적화하기 위해 소프트웨어를 소스에서 직접 빌드하는 방식으로 Jetson Orin Nano에 Ollama를 배포했다. 소스 빌드에는 약 30분이 소요되었으며, 8GB RAM의 기기 자원 한계를 고려하여 Docker 컨테이너 대신 GPU 가속을 명시적으로 설정했다. 이 과정에서 Cuda-toolkit-13과 Go를 설치하고 sm_87 아키텍처를 겨냥해 경로를 구성했다.

초기 테스트 당시 Q8_0 양자화 모델을 사용했을 때 생성 속도는 초당 1.2~1.35 토큰에 불과했다. 이 설정은 17개의 GPU 레이어 중 3~9개만 활용해 나머지를 CPU가 처리해야 했기 때문이다. 모델을 Q4_K_M 양자화 방식으로 변경하자 모델 크기가 1.5GB에서 808MB로 줄었고, 17개 레이어 전체가 메모리에 로드되었다. 그 결과 생성 속도는 약 30.7 tok/s로 증가했으며, 971토큰 테스트 완료 시간은 13분 20초에서 35~45초로 단축되어 약 25배의 속도 향상을 기록했다.

다만 Q4_K_M 양자화는 출력 안정성 문제를 야기했다. 테스트 결과 유효한 JSON 생성 실패율이 50~65%에 달했고, 6번의 시도 중 3번은 잘못된 괄호나 필드명이 포함되었다. 이를 해결하기 위해 모델을 속도가 느린 Q8_0으로 되돌리는 대신 자동 재시도 로직을 적용했다. 시스템은 응답 형식이 잘못될 경우 최대 3회까지 재시도를 수행한다. Q4 양자화의 빠른 속도 덕분에 3번의 시도 시간을 합쳐도 단일 Q8_0 요청보다 월등히 빨랐으며, 정형 데이터 출력 성공률은 85~95%까지 상승했다.

안나 비야레알(Anna Villarreal)이 자원 관리를 최적화하기 위해 소프트웨어를 소스에서 직접 빌드하는 방식으로 Jetson Orin Nano에 Ollama를 배포했다. 소스 빌드에는 약 30분이 소요되었으며, 8GB RAM의 기기 자원 한계를 고려하여 Docker 컨테이너 대신 GPU 가속을 명시적으로 설정했다. 이 과정에서 Cuda-toolkit-13과 Go를 설치하고 sm_87 아키텍처를 겨냥해 경로를 구성했다.

초기 테스트 당시 Q8_0 양자화 모델을 사용했을 때 생성 속도는 초당 1.2~1.35 토큰에 불과했다. 이 설정은 17개의 GPU 레이어 중 3~9개만 활용해 나머지를 CPU가 처리해야 했기 때문이다. 모델을 Q4_K_M 양자화 방식으로 변경하자 모델 크기가 1.5GB에서 808MB로 줄었고, 17개 레이어 전체가 메모리에 로드되었다. 그 결과 생성 속도는 약 30.7 tok/s로 증가했으며, 971토큰 테스트 완료 시간은 13분 20초에서 35~45초로 단축되어 약 25배의 속도 향상을 기록했다.

다만 Q4_K_M 양자화는 출력 안정성 문제를 야기했다. 테스트 결과 유효한 JSON 생성 실패율이 50~65%에 달했고, 6번의 시도 중 3번은 잘못된 괄호나 필드명이 포함되었다. 이를 해결하기 위해 모델을 속도가 느린 Q8_0으로 되돌리는 대신 자동 재시도 로직을 적용했다. 시스템은 응답 형식이 잘못될 경우 최대 3회까지 재시도를 수행한다. Q4 양자화의 빠른 속도 덕분에 3번의 시도 시간을 합쳐도 단일 Q8_0 요청보다 월등히 빨랐으며, 정형 데이터 출력 성공률은 85~95%까지 상승했다.