개발자인 안나 비야레알(Anna Villarreal)은 소형 싱글보드 컴퓨터인 NVIDIA Jetson Nano에서 로컬 배포 도구인 Ollama를 활용해 다양한 LLM의 성능을 평가했다. 벤치마크의 주된 목적은 시스템 충돌 없이 텍스트를 기반으로 플래시카드와 퀴즈를 생성할 수 있는 모델을 찾는 것이었다. Jetson Nano의 제한된 메모리를 고려해 테스트 중 시스템 장애를 방지하고자 스왑 파일(swap file)을 설정했으며, OSI 7계층 모델을 주제로 구성된 10개의 질문을 바탕으로 각 모델의 정확도를 측정했다.

테스트 결과, qwen2.5:3b-instruct는 q4_K_M, q5_K_M, q8_0 양자화 수준에서 모두 100% 정확도를 달성했다. 반면 llama3.2:3b-instruct는 q2_K에서 40%, q4_K_M, q5_K_M, q8_0에서는 90%의 정확도를 보였다. mistral:7b-instruct는 q4_K_M에서 100%, q2_K와 q5_K_M에서 80%를 기록했다. 한편 qwen3.5:2b는 기기의 GPU 제약으로 모델이 로드되지 않아 0%의 정확도를 나타냈다. 하드웨어 리소스를 초과하는 일부 구성은 최종 데이터셋에서 제외됐다.

양자화가 모델 무게 값의 정밀도를 줄여 메모리를 확보하는 과정인 만큼 출력 품질에 영향을 미치지만, 퀴즈 생성이라는 특정 용도가 성능 결과에 크게 작용하는 것으로 나타났다. 안나 비야레알(Anna Villarreal)은 이러한 지표를 바탕으로 qwen2.5:3b-instruct가 로컬 퀴즈 생성 애플리케이션에 가장 적합한 선택지라고 결론지었다. 이번 연구는 리소스가 제한된 엣지 하드웨어에서 모델 크기와 정밀도 사이의 균형이 운영 안정성을 유지하는 데 필수적임을 시사한다. 향후 연구로는 해당 성능 지표를 근거로 로컬 애플리케이션의 모델 구성을 Llama 계열에서 Qwen 계열로 전환할 계획이다.

개발자인 안나 비야레알(Anna Villarreal)은 소형 싱글보드 컴퓨터인 NVIDIA Jetson Nano에서 로컬 배포 도구인 Ollama를 활용해 다양한 LLM의 성능을 평가했다. 벤치마크의 주된 목적은 시스템 충돌 없이 텍스트를 기반으로 플래시카드와 퀴즈를 생성할 수 있는 모델을 찾는 것이었다. Jetson Nano의 제한된 메모리를 고려해 테스트 중 시스템 장애를 방지하고자 스왑 파일(swap file)을 설정했으며, OSI 7계층 모델을 주제로 구성된 10개의 질문을 바탕으로 각 모델의 정확도를 측정했다.

테스트 결과, qwen2.5:3b-instruct는 q4_K_M, q5_K_M, q8_0 양자화 수준에서 모두 100% 정확도를 달성했다. 반면 llama3.2:3b-instruct는 q2_K에서 40%, q4_K_M, q5_K_M, q8_0에서는 90%의 정확도를 보였다. mistral:7b-instruct는 q4_K_M에서 100%, q2_K와 q5_K_M에서 80%를 기록했다. 한편 qwen3.5:2b는 기기의 GPU 제약으로 모델이 로드되지 않아 0%의 정확도를 나타냈다. 하드웨어 리소스를 초과하는 일부 구성은 최종 데이터셋에서 제외됐다.

양자화가 모델 무게 값의 정밀도를 줄여 메모리를 확보하는 과정인 만큼 출력 품질에 영향을 미치지만, 퀴즈 생성이라는 특정 용도가 성능 결과에 크게 작용하는 것으로 나타났다. 안나 비야레알(Anna Villarreal)은 이러한 지표를 바탕으로 qwen2.5:3b-instruct가 로컬 퀴즈 생성 애플리케이션에 가장 적합한 선택지라고 결론지었다. 이번 연구는 리소스가 제한된 엣지 하드웨어에서 모델 크기와 정밀도 사이의 균형이 운영 안정성을 유지하는 데 필수적임을 시사한다. 향후 연구로는 해당 성능 지표를 근거로 로컬 애플리케이션의 모델 구성을 Llama 계열에서 Qwen 계열로 전환할 계획이다.