Strix Halo 환경에서 llama.cpp와 Qwen 계열 GGUF 모델의 실행 설정을 표준화하고, 실제 업무 시나리오를 기준으로 속도와 컨텍스트 처리 성능을 비교합니다. 최종적으로 Vulkan 백엔드용 llama.cpp 설정 파일, llama-server 실행 스크립트, 그리고 모델별 속도 비교가 정리된 로컬 AI 벤치마크 Markdown 리포트를 만듭니다.

이런 걸 배워요

• Strix Halo 로컬 LLM 벤치마크 환경을 재현 가능한 파일 구조로 정리합니다
• Qwen GGUF 모델별 실행 옵션과 컨텍스트 길이를 설정 파일로 분리합니다
• MTP 추론, KV 캐시 양자화, 배치 크기 같은 성능 옵션을 비교 기준에 반영합니다
• 숙박업 신고 문서 요약과 매출 데이터 질의 업무에 맞는 벤치마크 리포트를 생성합니다

어떻게 진행해요

AI 튜터가 각 단계를 하나씩 안내해줄 거예요