Eigent와 LM Studio로 로컬 에이전트를 구성한 사용자가 문맥 부족으로 실패하던 작업을 실행기 설정 조정 뒤 완료한 사례를 공개했다. 8GB GPU에서 Qwen 3.5 9B의 4비트 가중치와 Q8 KV 캐시를 사용하고 문맥 크기 및 GPU 적재량을 조절했다. 기본 설정에서는 약 30분 뒤 실패했지만 조정 뒤 한 실행은 약 14분 동안 여섯 단계를 끝냈다. 단일 사용기의 결과이며 상용 모델과 동등한 품질을 검증한 것은 아니다. 도구 호출 능력과 실제 메모리 여유를 함께 시험해야 한다.
Tech로 돌아가기
Tech
8GB 로컬 에이전트 사용기, 문맥과 KV 캐시 조정으로 완주
같은 모델도 실행기 설정에 따라 결과가 달라지며 문맥 확대에는 메모리와 정확도 비용이 따른다.