55GB Qwen3.8 27B를 4비트 17GB로 줄인 실험에서 과학 지식과 지시 준수, Terminal-Bench 2.1 코딩 성능은 원본과 뚜렷한 차이가 없었고 24GB RTX 4090에 약 64k 컨텍스트와 함께 적재할 수 있었습니다. 2비트는 코딩 성능과 토큰 효율이 낮아졌고 1비트는 과학 문제에서 무작위 추측 수준으로 붕괴했으며, 일부 정확한 양자화 파일이 교체되고 8비트 코딩 측정이 빠졌다는 재현성 한계가 있습니다.
Tech로 돌아가기
Tech
Qwen3.8 27B는 4비트에서도 작업 성능을 유지했습니다
로컬 모델은 압축률보다 실제 작업 점수와 컨텍스트까지 담을 메모리를 기준으로 골라야 합니다