로컬 모델 사용기가 다운로드 전 확인할 항목으로 KV 캐시, 정확한 양자화 형식, 전체와 활성 파라미터의 차이, 실제 학습 문맥 길이를 꼽았다. 긴 입력은 가중치 외의 메모리 사용량을 늘리고, 같은 4비트라도 형식에 따라 크기와 품질이 달라진다. 특정 GPU에서의 경험을 바탕으로 한 설명이므로 표시된 최대 문맥이나 초당 토큰 수보다 자신의 작업을 넣은 시험이 중요하다.
Tech
가중치 용량만 맞추면 긴 문맥에서 메모리 부족을 놓칠 수 있다.
로컬 모델 사용기가 다운로드 전 확인할 항목으로 KV 캐시, 정확한 양자화 형식, 전체와 활성 파라미터의 차이, 실제 학습 문맥 길이를 꼽았다. 긴 입력은 가중치 외의 메모리 사용량을 늘리고, 같은 4비트라도 형식에 따라 크기와 품질이 달라진다. 특정 GPU에서의 경험을 바탕으로 한 설명이므로 표시된 최대 문맥이나 초당 토큰 수보다 자신의 작업을 넣은 시험이 중요하다.