Prism ML의 Ternary Bonsai 2 27B는 삼진 가중치로 언어 모델 파일을 약 5.95GB까지 줄인 공개 모델이다. 모델 카드는 14개 평가 평균에서 FP16 대비 98.2% 수준을 유지했다고 주장하지만 모든 작업의 무손실 압축을 뜻하지는 않는다. 직접 실행한 개발자는 일반 llama.cpp 대신 Prism 포크가 필요하며 M5 Pro에서 속도가 재시작 전후 달라졌다고 기록했다. 이미지 입력용 비전 파일은 별도다. 로컬 메모리 부담을 줄이는 선택지이지만 파일 크기와 전체 실행 메모리, 장치별 처리량을 구분해 시험해야 한다.
Tech로 돌아가기
Tech
Bonsai 2 27B 공개, 약 5.95GB 가중치와 전용 런타임 제공
작은 파일만 받으면 되는 모델이 아니므로 전용 실행기와 실제 장치 성능을 확인해야 한다.