NYU와 캘거리대 연구진은 사전학습 가중치를 유지한 채 0.05% 미만을 선택적으로 0으로 만드는 삭제 튜닝을 제안했습니다. Llama 8B의 GSM8K 정확도는 60.27%에서 83.55%로 올라 전체 미세조정의 83.24%와 비슷했습니다. 작업별 압축 정보는 8.4MB로 전체 결과 저장 30.6GB보다 작지만 기본 모델은 따로 필요합니다. 최대 300억 매개변수까지 시험했고 일부 작은 모델은 전체 미세조정보다 낮았습니다. 저장 감소를 같은 비율의 학습비 절감이나 모든 모델의 성능 보장으로 해석할 수는 없습니다.