Jeff는 상황과 선택지를 입력하면 한 번의 계산으로 각 선택지 확률을 반환하는 Qwen 및 Gemma 기반 소형 모델이다. 개발자 측은 0.8B 모델이 RTX PRO 6000에서 약 22ms, M4 Max에서 약 28ms에 판단한다고 보고했다. 모델 카드는 1.1에서 Qwen 계열의 선택지를 최대 254개로 늘렸지만 일부 추론 평가에서는 큰 모델에 뒤처지고 비교 표본과 장비도 같지 않다고 밝힌다. Jev와 요청 형식을 맞춘 독립 프로젝트이며 실제 업무 정확도는 별도 검증이 필요하다.
Tech로 돌아가기
Tech
Jeff, 문장 생성 없이 선택지 확률을 반환하는 소형 모델
짧은 분류 판단을 로컬에서 빠르게 처리하지만 복잡한 추론까지 대형 모델 수준이라는 뜻은 아니다.