OpenJev로 소개된 프로젝트는 고정된 언어모델의 출력 점수를 이용해 문자열 답변 대신 미리 정한 선택지의 확률을 반환한다. 현재 저장소 이름은 SemIf이며 TypeSafe의 Jev와 제휴한 모델이 아니다. RTX 3090에서 21개 판단을 비교한 예시는 직접 경로가 약 1.0초, JSON 생성이 약 5.3초였고 결과 일치는 18개였다. 브라우저용 양자화 모델도 제공하지만 이런 소규모 비교는 정확도 동등성을 뜻하지 않는다. 특히 출력 확률이 보정되지 않았으므로 자동 승인 같은 중요한 판단의 신뢰도로 곧바로 사용할 수 없다.
Tech로 돌아가기
Tech
OpenJev, 텍스트 생성 대신 선택 확률 출력 실험
현재 SemIf로 이름이 바뀐 공개 구현은 상용 Jev와 별개이며 확률도 보정되지 않았습니다.