AI 평가 회사 Vals는 법률과 금융, 코딩 등 실제 업무에 가까운 비공개 과제로 모델을 비교한다고 설명했습니다. 공개 벤치마크 문항이 학습에 섞이는 문제를 피하려는 접근이며 기업은 자사 작업에 맞는 평가를 의뢰합니다. 보도는 지난달 4000만 달러 투자 유치와 회사의 성장 주장도 소개하지만 새 투자 발표 자체가 이번 이슈의 핵심은 아닙니다. 평가를 받는 기업이 비용을 내는 사업 구조인 만큼 결과의 독립성, 과제 구성과 자사 업무 대표성을 살펴야 합니다. 하나의 순위만으로 도입 모델을 결정하기에는 한계가 있습니다.