ServiceNow 연구진의 AutoSynthData는 대상 모델이 실패하지만 교사 모델은 해결하는 과제를 찾아 지시문과 실행 환경 및 검증기를 생성한다. 양성과 음성 사례로 검증기를 점검하고 오류를 수정해 훈련 데이터의 실행 가능성과 다양성을 높이는 구조다. 공개 실험에서는 Gemma 계열 대상 모델의 평균 Pass@1이 7.2%포인트 개선됐다. IT 서비스 관리 실험도 별도로 제시했지만 특정 모델과 환경에서의 결과이므로 모든 기업 업무에 같은 향상을 보장하지는 않는다.
Tech로 돌아가기
Tech
AutoSynthData, 실패 과제에서 기업 에이전트 훈련 데이터 생성
합성 데이터의 양보다 실행 가능성과 정답 판정기의 품질을 함께 관리하는 접근이다.