평가 | Tech
기술 소식을 전하고 배경과 출처를 함께 소개합니다.
로컬 LLM 반복 평가, 평균 성공률과 일관성 차이 확인
100개 영어 과제의 개인 실험이므로 모델 전체의 우열이나 실무 성공률로 일반화할 수 없습니다.
코딩 AI, 숨은 요구까지 해결한 비율은 45.5%
테스트 통과와 실제 저장소 과제의 완결성은 달랐다
StreamVibe, 영상 AI가 도울 시점까지 평가
실시간으로 침묵할지 응답할지 고르는 연구이며 완성된 사용자용 비디오 비서 출시는 아닙니다.
Memdoor 다중 에이전트, 코딩 10문제 반복 평가 49회 통과
분리된 역할과 파일 협업 사례지만 작은 표본과 오염 가능성 때문에 모델 전반의 우열로 볼 수 없습니다.
연구 독창성 평가 LLM, 프롬프트에 크게 흔들려
Ai2는 평가 데이터와 코드를 공개하며 판정 설계의 불안정성을 지적했다
한국어 RAG 실험, Bolt E4B의 추가 개선 미검출
299문항 비교에서 생각 모드는 정확도와 시간 모두 증가
AI 메모리 도구, 벤치마크 밖의 운영 경험을 묻다
성능 순위 발표가 아닌 개발자의 실사용 질문
코딩 하네스 연구, 성공률보다 비용 차이 뚜렷
같은 설정을 다시 실행한 변동까지 비교해야 작은 성능 차이를 해석할 수 있습니다.
AI 13종의 인간관 비교, 답변 38개 중 32개 유사
작은 비공식 질문 실험의 수렴은 인간에 대한 주장이나 모델의 고유 신념을 입증하지 않습니다.
Qwen 선택형 모델 실험, 높은 토큰 확률도 오답 가능
정해진 답만 출력하게 하는 제약은 정확성을 보장하지 않으므로 실제 정답률에 맞춘 확률 보정이 필요합니다.
중국 AI 857개 모델 분석, 안전 결과 공개는 31개
공개 자료 부재는 내부 시험 부재와 다르므로 모델 도입 때 이름별 평가 근거와 공개 시점을 확인해야 합니다.
CUA-Lite가 컴퓨터 사용 에이전트 학습 환경을 하나로 묶었습니다
CI에서 GUI 에이전트를 대량 평가하기 쉬워졌지만 재현성과 라이선스를 확인한 뒤 도입해야 합니다.
더 볼 글이 없습니다.