UNIST의 EPIC은 개인화와 관련 없는 자료를 의미 유사도로 거른 뒤 언어모델이 재검토하고 사용 지침을 붙여 온디바이스 RAG 메모리를 구성합니다. PrefWiki에서 저장공간은 648.96MB에서 0.27MB로, 네 벤치마크 평균 검색 시간은 96.5ms에서 3ms로 줄었고 한 Llama 3.1 8B 비교에서는 선호 반영 정확도가 18.79%포인트 높았습니다. 세 기기 실험도 1MB 미만이었지만 과도한 필터링은 유용한 자료를 놓칠 수 있습니다.
Tech로 돌아가기
Tech
UNIST EPIC이 온디바이스 RAG 메모리를 2404분의 1로 줄였습니다
개인정보를 기기 밖으로 보내지 않고 검색을 줄였지만 엄격한 선별은 유용한 약한 연관 정보를 놓칠 수 있습니다.