Redis LangCache 공개 프리뷰는 요청의 의미가 저장된 질문과 충분히 비슷하면 기존 답을 돌려줘 모델 호출을 생략합니다. REST API와 Python, JavaScript SDK를 제공하며 유사도 기준, TTL과 접근 범위를 설정할 수 있습니다. Redis는 최대 비용 90% 절감과 캐시 적중 응답 15배 가속을 제시하지만 실제 효과는 적중률과 임베딩 및 저장 비용에 좌우됩니다. 문맥이나 사용자 권한이 다른 질문까지 같은 답으로 처리하지 않도록 오매칭과 오래된 응답을 검증해야 합니다.
Tech로 돌아가기
Tech
Redis LangCache, 의미가 같은 질문의 응답 재사용 지원
절감 효과는 안전하게 재사용할 질문 비율에 달려 있으며 만료와 사용자 간 데이터 분리가 필수입니다.