NVIDIA NeMo의 Switchyard는 OpenAI와 Anthropic 요청 형식을 유지하면서 작업 분류나 도구 실행 이력에 따라 모델을 선택하는 Apache 2.0 라우터입니다. 오류와 반복을 감지해 강한 모델로 넘기거나 저렴한 응답을 재평가할 수 있고 Python과 Rust 라이브러리, LiteLLM 연동 및 Prometheus 지표를 제공합니다. 핵심 라이브러리는 베타이고 호출 구성요소는 알파입니다. 독립 서버는 데모와 평가용이므로 실제 비용과 성공률을 검증한 뒤 도입해야 합니다.
Tech로 돌아가기
Tech
NVIDIA Switchyard, 작업 단계별 LLM 라우팅 공개
기존 API를 유지한 비용 최적화를 시험할 수 있지만 독립 서버는 아직 운영 환경용이 아닙니다.