TPU Sync는 Cloud TPU에서 KV 캐시와 모델 가중치를 이동시키는 공개 C++ 라이브러리입니다. TPU HBM과 호스트 RAM, 원격 노드 사이의 전송을 비동기로 처리하고 Python GIL과 중간 복사를 줄여 추론 연산과 겹칩니다. 저장소는 v7x와 v6e에서 검증한다고 안내하며 API가 빠르게 변하므로 main 대신 태그나 lkg.version의 검증 커밋을 고정하도록 권합니다. 내부 처리량 수치를 모든 모델의 지연 개선으로 일반화하지 말고 JAX와 라이브러리 버전 호환성도 확인해야 합니다.