TRL 1.14의 AsyncGRPOTrainer가 LoRA 학습과 vLLM 어댑터 동기화를 지원합니다. 공개 사례는 학습기와 추론 복제본을 별도 Hugging Face Jobs에 두고 수 MB 규모 rank 1 어댑터를 공유 버킷으로 전달해 NCCL 연결을 피했습니다. 앞단 프록시는 접두사 캐시가 있는 복제본으로 요청을 보내고 어댑터 적재를 전달합니다. 같은 500단계 레시피를 다섯 구성으로 조정해 3시간 27분에서 53분으로 줄였으나 LoRA 하나만의 일반적인 가속률은 아닙니다.