NVIDIA가 Lambda와 진행한 DSX MaxLPS 사례에서 전력을 조절한 19개 노드가 최대 전력의 16개 노드와 같은 전력 한도를 쓰면서 처리량을 약 24% 늘렸다고 발표했습니다. 분당 토큰은 약 400만에서 500만으로 증가했고 전력 효율은 약 23% 개선됐다는 자체 결과입니다. 개별 GPU를 항상 최대 출력으로 운용하는 대신 더 많은 장비를 시설 전력 한도 안에 배치하는 접근입니다. 향후 Vera Rubin 전망과 현재 실증은 구분해야 하며, 실제 도입 효과는 모델과 지연 목표 및 냉각과 전력 제약에 달려 있습니다.
Tech로 돌아가기
Tech
NVIDIA, 전력 제한으로 AI 처리량 늘린 실증 공개
개별 GPU 최대 전력보다 시설 전체의 처리량을 봐야 하며 수치는 구성에 따라 달라집니다.