Periodic Labs가 재료과학 AI Neon을 운영하는 인프라 설계를 공개했습니다. 공개 가중치에서 출발해 최대 1300개의 H200을 사용했고, 자사 작업에서 같은 GPU의 Megatron 대비 학습 처리량 4.1배와 추론 속도 2.5배를 보고했습니다. 긴 도구 실행과 학습을 비동기로 분리하고 KV 캐시 재사용, 증분 라우팅 정보 전송, 별도 과학 도구 샌드박스로 병목을 줄인 방식입니다. 특정 X선 회절 분석과 장시간 강화학습 환경의 자체 결과이며, 최적화 일부는 공개 프로젝트에 환원됐습니다.
Tech로 돌아가기
Tech
Periodic Labs, 과학 AI의 학습과 추론 최적화 공개
제시된 속도 개선은 긴 과학 작업에서 측정한 결과로 일반 업무와 구분해야 합니다.