Cerebras는 44GB 온칩 메모리의 웨이퍼 여러 장에 모델 층을 나눠 초대형 모델을 추론하는 구조를 공개했다. 약 3조 파라미터 Kimi K3에 4비트 가중치와 8비트 KV 캐시를 가정한 예시는 선형 어텐션 층 35장과 전체 어텐션 층 24장, 총 59장을 사용한다. 가중치는 칩에 두고 중간 계산값만 이더넷으로 넘기며 여러 요청을 파이프라인에 채운다. 동시 처리량은 캐시 공간과 요청 길이에 제한된다. 이는 2021년 공개한 외부 메모리의 가중치 스트리밍 학습 구조와 구분해야 하며 제시 속도는 독립 검증 결과가 아니다.
Tech 목록으로
Cerebras, 초대형 모델의 다중 웨이퍼 추론 구조 설명
가중치는 칩에 유지하고 중간 계산값만 전달하는 방식이며 59장 구성은 특정 양자화 조건을 둔 예시다.