Google이 AI 인프라의 새로운 시대를 열기 위해 Ironwood TPU를 발표했다. 이 새로운 TPU는 AI 모델의 추론 작업을 최적화하여 “추론의 시대”를 준비하는 데 중점을 두고 있다.
Ironwood TPU는 Google Cloud의 AI Hypercomputer 전략의 핵심으로, 최대 9,216개의 칩을 연결해 42.5 엑사플롭스의 연산 성능을 제공한다. 이는 세계 최대 슈퍼컴퓨터보다 24배 높은 수치로, 대규모 AI 모델의 추론을 지원한다. 특히, Inter‑Chip Interconnect(ICI)는 9.6Tb/s의 통신 속도를 제공하며, Optical Circuit Switching(OCS)을 통해 장애 시에도 자동 복구가 가능하다.
Ironwood는 대규모 임베딩 처리에 특화된 SparseCore 가속기를 탑재하고 있으며, HBM(고대역폭 메모리) 병목을 해소하기 위해 1.77PB의 공유 메모리를 제공한다. 또한, 전력 소모는 약 10MW로, 이전 세대 대비 성능 대비 전력 효율이 2배 향상되었다.
이러한 기술 혁신은 AI 모델이 실시간으로 상황을 이해하고 판단하는 능력을 크게 향상시킬 것으로 보인다. Google은 Ironwood를 통해 AI 워크로드에서 경쟁 우위를 확보하고, 클라우드 시장 점유율을 확대할 계획이다. 현재 Ironwood는 Google Cloud 데이터센터에 배포 중이며, 향후 외부 고객에게도 제공될 가능성이 있다.
Ironwood TPU의 출시는 AI 인프라 시장에서 Nvidia 중심의 환경에 도전장을 내밀고 있으며, AI 하드웨어의 새로운 기준을 제시할 것으로 기대된다.