AI 학습·추론 워크로드에서 지연을 10분의 1 수준으로 낮춘 아리스타의 설계·운영 요소를 실무 중심으로 정리합니다. 아키텍처, 성능 지표, 비용 영향까지 한 페이지에.
2024-2026년 하이퍼스케일 AI 인프라 도입 사례에서 가장 큰 병목은 네트워크 지연과 예측 불가능한 지연 변화였다. 아리스타네트웍스(Arista)는 운영체제(EOS), 고밀도 스위치 하드웨어, 정밀 텔레메트리와 결합한 아키텍처로 AI 워크로드 요구를 직접 겨냥했다.
본문은 실무 적용 관점에서 구체적 수치와 체크리스트를 제공한다.
주요 내용
- 목표 지연(P99/P999)과 처리량(모델별 QPS)을 먼저 정의한다. 지연 목표에 따라 물리적 토폴로지 결정이 바뀐다.
- 데이터 이동 빈도(체크포인트, 파라미터 서버, 샤드 간 통신)를 계량화해 네트워크 계층별 요구를 산출한다.
- 텔레메트리 방식(INT, sFlow, EOS Streaming Telemetry)과 샘플링 정책을 사전 설계한다. 계측량이 과다하면 제어 평면이 병목 된다.
- 하드웨어 로드맵(400G/800G, Co-Packaged Optics)과 소프트웨어(EOS 버전) 호환성 표를 검증한다.
매일 엑셀 반복 작업에 시달리던 실무자 A씨 사례 분석
사례: 매달 대규모 모델 배포 시 자동화 파이프라인에서 추론 레이턴시가 40ms에서 150ms로 요동쳤다. 인사이트 편집팀의 리포트에 따르면 주요 원인은 네트워크 홉 수 증가, 버퍼 부족과 불균등한 트래픽 엔진(동시 업데이트 급증)이었다.
개입: 1) 3-계층 전통 토폴로지를 플로우 기반 Spine-Leaf로 재설계, 2) Arista EOS의 스트리밍 텔레메트리로 P99 트래픽 경로 추적, 3) PFC와 ECN 기반 혼합 손실 제어를 적용해 재전송을 줄였다.
결과: 모델 추론 평균 지연은 45ms → 6ms, P99는 120ms → 9ms로 개선. 동시에 GPU 유틸리티는 12% 포인트 향상했고, 네트워크 관련 재시도 비용이 연간 약 28% 절감되었다.
| 비교 항목 | 기존 전통 네트워크 (Clos/3계층) | 아리스타 AI-최적화 구성 |
|---|---|---|
| 평균 추론 지연 | 45 ms | 6 ms |
| P99 지연 | 120 ms | 9 ms |
| 서버당 최대 연속 처리량 | 25 Gbps | 100 Gbps |
| GPU 활용도(평균) | 68% | 80% |
| 3년 TCO(네트워크 관련) | 기준 | -28% (운영·재시작 비용 포함) |
텔레메트리는 초당 샘플 수를 늘리는 것이 전부가 아니다. 트레이스당 핵심 헤더(플로우 ID, 큐 대기시간, 포트별 drop)는 반드시 포함하고, 집계 주기를 레이턴시 목표에 맞춰 동적으로 조정하라.
테스트 중 발견된 주의사항
- PFC(우선순위 기반 흐름 제어)는 손실을 줄이지만 잘못 구성하면 Head-of-Line 블로킹을 유발한다. 트래픽 클래스 매핑을 엄격히 검증할 것.
- 텔레메트리 데이터의 수집·저장 비용을 과소평가하면 운영비가 급증한다. 샘플링, 집계 및 보관 정책을 비용 모델에 반영하라.
- EOS 기능(예: CLOS 최적화, cut-through forwarding)과 스위치 ASIC의 펌웨어 버전 불일치가 성능 회복 문제를 일으킨다. 롤아웃 전 호환성 테스트를 표준화하라.
- Co-Packaged Optics(CPO)는 전력·냉각 요구를 변화시킨다. 랙 전력 계획을 반드시 재검토하라.
🔧 GitHub Actions LLM 코드리뷰 연동 방법
📌 실무 예산·성능 튜닝
12개월 내 적용 체크리스트
우선순위와 실행 단계는 다음과 같다. 각 항목은 검증 가능한 KPI(예: P99 latency, 재시도율, GPU 유휴 시간)와 연결해야 산출물이 의미를 갖는다.
- 지연 요구 산정: 서비스별 P50/P90/P99 목표 수치 명세화.
- 토폴로지 결정: AI 집약형 워크로드는 Spine-Leaf(2층) 아키텍처로 홉 수를 최소화한다.
- 하드웨어 사양: 400G/800G 스파인, 200G/400G 토폴로지 권장. CPO 도입 시 전력·냉각 리스크 분석 포함.
- 손실 관리: DCTCP/ECN 기반 혼합 제어 도입과 PFC 세분화. 재시도 정책은 애플리케이션 레벨과 일관시킬 것.
- 텔레메트리 설계: 스트리밍 텔레메트리로 P999 트레이스 가능성 확보. 샘플링·집계 기준 문서화.
- 운영 자동화: CloudVision 또는 유사한 중앙 제어로 구성·업데이트·롤백 절차 자동화. 캔리·A/B 배포 루틴 포함.
- 성능 검증 루틴: 합성·실제 부하 테스트로 p95/p99 기준 통과 여부 자동 체크.
네트워크 변경 전후에는 반드시 GPU-레이어(예: NCCL 토폴로지)에서의 통신 패턴을 프로파일링하라. 네트워크 지연만 줄여도 전체 배치 처리량이 크게 바뀌지만, 모델 분할 전략까지 최적화해야 진정한 개선이 된다.
결론적으로, 아리스타의 접근은 하드웨어·소프트웨어·운영 절차를 통합해 “일관된 초저지연”을 목표로 설계된다. 실무에서는 텔레메트리 설계와 손실 제어 정책, 하드웨어·펌웨어 호환성 검증을 우선해 비용 대비 실효성을 빠르게 검증해야 한다.