Abstrakt
Da die künstliche Intelligenz (KI) rasant voranschreitet, stehen herkömmliche Rechenzentrumsnetzwerke bei der Übertragung des KI-Verkehrs vor großen Herausforderungen. Eine hohe Bandbreitenauslastung und eine geringe Anzahl von Elefantenflüssen können dazu führen, dass der herkömmliche Lastausgleich pro Fluss unwirksam wird, was zu Überlastung und Paketverlusten führt, die die Schulungs- und Auftragsabwicklungszeiten für KI-Modelle erheblich verlängern. In diesem Whitepaper wird eine dynamische, intelligente Routing-Technologie untersucht, die Echtzeitbewusstsein mit intelligenter Entscheidungsfindung kombiniert. Es verwendet Pfadqualitätsmessung, BGP-erweiterte-Attributsynchronisierung, dynamisches gewichtetes -Kosten-Multipath (WCMP), Entfernung abnormaler{9}}Pfade und
Automatischer Lastausgleich (ALB) auf Flowlet--Ebene zur Verbesserung der Traffic-Planung in KI-Umgebungen. Das Design nutzt außerdem Virtualisierung, um eine mandantenfähige Isolierung bereitzustellen und bietet Anwendungsszenarien und Planungsanleitungen für effiziente, stabile und intelligente KI-Rechenzentrumsnetzwerke.
Einführung: Netzwerkentwicklung in der KI Epoche
Warum traditionelle Netzwerke mit KI zu kämpfen haben Verkehr
In herkömmlichen Rechenzentrumsnetzwerken ermöglicht eine große Anzahl kleiner Flüsse den Lastausgleich pro Fluss, um eine akzeptable Verteilung und Vermeidung von Überlastungen zu erreichen, auch ohne Echtzeitkenntnis der Netzwerkbedingungen. Der KI-Verkehr ist ganz anders: Die Bandbreitenauslastung ist extrem hoch und der Verkehr wird oft nur von wenigen Elefantenströmen dominiert. Hash-Kollisionen können daher dazu führen, dass mehrere große Flüsse auf denselben Pfad geleitet werden, während andere Pfade nicht ausreichend genutzt werden. Sobald ein Paketverlust auftritt, kann sich die Fertigstellungszeit der gesamten KI-Arbeitslast erheblich verlängern. Aus diesem Grund konzentriert sich die Branche zunehmend auf optimierte Load-Balancing-Algorithmen für KI-Fabrics, damit der Datenverkehr gleichmäßiger auf mehrere Pfade verteilt wird.
Abbildung 1. Vergleich von KI-Elefanten--Verkehrsströmen und herkömmlichen kleinen-Verkehrsströmen.
Kombination von dynamischem Bewusstsein mit intelligenter Entscheidungsfindung-
Dynamisches intelligentes Routing ist eine bewusstseinsbasierte-Lastausgleichstechnologie-. Es nutzt die von Switches in der Fabric erfasste Pfadqualität, um die lokale Pfadauswahl anzupassen und unterstützt den dynamisch gewichteten Lastausgleich. Die auf BGP basierende Technologie definiert ein neues erweitertes -Community-Attribut.
Zur Bewertung der Pfadqualität werden multi{0}dimensionale Messungen mit hoher-Präzision verwendet. Das Ergebnis wird über BGP weitergegeben, um die nachfolgende Datenverkehrsweiterleitung zu steuern. Dies verbessert die netzwerkweite Lastverteilung und verkürzt die Antwortzeit der Anwendung [1].
Abbildung 2. Dynamischer Bewusstseins-, Entscheidungs- und Ausführungsworkflow.
Kerntechnologien: Intelligente Verkehrsplanung
Zu den gängigen Netzwerk-Load-Balancing-Ansätzen- gehören:
- Pro-Flow ECMP: Der gebräuchlichste Ansatz, basierend auf einem Fünf-Tupel-Hash. Es funktioniert gut, wenn es viele Flüsse gibt, und behält die Paketreihenfolge bei, aber Hash-Kollisionen können zu einem schlechten Ausgleich führen, wenn die Anzahl der Flüsse niedrig ist, wie beim KI-Training [1].
- Flowlet-basierter Ausgleich: Hängt von der korrekten Konfiguration der Inter-Flowlet-Lücke ab. Eine genaue Konfiguration ist schwierig, wenn die globale Latenz auf Pfad-ebene unbekannt ist [1].
- Pro-Paket ECMP: Bietet eine hervorragende theoretische Ausgewogenheit, kann jedoch zu einer umfangreichen Neuordnung der Pakete beim Empfänger führen [1].
Der dynamische intelligente Routing-Ansatz, der von XingRongyuan CX-N Series RoCE-Switches (SONiC-basiert) verwendet wird, kombiniert Pro-Flow ECMP und Flowlet-basierten Balancing. Es führt dynamisches WCMP (Weighted Cost Multipath) und Flowlet-basiertes ALB (Auto Load Balancing) ein [1].
Messung der Pfadqualität
Das System bewertet die Netzwerkpfadqualität anhand von Faktoren, die sich stark auf AI-Cluster-Fabrics auswirken, einschließlich Bandbreitennutzung, Warteschlangennutzung und Weiterleitungslatenz.
Statistische Zähler
Bandbreite und Warteschlangenauslastung werden durch ASIC-Hardwarezähler mit einer Genauigkeit von hundert-Millisekunden gemessen. Der ASIC zeichnet Port-{2}}Weiterleitungs- und Warteschlangen--Weiterleitungszähler in Echtzeit auf. Die SONiC-Steuerungsebene liest die Zähler über die SAI-Schnittstelle mit einer Genauigkeit von weniger als -Sekunden und speichert sie in Redis. Der Routing--Kontrollprozess bewertet die Schnittstellenqualität mithilfe dieser Zähler und gibt das Ergebnis über BGP bekannt. Um die Belastung der Steuerungsebene zu begrenzen, werden Ankündigungen derzeit in Intervallen der zweiten Ebene gesendet, wobei ein gewichteter Durchschnitt auf mehrere Stichproben angewendet wird. Neuere Proben erhalten ein höheres Gewicht.
In-Band-Telemetrie
Die Messung der Weiterleitungsverzögerung-basiert auf INT (In-Band-Netzwerktelemetrie) und kann eine Genauigkeit im Nanosekundenbereich- erreichen. HDC (High Delay Capture) erfasst Pakete, die im ASIC eine hohe Latenz aufweisen. Wenn ein Paket einen benutzerdefinierten Verzögerungsschwellenwert überschreitet, sendet der Switch die ersten 150 Bytes des Originalpakets zusammen mit Metadaten, einschließlich Eingangsport, Ausgangsport und Latenz, an einen Collector. In diesem Design fungiert die CPU als HDC-Sammler und -Analysator und ermöglicht hoch{8}}präzise Weiterleitungs--Verzögerungsmessungen und eine genauere Bewertung der Pfadqualität.
Abbildung 3. Pfad-Qualitätsweitergabe und WCMP-Installation.
Die Technologie verwendet ein neues BGP-extended-Community-Attribut, die Path Bandwidth Extended Community, um die Gesamtqualität eines Pfads zu einem Ziel anzugeben. Das höherwertige Byte des erweiterten Feldes vom Typ - ist 0x00 und das niederwertige Byte ist 0x05. Im Wertfeld stellt das Unterfeld „Globaler Administrator“ die AS-Nummer dar. Die Pfadqualität wird im IEEE-Gleitkommaformat in vier Bytes codiert und in GB/s ausgedrückt.
Wenn NIC1 mit NIC2 kommuniziert, gibt NIC2 seine IP-Adresse zunächst Leaf2 bekannt. Leaf2 gibt dem Spine die Adresse zusammen mit dem Linkqualitätswert zu NIC2 multipliziert mit der Downlink-Gewichtung von Leaf2 bekannt. Der Spine fügt seine eigene gewichtete Linkqualität hinzu und übergibt den akkumulierten Wert an Leaf1. Leaf1 fasst die Pfadqualität zusammen und installiert Routen, die die Weiterleitung steuern. In einer zweistufigen Leaf--Spine-Fabric werden Ports als Leaf-Uplinks, Leaf-Downlinks und Spine-Ports mit konfigurierbaren Berechnungskoeffizienten für jede Klasse klassifiziert.
Dynamisches WCMP
Durch den Lastausgleich wird der Datenverkehr auf mehrere Links verteilt. In KI-Umgebungen ist dies für den Aufbau einer verlustfreien Ethernet-Fabric mit minimalem Paketverlust, minimaler Latenz und Durchsatzbeeinträchtigung von entscheidender Bedeutung. ECMP ist der herkömmliche Mechanismus in Rechenzentren. WCMP erweitert ECMP durch die Verteilung
Traffic proportional über die Links hinweg. Beim dynamischen intelligenten Routing werden WCMP-Gewichte in Echtzeit entsprechend der Pfadqualität angepasst. Wenn beispielsweise zwei Pfade zwischen NIC1 und NIC2 vorhanden sind, berechnet das System möglicherweise ein Verhältnis von 3:7. Wenn sich der Datenverkehr ändert, werden aktualisierte Pfadqualitätsinformationen über BGP an jeden Leaf-Switch weitergegeben, wo dynamische WCMP-Routen zur Steuerung der Weiterleitung generiert werden.
Entfernung abnormaler Pfade
Wenn die Gesamtqualität eines Pfads unter einen vereinbarten Schwellenwert fällt, gilt der Pfad als unbrauchbar für die KI-Arbeitslast und wird aus der Weiterleitung entfernt. Die verbleibenden Pfade leiten den Datenverkehr weiterhin über dynamisches WCMP. Sobald der Pfad wieder normal ist, wird er wiederhergestellt. Obwohl dadurch möglicherweise vorübergehend ein Teil der Kapazität ungenutzt bleibt, werden schwerwiegendere Überlastungen und Paketverluste vermieden [1].
Intelligenter Lastausgleich (ALB)
ALB bietet eine Flowlet-basierte Lastverteilung. Der ASIC misst Last und Latenz an verschiedenen Ports in Echtzeit und leitet jedes Flowlet an den Link mit geringerer Last oder geringerer Verzögerung weiter. Dies fügt zusätzlich zum herkömmlichen ECMP eine detailliertere -Planung hinzu. ALB unterstützt auch Port-Failover und verteilt den Datenverkehr automatisch neu, wenn eine Ausgangsverbindung ausfällt [1].
Virtualisierung
Front-{0}}Netzwerke benötigen oft Multi--Unterstützung für mehrere Mandanten, damit unterschiedliche GPU-Ressourcen verschiedenen Benutzern zugewiesen werden können. Die Lösung verwendet VRF (Virtual Routing and Forwarding), um Mandanten zu isolieren, wobei jedem Benutzer ein VRF zugewiesen wird. GPU-bezogene Subnetze werden im VRF des Benutzers platziert, und PRE-ACLs im ASIC klassifizieren den eingehenden Datenverkehr, sodass der Datenverkehr jedes Benutzers nur innerhalb des entsprechenden VRF weitergeleitet wird [1].
Anwendungsszenarien
1.Wie dynamisches WCMP Verkehrsspitzen absorbiert
Für eine Fabric mit 256 x 400G-GPU-Ports kann eine zwei{2}}Clos-Architektur mit einem 1:1-Downlink-zu-Uplink-Konvergenzverhältnis entworfen werden, um hohen Durchsatz, hohe Bandbreite und symmetrische Kapazität aufrechtzuerhalten. Zu den geeigneten Produktmodellen gehören XingRongyuan CX864E-N oder CX732Q-N [1]. Unter herkömmlichem ECMP kann es sein, dass eine kleine Anzahl von KI-Elefantenströmen an denselben Spine gehasht wird, was zu einer Überlastung des Uplinks oder zu Paketverlusten führt. Dynamisches WCMP passt die Verkehrsverteilung kontinuierlich an die Echtzeit-Pfadqualität an, reduziert so Verkehrsspitzen und vermeidet Staus [1].
2.Flowlet-Level Load Balancing
In derselben 256 x 400G GPU-Struktur wird nicht jedes Gerät oder jede Arbeitslast optimal durch dynamisches WCMP bedient. Der Switch kann Flowlet-basierten ALB dynamisch auswählen. ALB misst die Last und Latenz von Links in der ECMP-Gruppe und sendet Flowlets an Links mit geringerer Auslastung oder Verzögerung. Wenn eine Schnittstelle überlastet wird oder ihre Weiterleitungsverzögerung zunimmt, vermeidet der ASIC diesen Ausgang automatisch, bis sich die Bedingungen wieder normalisieren [1].
Planung und Design von KI-Netzwerken
KI-Dienste umfassen im Allgemeinen drei Phasen: Datenerfassung und -vorverarbeitung, Modelltraining und KI-Inferenz. Jede Stufe stellt unterschiedliche Anforderungen an das Netzwerk.
1. Datenerfassung und Vorverarbeitung
Ein globales Trainings-{0}}Datenerfassungs- und Vorverarbeitungsnetzwerk muss umfangreiche{1}elastische öffentliche IP- und Bandbreitenressourcen bereitstellen, damit riesige Rohdatensätze effizient aus dem globalen Internet erfasst werden können. Das Design muss eine sichere und stabile Übertragung gewährleisten und gleichzeitig die Datenaggregation und Vorverarbeitungsleistung verbessern [2].
1.1 VPC-Segmentierung
Das VPC-Design für die Cloud-{0}basierte Datenerfassung sollte den Grundsätzen der geringsten-Berechtigung, der mehrschichtigen Isolation, der Sicherheitskontrolle und der elastischen Skalierbarkeit folgen. Es können entweder mehrere VPCs oder mehrere Subnetze innerhalb einer einzelnen VPC verwendet werden [2].
- Segmentierung nach Servicestufe: Stellen Sie Datenerfassung, Vorverarbeitung, Speicherung, Schulung und Inferenz in separaten Subnetzen oder VPCs bereit. Platzieren Sie Sammeleinstiegspunkte in einer DMZ-VPC oder einem öffentlichen Subnetz. Platzieren Sie Vorverarbeitungs- und temporäre Daten in einer dedizierten Verarbeitungs-VPC. Platzieren Sie sensible Rohdaten und KI-Training in einer Hochsicherheits-VPC ohne direkten öffentlichen Zugriff.
- Nach Sicherheitsstufe isolieren: Erstellen Sie VPCs oder Subnetze mit hoher-, mittlerer- und niedriger-Sicherheit und verwenden Sie Sicherheitsgruppen, Netzwerk-ACLs und private Konnektivität, um den Cross-VPC- und Cross-Subnetz-Verkehr zu steuern.
- Isolieren nach Mandant oder Projekt: Weisen Sie verschiedenen Mandanten oder Projekten separate VPCs zu, um Ressourcen, Netzwerke und Daten zu isolieren.
1.2 Datenerfassungs-Ausgangsnetzwerk
NAT-Gateway: Nutzen Sie einen Pool von EIPs und SNAT über ein NAT-Gateway, sodass Erfassungsprogramme über zufällig ausgewählte öffentliche IP-Adressen auf das Internet zugreifen können.
Selbst-erstellter Proxy: Stellen Sie Proxyserver bereit, die Zuordnungen zwischen Erfassungsprozessen und öffentlichen IP-Adressen verwalten, und verteilen Sie eine einzelne Erfassungsanforderung auf mehrere Proxys.
IP-Dienstanbieter: Stellen Sie über das private Cloud-Netzwerk eine Verbindung zu einem IP-Dienstanbieter her, um geringere Kosten, kontrollierte Sicherheit und stabile Qualität zu erzielen [2].
1.3 Regionsübergreifende Datenaggregation und Vorverarbeitung
Wählen Sie die OSS-Region entsprechend dem Vorverarbeitungs--Clusterplan aus und erstellen Sie eine Datenaggregations-VPC in derselben Region. Erstellen Sie in jeder Region einen Transit Router (TR), verbinden Sie lokale VPCs und verbinden Sie die TRs, sodass regionale Sammel-VPCs direkt auf das zentrale OSS zugreifen können. Dienste wie PAI-iTAG, MaxCompute und Flink können dann die Datenkennzeichnung und Vorverarbeitung in der OSS-Region durchführen [2].
2. Modelltrainingsnetzwerk
Das Modell-Trainingsnetzwerk ist eng in das Sammlungs- und Vorverarbeitungsnetzwerk integriert, um eine globale Struktur zu bilden, die Cloud-Rechenzentren, Edge-Knoten und lokale IDCs verbindet.
Hochgeschwindigkeitsverbindungen sorgen für niedrige {{1}Latenzzeiten und einen hohen-Durchsatz bei der Datenübertragung, während Bandbreite, Sicherheitsrichtlinien, Zugriffskontrollen und Notfallwiederherstellung durchgängig konzipiert werden müssen [2].
- In-regionsübergreifendem-Cluster-Rechenpool: Ein Transit-Router verbindet mehrere VPCs innerhalb derselben Region. Server-ENIs stellen eine Verbindung zu VPC-Switches her und können für den erforderlichen Durchsatz und RDMA konfiguriert werden.
- Cloud-übergreifender Compute-Pool: Dedizierte Leitungen verbinden einen IDC oder eine andere Cloud mit einer VPC derselben{1}}Region. Alibaba Cloud VBRs stellen auf Layer 3 eine Verbindung zum Peer-Gerät her, mit BGP, BFD und schnellem Failover für schnelle Konvergenz.
Globaler Rechenpool: Regionsübergreifende Verbindungen zwischen TRs werden entsprechend dem Spitzenverkehr zwischen-Regionen bereitgestellt, mit optionaler inter-regionaler QoS, um einen einheitlichen Rechenpool über Regionen hinweg zu erstellen [2].
3. Global Inference-Dienstnetzwerk
Ein globales Inferenznetzwerk wählt Bereitstellungsmodelle entsprechend den in jeder Region verfügbaren Ressourcen und Cloud-Diensten aus und sorgt für eine effiziente Dienstverteilung und einen effizienten Zugriff [2].
- Modell- oder Agent-Bereitstellung: Verwenden Sie Model Studio MaaS-Bereitstellung, PAI-EAS- oder Function Compute-PaaS-Bereitstellung oder IaaS-Bereitstellung auf EGS-, ACK-, ACS- oder Lingjun-Bare-Metal-Infrastruktur innerhalb der Kunden-VPC.
- Dienstverteilung: Erstellen Sie eine Inferenzverteilungs-VPC und verbinden Sie private Netzwerke mithilfe von VPC-Peering, zugehörigen Cloud-Dienst-VPCs oder PrivateLink. Stellen Sie ALB oder erweitertes ALB als Zugriffspunkt und Proxy-Anfragen an verschiedene Modelle oder Agenten bereit.
- Servicezugriff: Lokale Internetnutzer können direkt auf erweitertes ALB zugreifen; Remote-Benutzer können Global Accelerator (GA) verwenden. Interne oder externe Alibaba Cloud-Unternehmensbenutzer können über PrivateLink eine private Verbindung herstellen.
Fazit und Ausblick
In diesem Whitepaper werden die Herausforderungen erläutert, mit denen IDC-Netzwerke im KI-Zeitalter konfrontiert sind, und wie dynamisches intelligentes Routing diese bewältigen kann. Dynamisches Bewusstsein, intelligente Entscheidungsfindung, WCMP-, ALB- und VRF-Virtualisierung verbessern die Effizienz des Lastausgleichs, reduzieren Staus und Paketverluste und beschleunigen das KI-Training und die Inferenz. Im Planungsabschnitt liegt der Schwerpunkt auf der VPC-Segmentierung, dem Design der Sammlung-ausgehenden Daten, der regionalen Aggregation und Vorverarbeitung, dem Modelltraining und der Bereitstellung globaler Inferenzen. Im Zuge der Weiterentwicklung der KI werden an Rechenzentrumsnetzwerke strengere Anforderungen gestellt. Das dynamische intelligente Routing wird sich für Edge-KI, föderiertes Lernen und andere komplexe Szenarien weiter verbessern. Zukünftige IDC-Netzwerke werden einen größeren Schwerpunkt auf die Konvergenz von Rechennetzwerken, Energieeffizienz und automatisierte Abläufe legen und so eine intelligentere, effizientere und zuverlässigere Grundlage für die digitale Wirtschaft schaffen.
Referenzen
Vom Benutzer-bereitgestelltes technisches Quelldokument.
Whitepaper zum Alibaba Cloud AI Network. Zugriff am 27. Mai 2026.
https://help.aliyun.com/zh/cloud-network-well-architected-design/alibaba-cloud-ai-network-white-paper