Inspur Information überzeugt im MLPerf Training v1.1 mit sieben Titeln für KI-Leistung

16 December 2021

Inspur hat beim MLPerf 2021 insgesamt 44 KI-Benchmark-Titel gewonnen.

SAN JOSE, Kalifornien / Stuttgart, 16. Dezember 2021 – Beim neuesten Training v1.1 des Open-Engineering-Konsortiums MLCommons hat Inspur Information NF5488A5- und NF5688M6-Server-Ergebnisse für alle acht Single-Node Closed Division-Aufgaben eingereicht und sieben davon gewonnen.

MLPerf wurde von MLCommons gegründet und ist ein KI-Leistungsbenchmark, der zu einer wichtigen Referenz für KI-Lösungen geworden ist. Am Training v1.1 nahmen 14 Organisationen teil. Ergebnisse für 180 Aufgaben der geschlossenen und sechs Aufgaben der offenen Abteilung wurden eingereicht.

Die Closed Division ist stark wettbewerbsorientiert: Sie erfordert die Verwendung von Referenzmodellen, um einen objektiven Vergleich der konkurrierenden Einreichungen zu ermöglichen. Die Benchmarks umfassten acht repräsentative Aufgaben des maschinellen Lernens, darunter Bildklassifizierung (ResNet50), Segmentierung medizinischer Bilder (U-Net 3D) und Verarbeitung natürlicher Sprache (BERT).

Der NF5688M6 von Inspur war der Spitzenreiter bei vier Aufgaben: Natürliche Sprachverarbeitung (BERT), Objekterkennung Heavy-Weight (Mask R-CNN), Empfehlung (DLRM) und Segmentierung medizinischer Bilder (U-Net 3D). NF5488A5 war Top-Performer bei drei Aufgaben: Bildklassifizierung (ResNet50), Objekterkennung Light-Weight (SSD) und Spracherkennung (RNNT).

Full-Stack-KI-Lösung führt zu höherer KI-Trainingsgeschwindigkeit

Die KI-Server von Inspur waren wegen der speziellen Software- und Hardware-Optimierungen führend bei der Single-Node-Leistung im MLPerf v1.1. Im Vergleich zu Training v1.0 stieg die KI-Trainingsgeschwindigkeit von Inspur in folgenden Bereichen: Medizinische Bildsegmentierung (18%), Spracherkennung (14%), Empfehlung (11%) und Verarbeitung natürlicher Sprache (8%).

Dank der höheren Geschwindigkeit können die Inspur AI-Server 12.600 Bilder in SSD, 8.000 Sprachstücke in RNNT oder 27.400 Bilder in ResNet50-Aufgaben pro Sekunde verarbeiten.

In ResNet50 hat Inspur die Vorverarbeitung von Bildern optimiert, ein DALI-Framework verwendet und die Dekodierung auf der GPU ausgeführt, um CPU-Engpässe zu vermeiden. Diese kontinuierlichen Optimierungen haben dafür gesorgt, dass Inspur bei den letzten drei Benchmarks die ResNet50-Rangliste anführte.

Die führende Leistung von Inspur in den MLPerf-Benchmarks basiert auf fortschrittlichen Systemdesign und Full-Stack-Optimierungen im Bereich KI. Auf der Hardware-Ebene ermöglicht das PCIe Retimer Free Design von Inspur eine Hochgeschwindigkeitsverbindung zwischen CPU und GPU und ermöglicht so eine engpassfreie IO-Übertragung beim KI-Training für eine verbesserte Effizienz. Für die kooperative Planung von Multi-GPU-Aufgaben mit hoher Auslastung wird die Datenübertragung zwischen NUMA-Knoten und GPUs optimiert und kalibriert – so wird sichergestellt, dass die Daten-IO in Trainingsaufgaben nicht blockiert werden. Inspur verwendet A100-SXM-80GB (500W) GPUs, die leistungsstärksten GPUs in der Branche. Dadurch wurde ein innovatives Cold-Plate-Flüssigkeitskühlsystems entwickelt, damit diese leistungsstarken GPUs stabil mit voller Leistung arbeiten können, was wiederum die volle Systemleistung garantiert.

MLPerf 2021 schließt offiziell mit 44 Titeln für Inpur Information ab

Die Ergebnisse des MLPerf Training v1.1 markieren den Abschluss des MLPerf 2021. Mit 44 Titeln im Jahr 2021 hat Inspur seine führende KI-Trainings- und Inferenzleistung unter Beweis gestellt.

Die KI-Server NF5488A5, NF5688M6 und der Edge-Server NE5260M5 von Inspur gewannen 18, 15 bzw. 11 Titel.

Der NF5488A5 ist einer der ersten A100-Server auf dem Markt. Er ist mit 8x 3rd Gen NVlink A100 GPUs und 2 AMD Milan CPUs in einem 4U-Gehäuse ausgestattet, das sowohl Flüssigkeits- als auch Luftkühlungstechnologie unterstützt.

Der NF5688M6 ist ein KI-Server, der für große Rechenzentren mit extremer Skalierbarkeit optimiert ist. Er unterstützt acht A100-GPUs, zwei Intel Ice Lake CPUs und bis zu 13 PCIe Gen4 IO-Erweiterungskarten.

Der NE5260M5 kann mit verschiedenen Hochleistungs-CPUs und KI-Beschleunigungskarten ausgestattet werden. Die Gehäusetiefe von 430 mm ist halb so groß wie die eines normalen Servers. In Kombination mit Optimierungen zur Vibrations- und Geräuschreduzierung und strengen Zuverlässigkeitstests ist er das ideale Gerät für Edge Computing.