Inspur gewinnt mit überragender KI-Leistung in MLPerf Inference

04 October 2021

Unter den Mainstream-High-End-KI-Servern mit acht NVIDIA A100 SXM4-GPUs belegten die Inspur-Server in allen Aufgaben der Closed Division in der Kategorie Data Center die Spitzenposition.

San Jose, Kalifornien / Stuttgart, 4. Oktober 2021 – Der chinesische Serverhersteller Inspur hat bei MLPerf™ Inference V1.1 in der Closed Division in 15 von 30 Aufgaben den ersten Platz belegt und war damit der erfolgreichste Anbieter. MLPerf™ Inference V1.1 ist die führende KI Benchmark-Suite des Technologiekonsotriums MLCommons™.

Im MLPerf™ Inference V1.1 Benchmark-Test umfasste die Closed Division zwei Kategorien - Data Center (16 Aufgaben) und Edge (14 Aufgaben). In der ersten Kategorie wurden sechs Modelle abgedeckt, darunter Bildklassifizierung (ResNet50), Segmentierung medizinischer Bilder (3D-UNet), Objekterkennung (SSD-ResNet34), Spracherkennung (RNN-T), Verarbeitung natürlicher Sprache (BERT) und Recommendation (DLRM). Für BERT, DLRM und 3D-UNET wurde ein hoher Präzisionsmodus (99,9%) festgelegt. Bei jeder Modellaufgabe wurde die Leistung sowohl im Server- als auch im Offline-Szenario bewertet – mit Ausnahme von 3D-UNET, welches nur im Offline-Szenario bewertet wurde. Für die Kategorie Edge wurde das Modell Recommendation (DLRM) entfernt und das Modell Object Detection (SSD-MobileNet) hinzugefügt. Für 3D-UNET wurde ebenfalls ein hoher Präzisionsmodus (99,9%) festgelegt. Alle Modelle wurden sowohl für Offline- als auch für Single-Stream-Inferenz getestet.

In der wettbewerbslastigen Closed Division konkurrierten die wichtigsten Anbieter miteinander und alle Teilnehmer mussten die gleichen Modelle und Optimierungssysteme verwenden. Auf diese Weise konnte die Leistung von KI-Computersystemen verschiedener Anbieter leicht bewertet und verglichen werden. Neunzehn Anbieter, darunter Nvidia, Intel, Inspur, Qualcomm, Alibaba, Dell und HPE, nahmen an der Closed Division teil. Insgesamt wurden 1.130 Ergebnisse eingereicht, davon 710 für die Kategorie Data Center und 420 für die Kategorie Edge.

Umfassende KI-Funktionen steigern die Leistung

Inspur erzielte in diesem MLPerf™-Wettbewerb mit seinen drei KI-Servern NF5488A5, NF5688M6 und NE5260M5 hervorragende Ergebnisse:

· Der NF5488A5 ist einer der weltweit ersten Server mit NVIDIA A100 Grafikprozessoren auf dem Markt. Auf einer Fläche von vier HE sind acht NVIDIA A100 GPUs, die über einen NVLink der dritten Generation miteinander verbunden sind. Zusätzlich beinhaltet der Server zwei AMD Milan CPUs. Dieser Aufbau wird mit einer einzigartigen Mischung aus Flüssigkeits- und Luftkühlung erreicht.

· Der NF5688M6 ist ein KI-Server, der aufgrund seiner außergewöhnlichen Skalierbarkeit für große Rechenzentren konzipiert wurde. Er unterstützt acht NVIDIA A100-GPUs, zwei Intel Icelake-CPUs und bis zu 13 PCIe 4.0-Add-in-Karten.

· Der NE5260M5 verfügt über optimierte Signalisierungs- und Stromversorgungssysteme. Somit bietet der Server weitreichende Kompatibilität mit Hochleistungs-CPUs und einer breiten Palette von KI-Beschleunigerkarten. Er verfügt über ein stoßdämpfendes und geräuschreduzierendes Design und wurde einer strengen Zuverlässigkeitsprüfung unterzogen. Mit einer Gehäusetiefe von 430 mm – fast die Hälfte der Größe herkömmlicher Server – lässt er sich auch in platzbeschränkten Edge-Computing-Szenarien integrieren.

Inspur belegte den ersten Platz in 15 Aufgaben, die alle KI-Modelle abdecken, einschließlich medizinischer Bilderkennung, natürlicher Sprachverarbeitung, Bildklassifizierung, Spracherkennung, Empfehlungen sowie Objekterkennung (SSD-ResNet34 und SSD-MobileNet). Die Ergebnisse zeigen, dass Inspur von der Cloud bis zu Edge in fast allen Aspekten der Industrie voraus ist. Inspur erreichte im Vergleich zu früheren MLPerf-Veranstaltungen enorme Leistungssprünge bei verschiedenen Aufgaben in der Kategorie Rechenzentrum, obwohl die Serverkonfiguration nicht verändert wurde. Die Modellleistungsergebnisse in der Bildklassifizierung (ResNet50) und der Spracherkennung (RNN-T) stiegen um 4,75 Prozent und 3,83 Prozent im Vergleich zum V1.0 Wettbewerb vor nur sechs Monaten.

Die herausragende Leistung der KI-Server von Inspur im MLPerf™-Benchmark-Test ist dem außergewöhnlichen Systemdesign und der umfassenden Optimierung der KI-Computing-Systeme von Inspur zu verdanken. Durch präzise Kalibrierung und Optimierung konnten die CPU- und GPU-Leistung sowie die Datenkommunikation zwischen CPUs und GPUs die höchsten Werte für KI-Inferenz erreichen. Durch die Verbesserung des Round-Robin-Schedulings für mehrere GPUs auf der Grundlage der GPU-Topologie kann die Leistung einer einzelnen GPU oder mehrerer GPUs nahezu linear gesteigert werden.

Der Inspur NF5488A5 war der einzige KI-Server in diesem MLPerf™-Wettbewerb, der acht 500W A100-GPUs mit Flüssigkeitskühlung unterstützte, was die KI-Rechenleistung erheblich verbesserte. Unter den Mainstream-High-End-KI-Servern mit acht NVIDIA A100 SXM4-Grafikprozessoren haben die Server von Inspur in allen 16 Aufgaben der Closed Division in der Kategorie Data Center am besten abgeschnitten.

MLPerf™ wurde vom Turing Award-Gewinner David Patterson und renommierten akademischen Einrichtungen entwickelt und ist der branchenweit führende Benchmark für KI-Leistung. MLCommons™ wurde 2020 gegründet und basiert auf auf MLPerf™-Benchmarks. Das gemeinnützige Technologiekonsortium fördert Standards und widmet sich Metriken für maschinelles Lernen und KI-Leistung. Inspur ist ein Gründungsmitglied von MLCommons™, zusammen mit über 50 anderen führenden Organisationen und Unternehmen aus der KI-Branche.

Als führendes KI-Computing-Unternehmen engagiert sich Inspur in der Forschung, Entwicklung und Innovation von KI-Computing, einschließlich ressourcenbasierter und algorithmischer Plattformen. Inspur kooperiert auch mit anderen führenden KI-Unternehmen, um die Industrialisierung von KI und die Entwicklung von KI-gesteuerten Industrien durch sein "Meta-Brain"-Technologie-Ökosystem zu fördern.

Um die vollständigen Ergebnisse von MLPerf™ Inference v1.1 zu sehen, klicken Sie hier:

https://mlcommons.org/en/inference-datacenter-11/

https://mlcommons.org/en/inference-edge-11/;