Vorwort
Das Jahrestreffen des Zhongguancun-Forums 2024 und das Hard Technology Investment and Development Forum fanden kürzlich im Zhongguancun International Innovation Center statt. 180 Investoren, Finanziers, Unternehmer, Branchenexperten und relevante Regierungsführer aus der ganzen Welt mit Schwerpunkt auf „Globalisierung des Kapitals und Technologie im Ausland“, „Etablierung und Scheitern von Investitionen in harte Technologien“ und „neue globale Praxis von harten Technologien“. Es wurden intensive Austausche und Diskussionen geführt.
Han Geng, stellvertretender Generalsekretär der Volksregierung der Stadt Peking, sagte in seiner Rede, dass auf dem Weg in die neue Ära die Innovation und Entwicklung der harten Wissenschaft und Technologie als Kernelement der neuen Produktivkräfte unverzichtbar geworden sei und wichtige Kraft in Chinas Modernisierungsbemühungen. Die Zahl der Unicorn-Unternehmen in Peking steht landesweit seit jeher an erster Stelle, wobei Unicorn-Unternehmen mit harter Technologie mehr als 60 % ausmachen. Mit Blick auf die Zukunft hat Peking 20 unterteilte Branchen in sechs große Wissenschafts- und Technologiebereiche angelegt und 4 Dutzende Milliarden an Wissenschafts- und Technologieinnovationsfonds eingerichtet. Diese Fonds werden sich auf strategische aufstrebende Industrien wie künstliche Intelligenz, Robotik und medizinische Gesundheit konzentrieren .
Han Geng, stellvertretender Generalsekretär der Volksregierung der Stadt Peking
Als Alluxio, eine KI-Datenplattform der neuen Generation, die weltweit viel Aufmerksamkeit erregt hat, wurde Chefarchitekt Dr. Fu Zhengjia zur Teilnahme am Forum eingeladen und traf sich in den Jahren 2023 bis 2024 in der TED-Show zum Thema „Neu“ mit herausragenden Innovationsführern Global Practices of Hard Technology“, darunter Wang Shaolan, Präsident von Zhipu AI, He Huajie, Präsident der Pathfinder Group, Bu Xiangwei, Mitbegründer und Co-CEO von Oriental Space, Zhao Yongjie, CMO von Origin Quantum, und Zhong Haizheng, Der Gründer von Zhijing Technology teilte die neuesten Kerntechnologien und Anwendungspraktiken verschiedener Unternehmen.
Alluxio teilt das Thema:
„KI-Datenplattform der neuen Generation“
Dr. Fu Zhengjia, Chefarchitekt von Alluxio
Beschleunigte Entwicklung von KI im Vergleich zu Herausforderungen im Datenmanagement
KI entwickelt sich derzeit rasant weiter und hat sowohl in vertikalen als auch horizontalen Bereichen verschiedener Branchen große Aufmerksamkeit erhalten. Ray Kurzwell, ein Investor und Zukunftsforscher aus den Vereinigten Staaten, prognostiziert, dass „künstliche Intelligenz im Jahr 2029 das Niveau menschlicher Intelligenz erreichen wird und bis 2045 die Fähigkeiten der biologischen maschinellen Intelligenz, die durch intelligente Technologie und menschliche Zivilisation geschaffen wurden, um eine Milliarde erweitert werden.“ Jen-Hsun Huang, CEO von NVIDIA, ist davon überzeugt, dass wir einen Anstieg der Nachfrage nach einer globalen Umstrukturierung von Rechenzentren erleben werden und mehr. Viele Unternehmen beginnen mit der Vorbereitung oder nutzen KI, um ihre Unternehmen zu stärken, indem sie Modelle trainieren und sie auf tatsächliche Unternehmen anwenden, um die Produktionseffizienz zu verbessern und mehr Wert zu schaffen.
Gleichzeitig ist mit der neuen Generation der KI ausgehend von ChatGPT die Modellstruktur immer komplexer geworden, die Anzahl der beteiligten Parameter ist immer größer geworden und auch der Bedarf an Rechenleistung hat zugenommen offensichtlich. Daher wird allgemein angenommen, dass die drei wichtigsten Kerne für die Entwicklung von KI Rechenleistung, Algorithmen und Daten sind. Allerdings wird die Bedeutung des Aufbaus der KI-Infrastruktur oft ignoriert Nur mit großen Kernfähigkeiten können die drei Kernaspekte der KI besser genutzt werden.
Auch Unternehmen stehen beim Aufbau einer KI-Infrastruktur vor einer Reihe von Herausforderungen:
Derzeit sind inländische Unternehmen im Allgemeinen mit den Problemen der GPU-Knappheit, des hohen Preises und der geringen Auslastung konfrontiert. Aber selbst wenn das Problem der GPU gemildert werden kann, wird ein weiteres Problem entstehen, nämlich wie die Daten des GPU-Computings besser verwaltet und bereitgestellt werden können , wie man die von der GPU geforderte Datenzugriffseffizienz erreicht (wenn Daten-E/A zu einem Engpass wird, wird die GPU-Auslastung unzureichend und Sie müssen warten, bis die Daten in die GPU geladen sind, bevor das Training durchgeführt werden kann);
Algorithmen- und Unternehmensführer fordern häufig schnellere Modellkonstruktionszyklen und Iterationsgeschwindigkeiten. Wir sehen auch einen sehr klaren Wachstumstrend bei der Datenerfassung für intelligentes Fahren und fahrerlose Fahrzeuge sowie bei der Erfassung und Kommentierung von Daten aus verschiedenen Branchen Unternehmen müssen sich auf die wachsende Datenmenge vorbereiten.
Das Größenwachstum hat zum einen das Wachstum des gesamten Datenvolumens. Wie viele Milliarden Bilder und wie viele Stimmen gibt es insbesondere? Auch multimodale, textbasierte Bilder, textbasierte Videos und verschiedene Modelle erfordern eine Datenaufbereitung, sodass die Datenmenge weiter zunehmen wird.
Andererseits wächst die Größe der Daten selbst. Vor ein paar Jahren haben wir gesehen, dass ein Gesichtserkennungsbild möglicherweise nur 100 KB oder 200 KB groß ist. Heute sehen wir jedoch Videobilder, hochauflösende 4K-Bilder und ein Bild ist 1 MB, 4 MB, 8 MB, die Daten selbst wachsen ständig. Wenn diese beiden Dimensionen multipliziert werden, wächst die Größe der gesamten Daten auf quadratischer Ebene.
Daher benötigen wir eine bessere Datenspeicher- und Daten-I/O-Lösung für die gesamte Trainingsplattform, um den Trainingseffekt zu verbessern.
Alluxio-Lösungen
Es gibt einige Lösungen auf dem Markt, die die Anforderungen bis zu einem gewissen Grad erfüllen können, aber viele Probleme mit sich bringen, insbesondere einige Lösungen, die ursprünglich für Supercomputing-Zentren gedacht waren, wie z. B. kommerzielle Speicher, die sehr teuer sind, aber nicht darauf ausgelegt sind Lösen Sie die aktuellen Probleme. Entwickelt für die Herausforderungen typischer KI-Szenarien.
Daher hofft Alluxio, eine leistungsstarke verteilte Datenzugriffsplattform nutzen zu können, um die Probleme der Datenplattform und der Daten-E/A in der gesamten KI besser zu lösen. Alluxio liegt zwischen Computer-Frameworks (Trainingsplattform-Frameworks) wie Pytorch, TensorFlow, Ray und Datenspeicher. Es kann langsame Speicher- und Rechenleistungs-Frameworks koordinieren und orchestrieren.
Durch Alluxio können Daten näher an Rechenknoten wie GPU- und CPU-Rechenleistung gebracht werden, und die Daten können schnell und automatisch von heiß und kalt getrennt werden, sodass die Daten schnell durch GPU-Trainingsaufgaben erfasst werden können. Gleichzeitig kann Alluxio verschiedene Arten von zugrunde liegenden Datenquellen kombinieren, um eine kostengünstige Gesamtlösung mit hohem ROI zu bilden, die aus kostengünstigem Cold Storage und Alluxio Hot Cache besteht.
Das erste Szenario, das diese Lösung hauptsächlich löst, besteht darin, dass ein Unternehmen über eigene Daten verfügt, die nicht in der Cloud abgelegt werden können, da diese relativ sensibel sind. Gleichzeitig reicht die lokale Rechenleistung nicht aus Um GPUs von anderen Rechenzentren auszuleihen, benötigen Unternehmen derzeit eine Lösung, die eine flexible GPU-Bereitstellung unterstützt und die Daten- und Rechenleistungsplanung sehr gut bewältigen kann.
Das zweite Szenario besteht darin, dass das Modelltraining an Online-Inferenzcluster verteilt werden muss. Es gibt möglicherweise eine große Anzahl von Inferenzclustern, bei denen es zu E/A-Engpässen im Inferenzbereitstellungsprozess kommt In diesem Fall kann Alluxio die bei der Inferenzbereitstellung auftretenden Probleme sehr effizient lösen.
Der Wert, den Alluxio bietet
Insgesamt kann Alluxio in der neuen Generation von KI-Trainingsplattformen nicht nur Beschleunigungsdienste für den gesamten Trainingsprozess bereitstellen, sondern auch eine bessere Inferenz und Verteilung bereitstellen, wenn das trainierte Modell im Inferenzcluster bereitgestellt wird Die Lösung kann Alluxio im Vergleich zum Kauf zusätzlicher, sehr teurer Hardware schnell bereitstellen und nutzen. Unternehmen müssen nur kostengünstige Standardhardware verwenden und erzielen so eine echte Kostensenkung und Effizienzsteigerung.
Durch die Testüberprüfung können wir intuitiv erkennen, dass eine Trainingsaufgabe ohne Alluxio 85 Minuten dauert, mit Alluxio jedoch nur 17 Minuten, und dass die Effizienz um das Fünffache der gesamten Trainingszeit ausmacht Der Wert ist dadurch deutlich gesunken, dass Alluxio die Auslastung der GPUs, für deren Anschaffung Unternehmen viel Geld ausgeben, von ursprünglich 17 % auf 93 % steigern kann, was nicht nur die Infrastruktur des Unternehmens erheblich verbessert ROI und beschleunigt gleichzeitig den endgültigen Geschäftsstart.
Derzeit wird Alluxio von Unternehmen und Institutionen in verschiedenen Branchen auf der ganzen Welt weit verbreitet. Wir freuen uns darauf, mit allen zusammenzuarbeiten, um die Entwicklung der KI zu beschleunigen und den Unternehmen eine effizientere Kapitalrendite zu ermöglichen.
✦
[Assistent hinzufügen, um weitere Informationen zu erhalten]
✦
✦
【Aktuelle Popularität】
✦
✦
【Baodian-Markt】
✦
Dieser Artikel wurde über das öffentliche WeChat-Konto – Alluxio (Alluxio_China) – geteilt.
Bei Verstößen wenden Sie sich bitte zur Löschung an [email protected].
Dieser Artikel ist Teil des „ OSC Source Creation Plan “. Alle, die ihn lesen, sind herzlich eingeladen, mitzumachen und ihn gemeinsam zu teilen.