Autor: Yue Yang, Chen Dequan, Liu Jingna
Beijing Yushi Technology Co., Ltd. wurde im Juni 2023 gegründet. Yushi Technology positioniert sich als „thematischer Einstieg in das Zeitalter des intelligenten Investierens“ im Zeitalter des Wandels, in dem sich die Vermögensverwaltungsbranche von institutionell zu nutzerzentriert verlagert Es baut eine thematische Anlagemaschine auf, die eine integrative Anlageintegration ermöglicht und eine „neue Brücke“ mit Investoren und Vermögensverwaltungsinstituten als Thema und Kern und natürlicher Sprachinteraktion als Eingang schafft.
Yushi Technology verarbeitet täglich durchschnittlich 10.000 Finanzinformationen. Durch das Sammeln von Informationen, die Entdeckung neuer Trends und die Beurteilung von Trendwendepunkten hat das Unternehmen ein Themeninvestitionssystem geschaffen, das über 10 Superthemen, über 40 Anlagethemen und über 200 umfasst Unterthemen; derzeit 10 Ein Branchen-Benchmark-Kunde, der Dienstleistungen über Daten-API sowie wöchentliche und monatliche Berichte bereitstellt. Derzeit wurden insgesamt etwa 500 Berichte und fast 1.000 Artikel zur Analyse öffentlicher Konten veröffentlicht. In Zukunft werden wir durch Echtzeit-Mining von Benutzerabsichten und Themenberechnungen einen thematischen Investmentagenten für Tausende von Menschen realisieren.
Plattformfunktionen und aufgetretene Herausforderungen
Die Produkte von Yushi Technology sind typische Informationsdienstleistungsprodukte. Nachdem die Plattform Informationen aus der Finanzbranche über mehrere Kanäle gesammelt und lokal gespeichert hat, startet sie relevante Prozesse zur Verarbeitung gemäß dem Investitionsanalyse-Framework und bildet schließlich Finanzdatenprodukte, um externe Dienste bereitzustellen. Die Plattform-Geschäftsfunktionen und Anforderungen an Systemressourcen weisen die folgenden Merkmale auf:
1. Große Datenmengen und unterschiedliche Speicheranforderungen
a) Die Kerndaten der Plattform sind hauptsächlich unstrukturierte Daten, einschließlich Quelldaten, Zwischendaten und Ergebnisdaten, obwohl diese Größenordnung für die Datei- oder Objektspeicherung ein Kinderspiel ist Es besteht jedoch immer noch ein gewisser Druck auf die Analyse/Indexspeicherung.
b) Die unstrukturierte Datenspeicherung erfordert die Unterstützung mehrerer Zugriffsschnittstellen, wenn unterschiedliche Verarbeitungsprozesse auftreten, einschließlich Dateien, Objekte, OLAP-Datenbanken, Cache- und Indexsysteme usw.
c) Die Verarbeitung von Finanzinformationen muss Aktualitätsanforderungen erfüllen, daher werden auch hohe Anforderungen an die Abfrageleistung analytischer Speichersysteme gestellt.
2. Der Datenverarbeitungsprozess ist komplex und veränderlich
a) Der Datenverarbeitungsprozess ist die Verkörperung der Anlageanalysestrategie im System und bildet den Kern der gesamten Plattform. Die Schlüsselknotenverarbeitungslogik in diesen Prozessen kann nicht durch standardisierte Plattformfunktionen implementiert werden. Sie muss über Java/Python-Code auf der Plattform veröffentlicht werden und kann vom Prozess flexibel aufgerufen werden.
b) Um Geschäftslogikanforderungen zu erfüllen, gibt es häufige Datenfluss- und Interaktionsanforderungen zwischen Verarbeitungsknoten im Verarbeitungsprozess, zwischen Knoten und Datenspeicherschnittstellen und sogar zwischen Prozessen.
c) Anlagestrategien müssen rechtzeitig an Marktveränderungen und Kundenbedürfnisse angepasst werden. Datenverarbeitungsprozesse und sogar die Kernverarbeitungslogik müssen gleichzeitig an die Geschäftsstrategien angepasst werden.
d) Aufgrund der Komplexität der Datenverarbeitungslogik ist es nach der Online-Entwicklung häufig erforderlich, die Verarbeitung bestimmter Daten in der Produktionsumgebung zu verfolgen und zu analysieren und detaillierte Laufzeitinformationen einfach anzeigen zu können.
3. Es gibt offensichtliche Höhen und Tiefen bei der Nachfrage nach Plattformressourcen.
a) Während des ganztägigen Betriebs der Plattform kommt es zu festen Spitzen, einschließlich der Zeitspanne, in der Informationen intensiv einfließen und verarbeitet werden, und der Zeitspanne, in der das Geschäftspersonal intensiv abfragt. Gleichzeitig kommt es auch zu Zugriffsspitzen zu Wochenbeginn und Monatsanfang.
b) Spitzenzeiten erfordern höhere Erweiterungsraten der Verarbeitungsleistung, und verschiedene Spitzentypen stellen unterschiedliche Anforderungen an die Systemressourcen. Für verschiedene Szenarien ist eine Vorplanung von Erweiterungsmaßnahmen erforderlich.
4. Anforderungen an Zuverlässigkeit/Aktualität
a) Informationen werden weiterhin 24 Stunden am Tag generiert und in die Plattform einfließen. Sie müssen innerhalb weniger Minuten nach dem Betreten der Plattform verarbeitet werden und in den externen Servicedatenpool gelangen und kontinuierlich und automatisch erweitert, wenn Spitzenverkehr auftritt, um Datenrückstände zu vermeiden. Bei Auslassungen oder Fehlern im Verarbeitungsprozess muss ein automatischer Wiederholungsversuch möglich sein.
b) Externe dienstbezogene Systeme dienen als Zugangsportal für Endbenutzer und stellen bestimmte Anforderungen an die Dienstkontinuität.
Angesichts des oben genannten Plattformfunktionsdesigns stellt Yushi Technology die folgenden Anforderungen an die IT-Infrastruktur einschließlich IaaS/PaaS:
1. Verschiedene Speichertypen, reibungsloser gegenseitiger Zugriff zwischen Systemen, Unterstützung mehrerer Speichertypen, nahtloser gegenseitiger Zugriff zwischen verschiedenen Speichersystemen, tägliche Nutzung, Verwaltung und Datenübertragung können über die GUI konfiguriert werden.
2. Einfacher und flexibler Datenverarbeitungsprozess
a) Bereitstellung eines einheitlichen Eingangs zur Verarbeitungsflussverwaltung und Unterstützung des grafischen Prozessdesigns.
b) Unterstützt die Verwendung gängiger Entwicklungssprachen zur Implementierung komplexer Geschäftslogik und kann nahtlos in Prozesse eingebettet werden.
c) Zwischen Prozessknoten, Prozess- und Datenspeicherschnittstellen kann eine komplexe interaktive Steuerung zwischen Prozessen realisiert werden.
d) Der Laufzeitprozess kann verfolgt und analysiert werden, und bestimmte Daten oder Prozesse können einfach verfolgt und analysiert werden.
3. Automatische Expansion und Kontraktion des Systems
a) Die Systemkapazität des Datenverarbeitungsprozesses kann entsprechend Verkehrsspitzen und -tälern automatisch erweitert und verkleinert werden, und ihre Erweiterung und Verkleinerung kann gemäß bestimmten Skripten basierend auf systemübergreifenden Abhängigkeiten verarbeitet werden.
b) Andere Geschäftssysteme müssen sich automatisch an die Spitzen und Täler des Geschäftszugangs anpassen.
4. Verbesserung der Gesamtqualität und Effizienz der F&E-Arbeit
a) Reduzieren Sie die direkten Kosten für IT-Ressourcen und Verwaltungskosten und stellen Sie gleichzeitig die Systemzuverlässigkeit sicher. b) Verbessern Sie die Effizienz des gesamten CI/CD-Prozesses.
Der Cloud-Workflow CloudFlow + Function Compute FC trägt zur Verbesserung der komplexen Datenverarbeitung bei
Yushi Technology ist ein Datentechnologieunternehmen, das im Zuge der Cloud-Native-Technologie gegründet wurde. Zu Beginn seiner Gründung entschied es sich für die Einführung von Cloud-Native-Technologie, um die Gesamtqualität und Effizienz der IT-Arbeit zu verbessern und die Kosten zu optimieren.
Die Herausforderungen bei der Verbesserung von Qualität und Effizienz konzentrieren sich hauptsächlich auf Datenverarbeitungsprozesse. Daher haben wir uns nach der Teamüberprüfung zusätzlich zur Verwendung regulärer CI/CD-Effizienzverbesserungstools wie CloudFlow und Funktionen entschieden FC Zwei neue Produkte. Das Ziel besteht darin, die Notwendigkeit zu lösen, komplexe Datenprozesse über den Cloud-Workflow CloudFlow zu verwalten und mithilfe von Function Computing FC das Problem zu lösen, dass einige Knoten während des Betriebs des Cloud-Workflows CloudFlow die Verarbeitungsfähigkeiten erhöhen kann den Bedarf an elastischer Skalierung perfekt lösen.
Das Datenflussdiagramm sieht wie folgt aus:
Durch die Praxis wurde festgestellt, dass die Verwendung von CloudFlow zur Entwicklung von Webschnittstellen den Entwicklungsaufwand im Vergleich zur Verwendung gängiger Java-Anwendungsframeworks um etwa die Hälfte reduziert Auch das Debuggen wurde verbessert, und die Nutzungseffizienz des Trackings und Debuggens auf Basis der Webkonsole wurde nach einer Anpassungsphase ebenfalls erheblich verbessert.
Während der sechsmonatigen Nutzung hat Yushi Technology fast 20 Workflows entwickelt, die Dutzende von Funktionen aufrufen und Hunderttausende Male ausgeführt werden. Obwohl es nur einen Techniker gibt, der für den Workflow verantwortlich ist, ist es dennoch möglich, im Durchschnitt etwa alle zwei Wochen einen neuen Workflow zu starten. Abgesehen von der gelegentlichen Notwendigkeit einer Online-Verfolgung und -Debugging besteht für Ingenieure im Grunde keine Notwendigkeit, sich um den laufenden Status des Workflows zu kümmern, nachdem er online geschaltet wurde, wodurch wirklich „Freigeben und vergessen“ erreicht wird.
Ausblick
Als datenzentriertes Start-up im Zeitalter der großen Modelle werden wir uns eingehender mit der Möglichkeit befassen, Datenplattformen mit den Fähigkeiten großer Modelle zu kombinieren. Durch die von Alibaba bereitgestellten Infrastrukturinnovationsfunktionen werden wir unseren Endkunden stärkere Fähigkeiten bieten Weitere Iterationen. Schnelle Datenprodukte.
Ich beschloss , auf Open-Source -Industriesoftware zu verzichten – OGG 1.0 wurde veröffentlicht, das Team von Ubuntu 24.04 LTS wurde offiziell entlassen ". Fedora Linux 40 wurde offiziell veröffentlicht. Ein bekanntes Spieleunternehmen veröffentlichte neue Vorschriften: Hochzeitsgeschenke von Mitarbeitern dürfen 100.000 Yuan nicht überschreiten. China Unicom veröffentlicht die weltweit erste chinesische Llama3 8B-Version des Open-Source-Modells. Pinduoduo wird zur Entschädigung verurteilt 5 Millionen Yuan für unlauteren Wettbewerb. Inländische Cloud-Eingabemethode – nur Huawei hat keine Sicherheitsprobleme beim Hochladen von Cloud-Daten