Die Kosten werden um 90 % gesenkt und die soziale Plattform Typing im Ausland basiert auf der Big-Data-Exploration und -Praxis von Databend.

Das Open-Source-Community-Team China machte seine erste Live-Übertragung und erzählte im Namen des Teilens die Geschichte hinter der Open-Source-Community China.“

Typing (Input Technology) wurde 2022 gegründet. Es handelt sich um ein ausländisches Unternehmen, das hauptsächlich soziale Plattformen für Südostasien, Lateinamerika, den Nahen Osten und andere Überseeregionen bereitstellt. Seine soziale Plattform ähnelt der inländischen Soul, Momo usw. und bietet soziale Funktionen wie Live-Videoübertragung, Voice-Chat-Raum, Kurzvideo, Life-Sharing, Text-Chat usw. mit über einer Million registrierten Benutzern und Hunderttausenden von täglich aktive Benutzer. Auf der Plattform können Menschen interessante Menschen treffen, neue Freunde finden und ihre eigenen sozialen Gemeinschaften aufbauen.

Eingeben von Geschäftsszenariofunktionen

Heutzutage sind soziale Plattformen zu einem wesentlichen Bestandteil des Lebens geworden. Menschen schließen Freundschaften, teilen und tauschen Informationen auf sozialen Plattformen aus, und diese Informationen enthalten umfangreiche Daten über Benutzerverhalten und -präferenzen. Die Big-Data-Technologie ermöglicht die effektive Gewinnung und Analyse dieser riesigen Datenmengen und bietet so technische Unterstützung und Entscheidungshilfe für die Entwicklung sozialer Plattformen und des Benutzererlebnisses.

Als soziales Unternehmen liegt die Bedeutung von Daten für Typing auf der Hand. Durch Daten lässt sich ein großer Geschäftswert erzielen:

1. Erstellen Sie Benutzerporträts für soziale Plattformen. Das Benutzerporträt ist ein Benutzermodell, das auf den Verhaltensdaten und persönlichen Informationen des Benutzers basiert. Durch das Tippen können genaue Benutzerporträts der Benutzer innerhalb der Plattform erstellt werden, indem Daten wie die Aufmerksamkeit der Benutzer, Freundschaftsbeziehungen, Interessen und Hobbys analysiert werden. Durch Benutzerporträts kann die Plattform die Bedürfnisse und Verhaltenstendenzen der Benutzer besser verstehen, wodurch Typing-Benutzern personalisiertere und genauere Dienste und Empfehlungen bereitgestellt und die Benutzererfahrung und -zufriedenheit der Plattform verbessert werden.

2. Inhaltsempfehlung und personalisierter Push auf sozialen Plattformen. Die gesamte soziale Plattform verfügt über eine Vielzahl von Inhalten, darunter Audio, Video, Text, Bilder und andere Formen. Für Benutzer ist es oft schwierig, die Inhalte und Personen zu finden, die sie interessieren. Mithilfe der Big-Data-Analysetechnologie kann Typing die historischen Verhaltensdaten der Benutzer analysieren, um die Interessen und Vorlieben der Benutzer zu verstehen und den Benutzern so personalisierte Inhaltsempfehlungen und Pushs bereitzustellen. Durch personalisierten Content-Push kann die Typing-Social-Plattform die Benutzeraktivität und -bindung erhöhen und gleichzeitig die Abhängigkeit und Loyalität der Benutzer gegenüber der Plattform erhöhen.

3. Abbau sozialer Beziehungen auf sozialen Plattformen. Als soziale Plattform sind soziale Beziehungen zwischen Menschen der Kern von Typing. Das Verständnis und die Analyse sozialer Beziehungen können dazu beitragen, dass Typing die Interessen und Bedürfnisse der Benutzer besser erkennt. Mithilfe der Big-Data-Analysetechnologie kann Typing die Freundschaftsbeziehungen, interaktiven Verhaltensweisen und andere Daten der Benutzer analysieren, Interessengruppen und soziale Netzwerke zwischen Benutzern ermitteln und Benutzern so genauere und relevantere soziale Empfehlungen liefern. Gleichzeitig kann das Social Relationship Mining der Plattform auch strategische Orientierungshilfen wie die Vorhersage der Benutzerabwanderung und die Pflege von Benutzerbeziehungen liefern, um die Benutzerbindung und -aktivität zu verbessern.

Technische Herausforderungen beim Tippen

Aufgrund der Größe des Startups besteht das gesamte Forschungs- und Entwicklungsteam von Typing nur aus etwa 15 Mitarbeitern. Es verfügt jedoch nicht über ein spezielles Big-Data-Team oder ein KI-Algorithmus-Empfehlungsteam. Das Unternehmen hat jedoch einen starken Bedarf an verfeinerten Abläufen, die eine gute Betreuung erfordern Benutzer und die gesamte Plattform. Kennen Sie Ihre Wurzeln und kennen Sie Ihre Wurzeln. Die Ableitung wertvoller Analysen und Erkenntnisse aus Daten ist unverzichtbar geworden. Um dieses Ziel zu erreichen, hat das technische Team von Typing umfangreiche Untersuchungen durchgeführt und sich mit den Big-Data-Lösungen von Alibaba Cloud und Huoshan Engine auseinandergesetzt. Nach Ansicht von Typing sind diese Lösungen jedoch von der Dokumentation bis zum Zugriff sehr kompliziert Da der Zeit- und Arbeitsaufwand relativ hoch ist, ist es für ein Start-up-Unternehmen schwierig, es zu gründen.

Typing versuchte es auch mit dem Open-Source-Clickhouse, erforderte jedoch einige Zwischenarbeiten zur Datenbereinigung durch ETL. Aufgrund des Mangels an Arbeitskräften in diesem Bereich konnte es letztendlich nicht implementiert werden.

Warum Databend wählen?

Während einer Open-Source-Veranstaltung auf einer Konferenz kam Wu Yunpeng, der Leiter des technischen Teams von Typing, mit Databend in Kontakt. Nach einer Reihe intensiver Einblicke und Austausche war er von den folgenden Funktionen von Databend zutiefst fasziniert:

Architektur zur Trennung von Speicher und Berechnung: Databend trennt Speicher und Berechnung vollständig, und Benutzer können je nach den Anforderungen der Anwendung problemlos erweitern oder verkleinern. Gleichzeitig ist Databend ein vollständig objektorientiertes Speicherdesign, das die Einschränkungen der herkömmlichen Datenbankfestplattenkapazität durchbricht.
Hochleistungsabfrage: Die fortschrittliche Architektur und die vektorisierte Abfrage-Engine von Databend ermöglichen nicht nur die sofortige Analyse großer Datenmengen, sondern reduzieren auch die Latenz auf weniger als eine Sekunde. Gleichzeitig werden die Technologien Parallelität auf Datenebene (Vectorized Query Execution) und Parallelität auf Befehlsebene (SIMD) genutzt, um eine Datenanalyse mit hervorragender Leistung zu ermöglichen. Unter dem TPC-H-Standard ist Databend in drei Dimensionen 1,3-mal schneller als die gängige integrierte Cloud-native Datenbank für Speicher und Computing der neuen Generation: Datenimport, Kaltlauf und Hotrun im Vergleich zur herkömmlichen integrierten Speicher- und Computing-Datenbank ist 2-3 mal schnellere Geschwindigkeitssteigerung;
Nahtlose Verbindung mit gängigen Datenökologien und -tools: Databend Cloud verbindet sich nahtlos mit gängigen Datentechnologien und -tools, stellt Java, Go, Python, Node.js, Rust und andere Sprach-SDKs bereit und unterstützt Kafka, DBT, FlinkCDC, Airbyte, Data X. Devezium und andere Tools lösen das Kompatibilitätsproblem des ursprünglichen Technologie-Stacks von Typing, erfüllen alle Anforderungen in den Bereichen Datenkonvertierung, Business Intelligence, Ad-hoc-Analyse und Datenanwendung und können Benutzern dabei helfen, den potenziellen Wert von Daten schnell zu erkunden.
Geringe Kosten: Der wirtschaftliche und intelligente Computing-Cluster von Databend Cloud, gepaart mit hochkomprimiertem und leistungsoptimiertem Objektspeicher, kann die Kosten um bis zu 90 % senken. Start-ups wie Typing müssen keine Unsummen mehr für die Datenverarbeitung ausgeben;
Einfach zu verwenden: Databend Cloud bietet einen One-Stop-SaaS-Service durch Datenpipeline und Aufgabenverwaltung, der den Datenimport einfacher macht und es Benutzern ermöglicht, ihn sofort ohne Betrieb und Wartung zu verwenden. Gleichzeitig muss Databend keine Indizes erstellen, keine manuelle Optimierung vornehmen, keine manuelle Berechnung von Partitionen oder Shard-Daten durchführen – alles erfolgt, wenn die Daten in die Tabelle geladen werden.

Einsatzplan

Die verschiedenen Funktionen von Databend erfüllen genau die Anforderungen von Typing an eine Big-Data-Plattform. Daher hat sich Typing für die Databend-Datenbank als wichtigstes Big-Data-Analysetool entschieden. Nach einer Reihe von Planungs-, Vorbereitungs-, Kompatibilitätsbewertungs- und anderen Arbeiten wurde das Big-Data-Computing-Geschäft erfolgreich auf Databend Cloud migriert. Derzeit stammt die Datenquelle von Typing hauptsächlich aus der AWS Aurora-Datenbank, und Entwickler synchronisieren die Daten täglich regelmäßig im T+1-Verfahren. Verwenden Sie zunächst das databend-py SDK, um Dutzende Tabellen in der Aurora-Datenbank nach S3 zu exportieren, und importieren Sie die Daten dann in S3 direkt über Databend in die Databend Cloud. Dank der Open-Source-Philosophie, an der Databend festhält, und seines Open-Source-Beitrags zu Superset kann Databend problemlos auf das Open-Source-Daten-Dashboard-Tool Superset zugreifen. Die von Databend Cloud berechneten Daten werden dann zur Datenvisualisierung an Superset übertragen.

In diesem Szenario besteht der Hauptzweck von Databend darin, Betriebsdaten-Dashboards zu hosten. Die Synchronisierung der Eingabe beginnt jeden Tag um 8 Uhr und das Datenvolumen beträgt ca. 2–3 TB. Der Datenimport und die Berechnung können abgeschlossen werden, bevor um 10 Uhr mit der Arbeit begonnen wird. Das technische Personal von Typing kann nach der Arbeit einige visuelle Daten-Dashboards für Vorgänge und Produkte in Superset erstellen.

Darüber hinaus bietet Databend eine weitere Verwendung in der Typisierung. Es verwendet in der Datenbank generierte historische Benutzerverhaltensdaten (z. B. Verbrauchsaufzeichnungen, Sprachraum, Geschenkzustellung usw.), um vollständige Benutzerberechnungen in Databend Cloud durchzuführen und Benutzergruppenbezeichnungen zu berechnen Importieren Sie dann den Geschäftsserver, um die Entwicklung von Geschäftsanwendungen zu unterstützen, Benutzer zu differenzieren und einen personalisierteren Push bereitzustellen.

Projekteinnahmen

Es ist ein halbes Jahr her, seit die Bereitstellung im November letzten Jahres abgeschlossen wurde. Ob es nun die Abfragegeschwindigkeit, die Ergebnisgenauigkeit oder die Kosten betrifft, es hat die Erwartungen von Typing übertroffen.

Nach der Migration zu Databend Cloud wurden die Datenkosten von Typing aufgrund der schnelleren Abfragegeschwindigkeit um 90 % gesenkt. Derzeit versucht Typing, den höchsten Kostenanteil bei der Synchronisierung von Daten von AWS Aurora mit Databend Cloud zu ermitteln Reduzieren Sie diese Kosten, indem Sie den Synchronisationsmechanismus ersetzen.
Das Betriebsteam von Typing schreibt häufig SQL, um einige Indikatoren festzulegen und Daten-Dashboards anzuzeigen. Da Databend eine einheitliche SQL-Schnittstelle bereitstellt, entspricht es den ursprünglichen Datenbanknutzungsgewohnheiten von Produkt und Forschung und Entwicklung, wodurch Anpassungskosten gespart werden. Das Betriebsteam berichtete, dass der Einstieg in das neue Daten-Dashboard sehr einfach ist, die Ergebnisse können schnell bereitgestellt werden. Der gesamte Prozess verläuft sehr reibungslos und stabil.
Während des Serviceprozesses bietet Databend offiziell exklusive Ingenieurdienste an, und Notfallprobleme können innerhalb von Tagen oder Stunden gemeldet und behoben werden. Für die Typisierung können dedizierte Datenentwicklungskräfte eingespart und Databend-Ingenieure als Teil des Datenteams eingesetzt werden, was in der Vergangenheit bei einigen Cloud-Anbieterdiensten völlig undenkbar war.

Zukünftige Erkundung

Derzeit startet Typing eine neue Runde der Erkundung von Databend. Das Vertrauen in Databend veranlasst Typing auch dazu, es auf ein breiteres Anwendungsspektrum auszuweiten. In Zukunft plant Typing, die vergrabenen Daten von Unternehmensservern mit der Databend Cloud zu synchronisieren. Da vergrabene Daten mehr Benutzerverhalten enthalten, sind diese Daten für Geschäftsentscheidungen wertvoller als Datenbankdaten. Dieser Teil der Daten wird zur Unterstützung einiger zeitkritischerer logischer Unternehmen verwendet. Die verborgenen Daten des Servers sind zeitkritischer und werden etwa alle 15 Minuten synchronisiert, was eine Synchronisierung nahezu in Echtzeit erfordert. Unter Berücksichtigung von Kosten und Aktualität bietet Databend eine inkrementelle Synchronisierungslösung, die das Mindeststundenniveau erreichen kann.

Während des gesamten Zusammenarbeitsprozesses mit Typing half Databend Typing nicht nur bei der Lösung vieler bestehender technischer Probleme, sondern hielt auch an dem Konzept der offenen Zusammenarbeit fest, um weitere Szenarien mit Typing zu erkunden und zuverlässige Datenunterstützung für die Entwicklung des Geschäfts auf sozialen Plattformen bereitzustellen.