Затраты снижены на 90 %, а зарубежная социальная платформа Typing основана на исследовании и практике больших данных Databend.

Команда китайского сообщества открытого исходного кода провела свою первую прямую трансляцию, рассказывая историю китайского сообщества открытого исходного кода во имя обмена».

Typing (Input Technology) была основана в 2022 году. Это зарубежное предприятие, которое в основном предоставляет социальные платформы для Юго-Восточной Азии, Латинской Америки, Ближнего Востока и других зарубежных регионов. Его социальная платформа похожа на домашние Soul, Momo и т. д., предоставляя социальные функции, такие как прямая видеотрансляция, голосовой чат, короткое видео, обмен информацией, текстовый чат и т. д., с более чем одним миллионом зарегистрированных пользователей и сотнями тысяч ежедневных активных пользователей. Люди могут знакомиться с интересными людьми, заводить новых друзей и создавать свои собственные социальные сообщества на платформе.

Ввод особенностей бизнес-сценария

Сегодня социальные платформы стали неотъемлемой частью жизни. Люди заводят друзей, делятся и обмениваются информацией на социальных платформах, и эта информация содержит богатые данные о поведении и предпочтениях пользователей. Технология больших данных позволяет эффективно извлекать и анализировать эти огромные объемы данных, обеспечивая тем самым техническую поддержку и поддержку принятия решений для развития социальных платформ и пользовательского опыта.

Важность данных для Typing, как для социальной компании, очевидна. Из данных можно извлечь большую ценность для бизнеса:

1. Создайте портреты пользователей для социальных платформ. Портрет пользователя — это модель пользователя, основанная на поведенческих данных и личной информации пользователя. Typing может создать точные портреты пользователей на платформе, анализируя такие данные, как внимание пользователей, отношения с друзьями, интересы и хобби. С помощью портретов пользователей платформа может лучше понять потребности и поведенческие тенденции пользователей, тем самым предоставляя пользователям Typing более персонализированные и точные услуги и рекомендации, а также улучшая пользовательский опыт и удовлетворенность платформой.

2. Рекомендация контента и персонализированное продвижение в социальных сетях. Ввод текста Вся социальная платформа содержит разнообразный контент, включая аудио, видео, текст, изображения и другие формы. Пользователям часто трудно найти контент и людей, которые им интересны. С помощью технологии анализа больших данных Typing может анализировать исторические данные о поведении пользователей, чтобы понять их интересы и предпочтения, тем самым предоставляя пользователям персонализированные рекомендации по контенту и напоминания. Благодаря персонализированному контенту социальная платформа Typing может повысить активность и приверженность пользователей, а также повысить зависимость и лояльность пользователей к платформе.

3. Анализ социальных связей на социальных платформах. В качестве социальной платформы социальные отношения между людьми являются основой Typing. Понимание и анализ социальных отношений может помочь Typing лучше выявить интересы и потребности пользователей. С помощью технологии анализа больших данных Typing может анализировать дружеские отношения пользователей, интерактивное поведение и другие данные, обнаруживать группы по интересам и социальные сети между пользователями и, таким образом, предоставлять пользователям более точные и актуальные социальные рекомендации. В то же время анализ социальных связей может также предоставить платформе стратегические рекомендации, такие как прогнозирование оттока пользователей и поддержание отношений с пользователями, чтобы улучшить удержание и активность пользователей.

Технические проблемы, с которыми сталкивается типирование

Ограниченная масштабами стартапа, вся группа исследований и разработок Typing насчитывает всего около 15 человек. У нее нет специальной группы по работе с большими данными или группы рекомендаций по алгоритмам искусственного интеллекта. Однако у компании есть большой спрос на усовершенствованные операции, которые требуют тщательного подхода. пользователи и вся платформа Знайте свои корни и знайте свои корни. Как получить ценный анализ и идеи на основе данных, стало незаменимым. Для достижения этой цели техническая команда Typing провела множество исследований и познакомилась с решениями для больших данных Alibaba Cloud и Huoshan Engine. Однако, по мнению Typing, эти решения очень сложны, начиная с документации и заканчивая доступом. Затраты времени и рабочей силы относительно высоки, начинающей компании сложно запуститься.

Typing также опробовал Clickhouse с открытым исходным кодом, но для этого потребовались специальные разработчики данных, чтобы выполнить некоторую промежуточную работу по очистке данных ETL. Из-за нехватки рабочей силы в этой области это в конечном итоге не удалось реализовать.

Почему стоит выбрать Databend?

Во время мероприятия с открытым исходным кодом на конференции Ву Юнпэн, руководитель технической команды Typing, познакомился с Databend. После серии углубленного понимания и обмена мнениями его глубоко заинтересовали следующие особенности Databend:

Архитектура разделения хранения и вычислений: Databend полностью разделяет хранилище и вычисления, и пользователи могут легко расширять или сжимать их в соответствии с потребностями приложения. В то же время Databend представляет собой полностью объектно-ориентированную структуру хранилища, преодолевающую ограничения традиционной дисковой емкости базы данных;
Высокопроизводительный запрос. Передовая архитектура Databend и механизм векторизованных запросов не только позволяют мгновенно анализировать большие объемы данных, но и сокращают задержку до уровня менее секунды. В то же время технология параллелизма на уровне данных (векторизованное выполнение запроса) и параллелизма на уровне команд (SIMD) используется для обеспечения анализа данных с превосходной производительностью. Согласно стандарту TPC-H, Databend в 1,3 раза быстрее, чем основная зарубежная интегрированная облачная база данных нового поколения для хранения и вычислений в трех измерениях: импорт данных, холодный и горячий запуск по сравнению с традиционной интегрированной базой данных для хранения и вычислений; увеличение скорости в 2-3 раза;
Легко соединяется с основной средой данных и инструментами: Databend Cloud легко соединяется с основными технологиями и инструментами обработки данных, предоставляя Java, Go, Python, Node.js, Rust и другие языковые SDK, а также поддерживает Kafka, DBT, FlinkCDC, Airbyte, Data X. Devezium и другие инструменты, он решает проблему совместимости оригинального технологического стека Typing, удовлетворяет все потребности в преобразовании данных, бизнес-аналитике, специальном анализе и применении данных, а также может помочь пользователям быстро изучить потенциальную ценность данных;
Низкая стоимость: экономичный и интеллектуальный вычислительный кластер Databend Cloud в сочетании с объектным хранилищем с высокой степенью сжатия и оптимизированной производительностью может снизить затраты до 90%. Таким стартапам, как Typing, больше не придется тратить огромные суммы денег на обработку данных;
Простота в использовании: Databend Cloud предоставляет универсальный сервис SaaS благодаря конвейеру данных и управлению задачами, что упрощает импорт данных, позволяя пользователям использовать его сразу после установки без необходимости эксплуатации и обслуживания. В то же время Databend не требует построения индексов, ручной настройки, ручного расчета секций или сегментированных данных — все это делается при загрузке данных в таблицу.

План развертывания

Различные функции Databend как раз отвечают потребностям Typing в платформе больших данных, поэтому Typing выбрала базу данных Databend в качестве основного инструмента анализа больших данных. После серии планирования, подготовки, оценки совместимости и других работ бизнес по обработке больших данных был успешно перенесен в Databend Cloud. В настоящее время источник данных Typing в основном поступает из базы данных AWS Aurora, и разработчики регулярно синхронизируют данные в режиме Т+1 каждый день. Сначала используйте SDK databend-py для экспорта десятков таблиц из базы данных Aurora в S3, а затем напрямую импортируйте данные из S3 в Databend Cloud через Databend. Благодаря философии открытого исходного кода, которой придерживается Databend, и вкладу открытого исходного кода в Superset, Databend может легко получить доступ к инструменту панели данных с открытым исходным кодом Superset. Данные, рассчитанные Databend Cloud, затем передаются в Superset для визуализации данных.

В этом сценарии основная цель Databend — размещение информационных панелей с оперативными данными. Синхронизация набора текста начинается в 8 утра каждый день, а объем данных составляет около 2-3 ТБ. Импорт данных и расчет можно завершить до выхода на работу в 10 утра. После работы технический персонал Typing может создать несколько визуальных информационных панелей для операций и продуктов в Superset.

Кроме того, Databend имеет еще одно применение в наборе текста. Он использует исторические данные о поведении пользователей, созданные в базе данных (например, записи о потреблении, голосовой комнате, доставке подарков и т. д.), для выполнения полных пользовательских расчетов в Databend Cloud для расчета меток групп пользователей, а также затем импортируйте бизнес-сервер для поддержки разработки бизнес-приложений, чтобы дифференцировать пользователей и обеспечить более персонализированную поддержку.

Доход проекта

Прошло полгода с момента завершения развертывания в ноябре прошлого года. Databend Cloud очень хорошо решил различные проблемы анализа больших данных Typing, будь то скорость запросов, точность результатов или стоимость, — оно превзошло ожидания Typing.

После перехода на Databend Cloud стоимость данных Typing сократилась на 90 % за счет более высокой скорости запросов. В настоящее время самая высокая часть затрат — это потребление данных из AWS Aurora в Databend Cloud, которую Typing также пытается изучить с помощью Databend. . Сократить эти затраты за счет замены механизма синхронизации;
Операционная группа Typing часто пишет SQL для установки некоторых индикаторов и просмотра панелей мониторинга данных. Поскольку Databend предоставляет унифицированный интерфейс SQL, он соответствует исходным привычкам использования базы данных продукта и исследований и разработок, что позволяет сэкономить затраты на адаптацию. Операционная группа сообщила, что начать работу с новой панелью данных очень легко. Независимо от того, что вы пишете, результаты могут быть получены быстро. Весь процесс очень плавный и стабильный;
В процессе обслуживания Databend официально предоставляет эксклюзивные инженерные услуги, а о чрезвычайных проблемах можно сообщить и устранить в течение нескольких дней или часов. Что касается Typing, он может сэкономить специальную рабочую силу для разработки данных и использовать инженеров Databend в составе группы данных, что в прошлом было совершенно невообразимо для некоторых облачных провайдеров.

Будущие исследования

В настоящее время Typing начинает новый раунд изучения Databend. Доверие к Databend также заставляет Typing хотеть расширить его возможности. В будущем Typing планирует синхронизировать скрытые данные бизнес-серверов с Databend Cloud. Поскольку скрытые данные содержат больше данных о поведении пользователей, эти данные более ценны для бизнес-решений, чем данные базы данных. Эта часть данных будет использоваться для поддержки некоторых более чувствительных ко времени логических предприятий. Скрытые данные сервера более чувствительны ко времени и синхронизируются примерно каждые 15 минут, что требует синхронизации практически в реальном времени. Учитывая стоимость и своевременность, Databend предлагает решение для поэтапной синхронизации, которое может достигать минимального уровня в часах.

На протяжении всего процесса сотрудничества с Typing Databend не только помогала Typing решить множество существующих технических проблем, но и придерживалась концепции открытого сотрудничества для изучения большего количества сценариев с Typing, чтобы обеспечить надежную поддержку данных для развития бизнеса социальных платформ.