O custo é reduzido em 90%, e a plataforma social estrangeira Typing é baseada na exploração e prática de big data da Databend.

A equipe da comunidade de código aberto da China fez sua primeira transmissão ao vivo, contando a história por trás da comunidade de código aberto da China em nome do compartilhamento."

A Typing (Input Technology) foi fundada em 2022. É uma empresa estrangeira que fornece plataformas sociais principalmente para o Sudeste Asiático, América Latina, Oriente Médio e outras regiões estrangeiras. Sua plataforma social é semelhante ao Soul doméstico, Momo, etc., oferecendo funções sociais como transmissão de vídeo ao vivo, sala de chat de voz, vídeo curto, compartilhamento de vida, chat de texto, etc., com mais de um milhão de usuários registrados e centenas de milhares de usuários ativos diariamente. As pessoas podem conhecer pessoas interessantes, fazer novos amigos e construir suas próprias comunidades sociais dentro da plataforma.

Digitando recursos do cenário de negócios

Hoje, as plataformas sociais se tornaram uma parte essencial da vida. As pessoas fazem amigos, compartilham e trocam informações em plataformas sociais, e essas informações contêm dados valiosos sobre o comportamento e as preferências dos usuários. A tecnologia de big data permite que essas enormes quantidades de dados sejam efetivamente exploradas e analisadas, fornecendo assim suporte técnico e apoio à tomada de decisões para o desenvolvimento de plataformas sociais e da experiência do usuário.

Como uma empresa social, a importância dos dados para a Typing é evidente. Muito valor comercial pode ser extraído por meio dos dados:

1. Crie retratos de usuários para plataformas sociais. O retrato do usuário é um modelo de usuário baseado nos dados comportamentais e nas informações pessoais do usuário. A digitação pode criar retratos precisos de usuários dentro da plataforma, analisando dados como atenção dos usuários, relações de amizade, interesses e hobbies. Por meio de retratos de usuários, a plataforma pode entender melhor as necessidades e tendências comportamentais dos usuários, proporcionando assim aos usuários do Typing serviços e recomendações mais personalizados e precisos e melhorando a experiência e a satisfação do usuário da plataforma.

2. Recomendação de conteúdo e envio personalizado em plataformas sociais. Digitação Toda a plataforma social possui uma variedade de conteúdo, incluindo áudio, vídeo, texto, imagens e outras formas. Muitas vezes é difícil para os usuários encontrar o conteúdo e as pessoas em que estão interessados. Com a ajuda da tecnologia de análise de big data, o Typing pode analisar dados comportamentais históricos dos usuários para entender os interesses e preferências dos usuários, fornecendo assim aos usuários recomendações e impulsos de conteúdo personalizados. Por meio do envio de conteúdo personalizado, a plataforma social Typing pode aumentar a atividade e a aderência do usuário, ao mesmo tempo que aumenta a dependência e a fidelidade do usuário à plataforma.

3. Mineração de relações sociais em plataformas sociais. Como plataforma social, as relações sociais entre as pessoas são o núcleo da digitação. A compreensão e a análise das relações sociais podem ajudar a digitação a descobrir melhor os interesses e necessidades dos usuários. Com a ajuda da tecnologia de análise de big data, Typing pode analisar as relações de amizade dos usuários, comportamentos interativos e outros dados, descobrir grupos de interesse e redes sociais entre usuários e, assim, fornecer aos usuários recomendações sociais mais precisas e relevantes. Ao mesmo tempo, a mineração de relacionamento social também pode fornecer à plataforma orientação estratégica, como previsão de rotatividade de usuários e manutenção de relacionamento com usuários, para melhorar a retenção e a atividade dos usuários.

Desafios técnicos enfrentados pela digitação

Limitada pela escala da startup, toda a equipe de P&D da Typing tem apenas cerca de 15 pessoas. Não possui uma equipe dedicada de big data ou uma equipe de recomendação de algoritmos de IA. No entanto, a empresa tem uma forte demanda por operações refinadas, o que exige um bom cuidado. usuários e toda a plataforma. Conheça suas raízes e conheça suas raízes. Como obter análises e insights valiosos com base em dados tornou-se indispensável. Para atingir esse objetivo, a equipe técnica da Typing realizou muitas explorações e foi exposta às soluções de big data do Alibaba Cloud e do Huoshan Engine. No entanto, na opinião da Typing, essas soluções são muito complicadas desde a documentação até o acesso. o tempo e os custos de mão de obra são relativamente altos, é difícil para uma empresa start-up lançar.

A digitação também tentou o Clickhouse de código aberto, mas exigiu que desenvolvedores de dados dedicados fizessem algum trabalho intermediário de limpeza de dados. Devido à falta de mão de obra nesta área, ele não pôde ser implementado.

Por que escolher o Databend?

Durante um evento de código aberto em uma conferência, Wu Yunpeng, líder da equipe técnica da Typing, entrou em contato com o Databend. Após uma série de entendimentos e trocas aprofundadas, ele ficou profundamente atraído pelos seguintes recursos do Databend:

Arquitetura de separação de armazenamento e cálculo: o Databend separa completamente o armazenamento e o cálculo, e os usuários podem facilmente expandir ou reduzir de acordo com as necessidades do aplicativo. Ao mesmo tempo, o Databend é um design de armazenamento totalmente orientado a objetos, rompendo as restrições da capacidade tradicional do disco do banco de dados;
Consulta de alto desempenho: a arquitetura avançada e o mecanismo de consulta vetorizada do Databend não apenas permitem a análise instantânea de dados massivos, mas também reduzem a latência para níveis inferiores a um segundo. Ao mesmo tempo, a tecnologia de paralelismo em nível de dados (Vectorized Query Execution) e de paralelismo em nível de instrução (SIMD) é usada para fornecer análise de dados com excelente desempenho. Sob o padrão TPC-H, o Databend é 1,3 vezes mais rápido do que o banco de dados nativo da nuvem integrado de armazenamento e computação de nova geração estrangeiro em três dimensões: importação de dados, execução a frio e execução a quente em comparação com o banco de dados integrado tradicional de armazenamento e computação; é 2-3 vezes mais rápido;
Conecta-se perfeitamente com a ecologia e ferramentas de dados convencionais: Databend Cloud se conecta perfeitamente com tecnologias e ferramentas de dados convencionais, fornecendo SDKs Java, Go, Python, Node.js, Rust e outras linguagens, e suporta Kafka, DBT, FlinkCDC, Airbyte, Data X, Devezium e outras ferramentas resolvem o problema de compatibilidade da pilha de tecnologia original da Typing, atendem a todas as necessidades de conversão de dados, inteligência de negócios, análise ad-hoc e aplicação de dados e podem ajudar os usuários a explorar rapidamente o valor potencial dos dados;
Baixo custo: o cluster de computação econômico e inteligente do Databend Cloud, juntamente com armazenamento de objetos altamente compactado e com desempenho otimizado, pode reduzir custos em até 90%. Start-ups como a Typing não precisam mais gastar grandes somas de dinheiro no processamento de dados;
Fácil de usar: Databend Cloud fornece um serviço SaaS completo por meio de pipeline de dados e gerenciamento de tarefas, ele pode facilitar a importação de dados, permitindo que os usuários os utilizem imediatamente, sem operação e manutenção. Ao mesmo tempo, o Databend não possui índices para construir, nenhum ajuste manual, nenhum cálculo manual de partições ou dados fragmentados, tudo feito quando os dados são carregados na tabela.

Plano de preparação

Os vários recursos do Databend atendem apenas às necessidades do Typing para uma plataforma de big data, então o Typing escolheu o banco de dados Databend como a principal ferramenta de análise de big data. Após uma série de planejamento, preparação, avaliação de compatibilidade e outros trabalhos, o negócio de computação de big data foi migrado com sucesso para o Databend Cloud. Atualmente, a fonte de dados do Typing vem principalmente do banco de dados AWS Aurora, e os desenvolvedores sincronizam regularmente os dados de maneira T+1 todos os dias. Primeiro, use o SDK databend-py para exportar dezenas de tabelas no banco de dados Aurora para o S3 e, em seguida, importe diretamente os dados do S3 para o Databend Cloud por meio do Databend. Graças à filosofia de código aberto que o Databend adere e sua contribuição de código aberto para o Superset, o Databend pode acessar facilmente a ferramenta de painel de dados de código aberto do Superset. Os dados calculados pelo Databend Cloud são então transferidos para o Superset para visualização dos dados.

Neste cenário, o objetivo principal do Databend é hospedar painéis de dados operacionais. A digitação começa a ser sincronizada às 8h todos os dias, e o volume de dados é de cerca de 2 a 3 TB. A importação e o cálculo de dados podem ser concluídos antes de ir para o trabalho às 10h. A equipe técnica da Typing pode criar alguns painéis de dados visuais para operações e produtos no Superset após o trabalho.

Além disso, o Databend tem outro uso na digitação: ele usa dados históricos de comportamento do usuário gerados no banco de dados (como registros de consumo, sala de voz, entrega de presentes, etc.) para realizar cálculos completos do usuário no Databend Cloud para calcular rótulos de grupos de usuários e. em seguida, importe o servidor de negócios para dar suporte ao desenvolvimento de aplicativos de negócios para diferenciar os usuários e fornecer um push mais personalizado.

Renda do projeto

Já se passou meio ano desde que a implantação foi concluída em novembro do ano passado, o Databend Cloud resolveu muito bem vários desafios da análise de big data da Typing, seja na velocidade da consulta, na precisão dos resultados ou no custo, superou as expectativas da Typing.

Após a migração para o Databend Cloud, o custo de dados do Typing foi reduzido em 90% com base na velocidade de consulta mais rápida. Atualmente, a parte de maior custo é o consumo de sincronização de dados do AWS Aurora para o Databend Cloud. . Reduzir este custo substituindo o mecanismo de sincronização;
A equipe de operações da Typing geralmente escreve SQL para definir alguns indicadores e visualizar painéis de dados. Como o Databend fornece uma interface SQL unificada, ele está em conformidade com os hábitos originais de uso do banco de dados de produto e P&D, economizando custos de adaptação. A equipe de operações relatou que é muito fácil começar a usar o novo painel de dados. Não importa o que você escreva, os resultados podem ser fornecidos rapidamente.
Durante o processo de serviço, a Databend fornece oficialmente serviços de engenharia exclusivos, e problemas de emergência podem ser relatados e corrigidos em dias ou horas. Para digitação, ele pode economizar mão de obra dedicada ao desenvolvimento de dados e usar engenheiros do Databend como parte da equipe de dados, o que era completamente inimaginável em alguns serviços de provedores de nuvem no passado.

Exploração futura

Atualmente, o Typing está iniciando uma nova rodada de exploração do Databend. A confiança no Databend também faz com que o Typing queira expandi-lo para uma gama mais ampla de usos. No futuro, a Typing planeja sincronizar os dados enterrados dos servidores de negócios com o Databend Cloud. Como os dados ocultos contêm mais comportamentos do usuário, esses dados são mais valiosos para decisões de negócios do que os dados do banco de dados. Essa parte dos dados será usada para dar suporte a alguns negócios lógicos mais sensíveis ao tempo. Os dados ocultos do servidor são mais sensíveis ao tempo e são sincronizados aproximadamente a cada 15 minutos, exigindo sincronização quase em tempo real. Depois de considerar o custo e a pontualidade, o Databend fornece uma solução de sincronização incremental, que pode atingir o nível mínimo de hora.

Ao longo de todo o processo de cooperação com o Typing, o Databend não apenas ajudou o Typing a resolver muitos problemas técnicos existentes, mas também aderiu ao conceito de cooperação aberta para explorar mais cenários com o Typing para fornecer suporte de dados confiável para o desenvolvimento de negócios de plataformas sociais.