Autor: Yue Yang, Chen Dequan, Liu Jingna
foi fundada em junho de 2023. A Yushi Technology está posicionada como "o tema de entrada na era do investimento inteligente". Na era da mudança, quando a indústria de gestão de ativos muda de centrada na instituição para centrada no usuário". , constrói um motor de investimento temático, capacitando a integração inclusiva do investimento e criando uma "nova ponte" com investidores e instituições de gestão de ativos como tema e núcleo, e interação em linguagem natural como entrada.
A Yushi Technology processa uma média de 10.000 informações financeiras todos os dias. Ao coletar informações, descobrir tendências emergentes e julgar pontos de viragem de tendências, ela formou um sistema de investimento temático que inclui mais de 10 supertemas, mais de 40 temas de investimento e mais de 200. subtemas; atualmente 10 Cliente referência no setor, prestando serviços por meio de API de dados e relatórios semanais e mensais. Actualmente, foram publicados um total de cerca de 500 relatórios e cerca de 1.000 artigos de análise de contas públicas. No longo prazo, realizaremos um agente de investimento temático para milhares de pessoas por meio da mineração em tempo real das intenções dos usuários e dos cálculos temáticos.
Recursos da plataforma e desafios encontrados
Os produtos da Yushi Technology são produtos típicos de serviços de informação. Depois de a plataforma recolher informações do sector financeiro através de múltiplos canais e armazená-las localmente, inicia processos relevantes para processamento de acordo com o quadro de análise de investimento e, finalmente, forma produtos de dados financeiros para fornecer serviços externos. As funções de negócios da plataforma e os requisitos para recursos do sistema possuem as seguintes características:
1. Grande quantidade de dados e diversos requisitos de armazenamento
a) Os dados principais da plataforma são principalmente dados não estruturados. A quantidade total de dados em cada estágio de processamento, incluindo dados de origem, dados intermediários e dados de resultado, está no nível TB, embora essa magnitude seja muito fácil para armazenamento de arquivos ou objetos. , No entanto, ainda existe uma certa pressão sobre análise/armazenamento de índices.
b) O armazenamento de dados não estruturados requer suporte de múltiplas interfaces de acesso ao enfrentar diferentes processos de processamento, incluindo arquivos, objetos, bancos de dados OLAP, sistemas de cache e índice, etc.
c) O processamento da informação financeira necessita de cumprir requisitos de tempestividade, pelo que existem também requisitos elevados para o desempenho de consultas de sistemas de armazenamento analítico.
2. O processo de processamento de dados é complexo e mutável
a) O processo de processamento de dados é a personificação da estratégia de análise de investimento no sistema e é o núcleo de toda a plataforma. A lógica de processamento do nó principal nesses processos não pode ser implementada por meio de funções de plataforma padronizadas. Ela precisa ser publicada na plataforma por meio de código Java/Python e pode ser chamada de maneira flexível pelo processo.
b) Para realizar os requisitos de lógica de negócios, existem requisitos frequentes de fluxo de dados e interação entre nós de processamento no processo de processamento, entre nós e interfaces de armazenamento de dados e até mesmo entre processos.
c) As estratégias de investimento precisam ser ajustadas em tempo hábil em resposta às mudanças do mercado e às necessidades dos clientes. Os processos de processamento de dados e até mesmo a lógica de processamento central precisam ser ajustados simultaneamente de acordo com as estratégias de negócios.
d) Devido à complexidade da lógica de processamento de dados, após o desenvolvimento ficar online, muitas vezes é necessário rastrear e analisar o processamento de dados específicos no ambiente de produção, e é necessário poder visualizar facilmente informações detalhadas de tempo de execução.
3. Existem picos e vales óbvios na demanda de recursos da plataforma.
a) Haverá picos fixos durante todo o dia de operação da plataforma, incluindo o período em que a informação é intensamente influída e processada, e o período em que o pessoal empresarial faz consultas intensivas. Ao mesmo tempo, também ocorrem picos de acesso no início da semana e no início do mês.
b) Os períodos de pico exigem taxas de expansão de desempenho de processamento mais altas, e diferentes tipos de pico têm requisitos diferentes para recursos do sistema. É necessário um pré-planejamento de ações de expansão para diferentes cenários.
4. Requisitos de confiabilidade/oportunidade
a) As informações continuarão a ser geradas e a fluir para a plataforma 24 horas por dia. Elas precisam ser processadas alguns minutos após entrar na plataforma e entrar no conjunto de dados de serviço externo. e expandir continuamente e automaticamente ao encontrar pico de tráfego para evitar acúmulo de dados. Se houver omissões ou erros no processo de processamento, ele deverá poder tentar novamente automaticamente.
b) Os sistemas externos relacionados a serviços servem como portal de acesso para usuários finais e possuem certos requisitos para a continuidade do serviço.
Tendo em vista o design da função da plataforma acima, a Yushi Technology tem os seguintes requisitos para infraestrutura de TI, incluindo IaaS/PaaS:
1. Diversos tipos de armazenamento, acesso mútuo suave entre sistemas, suporta vários tipos de armazenamento, acesso mútuo contínuo entre vários sistemas de armazenamento, uso diário, gerenciamento e transferência de dados podem ser configurados através da GUI.
2. Processo de processamento de dados simples e flexível
a) Fornecer uma entrada unificada de gerenciamento de fluxo de processamento e apoiar o design gráfico do processo.
b) Suporta o uso de linguagens de desenvolvimento comuns para implementar lógica de negócios complexa e pode ser perfeitamente incorporada aos processos.
c) Entre nós de processo, processo e interface de armazenamento de dados, controle interativo complexo pode ser realizado entre processos.
d) O processo de tempo de execução pode ser rastreado e analisado, e dados ou processos específicos podem ser facilmente rastreados e analisados.
3. Expansão e contração automática do sistema
a) A capacidade do sistema do processo de processamento de dados pode ser automaticamente expandida e contraída de acordo com picos e vales de tráfego, e sua expansão e contração podem ser processadas de acordo com determinados scripts baseados em dependências intersistemas.
b) Outros sistemas empresariais precisam se ajustar automaticamente de acordo com os picos e vales de acesso comercial.
4. Melhorar a qualidade geral e a eficiência do trabalho de P&D
a) Reduzir o custo direto dos recursos de TI e os custos de gestão, garantindo ao mesmo tempo a fiabilidade do sistema; b) Melhorar a eficiência do processo geral de CI/CD.
Fluxo de trabalho na nuvem CloudFlow + Function Compute FC ajuda a melhorar o processamento de dados complexos
Yushi Technology é uma empresa de tecnologia de dados nascida sob a onda da nuvem nativa. No início de sua criação, ela decidiu adotar a tecnologia nativa da nuvem para melhorar a qualidade geral e a eficiência do trabalho de TI e otimizar custos.
Os desafios encontrados na melhoria da qualidade e eficiência concentram-se principalmente nos processos de processamento de dados. Portanto, além de usar ferramentas regulares de melhoria de eficiência de CI/CD, como Alibaba Cloud e implantação em contêineres, após a inspeção da equipe, finalmente escolhemos o fluxo de trabalho em nuvem CloudFlow e funções. FC Dois novos produtos. O objetivo é resolver a necessidade de gerenciar processos de dados complexos por meio do Cloud Workflow CloudFlow e usar o Function Compute FC para resolver o problema. Durante a operação do Cloud Workflow CloudFlow, alguns nós processam lógicas de negócios complexas e, ao mesmo tempo, o. capacidades de processamento podem resolver perfeitamente a necessidade de dimensionamento elástico.
O diagrama de fluxo de dados é o seguinte:
Através da prática, descobriu-se que, para fluxos de trabalho comuns, o uso do CloudFlow para desenvolver interfaces da Web reduz a carga de trabalho de desenvolvimento em cerca de metade em comparação com o uso de estruturas de aplicativos Java convencionais. a depuração também foi melhorada, a eficiência de uso de rastreamento e depuração com base no console da web também foi bastante melhorada após um período de adaptação.
Durante os seis meses de uso, a Yushi Technology desenvolveu quase 20 fluxos de trabalho. Os fluxos de trabalho chamam dezenas de funções e são executados centenas de milhares de vezes. Embora haja apenas um engenheiro responsável pelo fluxo de trabalho, ainda é possível manter uma média de lançamento de um novo fluxo de trabalho a cada duas semanas ou mais. Para os engenheiros, exceto pela necessidade ocasional de rastreamento e depuração on-line, basicamente não há necessidade de se preocupar com o status de execução do fluxo de trabalho depois que ele fica on-line, conseguindo realmente "liberar e esquecer".
Panorama
Como uma start-up centrada em dados na era dos grandes modelos, iremos aprofundar a possibilidade de combinar plataformas de dados com capacidades de grandes modelos. Através das capacidades de inovação de infra-estruturas fornecidas pela Alibaba, forneceremos aos nossos clientes finais capacidades e capacidades mais fortes. mais iterações.
Decidi desistir do software industrial de código aberto . Grandes eventos - OGG 1.0 foi lançado, a Huawei contribuiu com todo o código-fonte do Ubuntu 24.04 LTS foi oficialmente demitido . ". O Fedora Linux 40 foi lançado oficialmente. Uma conhecida empresa de jogos lançou novos regulamentos: os presentes de casamento dos funcionários não devem exceder 100.000 yuans. A China Unicom lança a primeira versão chinesa Llama3 8B do mundo do modelo de código aberto. Pinduoduo é condenado a compensar 5 milhões de yuans por concorrência desleal Método de entrada na nuvem doméstica - apenas a Huawei não tem problemas de segurança de upload de dados na nuvem.