저자: Yue Yang, Chen Dequan, Liu Jinna
Beijing Yushi Technology Co., Ltd.는 2023년 6월에 설립되었습니다. Yushi Technology는 자산 관리 산업이 기관 중심에서 사용자 중심으로 전환되는 변화의 시대에 "지능형 투자 시대의 테마 입구"로 자리매김하고 있습니다. , 테마별 투자 엔진을 구축하여 포괄적인 투자 통합을 강화하고 투자자 및 자산 관리 기관을 테마 및 핵심으로, 자연어 상호 작용을 입구로 하는 "새로운 다리"를 만듭니다.
유시테크놀러지는 하루 평균 1만 건의 금융정보를 처리하며, 정보 수집, 신흥 트렌드 발굴, 트렌드 전환점 판단 등을 통해 10개 이상의 슈퍼 테마, 40개 이상의 투자 테마, 200개 이상의 투자 테마를 포함하는 테마 투자 시스템을 구축했습니다. 하위 주제; 현재 10 업계 벤치마크 고객으로, 데이터 API와 주간 및 월간 보고서를 통해 서비스를 제공합니다. 현재 총 약 500건의 보고서와 약 1,000건에 가까운 공공계정 분석 기사가 발행되었습니다. 앞으로는 사용자 의도에 대한 실시간 마이닝과 테마 계산을 통해 수천명의 테마별 투자 대행자를 실현해 나갈 것입니다.
플랫폼 기능과 직면한 과제
유시테크놀로지의 제품은 대표적인 정보서비스 제품입니다. 플랫폼은 다양한 채널을 통해 금융산업 정보를 수집하고 이를 로컬에 저장한 후 투자 분석 프레임워크에 따라 처리를 위한 관련 프로세스를 시작하고 최종적으로 금융 데이터 상품을 구성하여 외부 서비스를 제공합니다. 플랫폼 비즈니스 기능 및 시스템 자원 요구사항은 다음과 같은 특징을 가지고 있습니다.
1. 대용량 데이터와 다양한 저장 요구사항
a) 플랫폼의 핵심 데이터는 주로 비정형 데이터이며, 소스 데이터, 중간 데이터, 결과 데이터 등 각 처리 단계의 데이터 총량은 TB 수준이지만 파일이나 개체 저장에 있어서는 매우 작은 규모입니다. , 그러나 분석/인덱스 저장에 대한 압박은 여전히 존재합니다.
b) 비정형 데이터 저장에는 파일, 개체, OLAP 데이터베이스, 캐시 및 인덱스 시스템 등을 포함한 다양한 처리 프로세스에 직면할 때 다중 액세스 인터페이스 지원이 필요합니다.
c) 재무 정보 처리는 적시성 요구 사항을 충족해야 하므로 분석 저장소 시스템의 쿼리 성능에 대한 요구 사항도 높습니다.
2. 데이터 처리 프로세스는 복잡하고 변경 가능합니다.
a) 데이터 처리 프로세스는 시스템 내 투자 분석 전략의 구현이며 전체 플랫폼의 핵심입니다. 이러한 프로세스의 핵심 노드 처리 로직은 표준화된 플랫폼 기능을 통해 구현할 수 없으며 Java/Python 코드를 통해 플랫폼에 게시되어야 하며 프로세스에서 유연하게 호출할 수 있습니다.
b) 비즈니스 로직 요구 사항을 실현하기 위해서는 처리 프로세스의 처리 노드 간, 노드와 데이터 저장 인터페이스 간, 심지어 프로세스 간에도 빈번한 데이터 흐름 및 상호 작용 요구 사항이 있습니다.
c) 투자 전략은 시장 변화와 고객 요구에 맞춰 적시에 조정되어야 합니다. 데이터 처리 프로세스는 물론 핵심 처리 로직까지 비즈니스 전략에 따라 동시에 조정해야 합니다.
d) 데이터 처리 로직의 복잡성으로 인해 개발이 온라인화 된 후 프로덕션 환경에서 특정 데이터의 처리를 추적하고 분석해야 하는 경우가 많으며, 자세한 런타임 정보를 쉽게 볼 수 있는 기능이 필요합니다.
3. 플랫폼 리소스 수요에는 뚜렷한 최고점과 최저점이 있습니다.
a) 정보가 집중적으로 유입되어 처리되는 기간, 비즈니스 담당자가 집중적으로 쿼리하는 기간을 포함하여 플랫폼이 하루 종일 운영되는 동안 고정된 피크가 있습니다. 동시에 주초와 월초에 액세스 피크가 발생합니다.
b) 피크 기간에는 더 높은 처리 성능 확장 비율이 필요하며, 피크 유형에 따라 시스템 리소스에 대한 요구 사항도 다릅니다. 시나리오에 따라 확장 작업에 대한 사전 계획이 필요합니다.
4. 신뢰성/적시성 요구사항
a) 정보는 24시간 계속 생성되어 플랫폼에 유입되며, 플랫폼에 진입한 후 몇 분 이내에 처리되어야 하며, 따라서 플랫폼은 안정적으로 처리할 수 있어야 합니다. 데이터 백로그를 방지하기 위해 지속적으로 최대 트래픽이 발생하면 자동으로 확장됩니다. 처리 과정에서 누락이나 오류가 있는 경우 자동으로 재시도할 수 있어야 합니다.
b) 외부 서비스 관련 시스템은 최종 사용자를 위한 액세스 포털 역할을 하며 서비스 연속성을 위한 특정 요구 사항을 갖습니다.
위의 플랫폼 기능 설계를 고려하여 Yushi Technology는 IaaS/PaaS를 포함한 IT 인프라에 대해 다음과 같은 요구 사항을 갖습니다.
1. 다양한 스토리지 유형, 시스템 간 원활한 상호 접속, 다양한 스토리지 유형 지원, 다양한 스토리지 시스템 간의 원활한 상호 접속, 일상적인 사용, 관리 및 데이터 전송을 GUI를 통해 구성할 수 있습니다.
2. 간단하고 유연한 데이터 처리 프로세스
a) 통일된 처리 흐름 관리 입구를 제공하고 그래픽 프로세스 설계를 지원합니다.
b) 복잡한 비즈니스 로직을 구현하기 위해 공통 개발 언어의 사용을 지원하고 프로세스에 원활하게 포함될 수 있습니다.
c) 프로세스 노드, 프로세스 및 데이터 저장 인터페이스 사이에서 프로세스 간 복잡한 대화형 제어를 실현할 수 있습니다.
d) 런타임 프로세스를 추적하고 분석할 수 있으며, 특정 데이터나 프로세스를 쉽게 추적하고 분석할 수 있습니다.
3. 시스템 자동 확장 및 축소
a) 데이터 처리 프로세스의 시스템 용량은 트래픽 최고점과 최저점에 따라 자동으로 확장 및 축소될 수 있으며, 시스템 간 종속성을 기반으로 특정 스크립트에 따라 확장 및 축소가 처리될 수 있습니다.
b) 기타 비즈니스 시스템은 비즈니스 액세스 최고점 및 최저점에 따라 자동으로 조정되어야 합니다.
4. R&D 업무의 전반적인 품질과 효율성을 향상시킵니다.
a) 시스템 신뢰성을 보장하면서 IT 자원 및 관리 비용의 직접 비용을 줄입니다. b) 전체 CI/CD 프로세스의 효율성을 향상시킵니다.
클라우드 워크플로우 CloudFlow + Function Compute FC는 복잡한 데이터 처리 개선을 돕습니다.
Yushi Technology는 클라우드 네이티브의 물결 속에서 탄생한 데이터 기술 회사로, 설립 초기에는 IT 업무의 전반적인 품질과 효율성을 향상하고 비용을 최적화하기 위해 클라우드 네이티브 기술을 채택하기로 결정했습니다.
품질과 효율성을 개선하는 데 직면하는 과제는 주로 데이터 처리 프로세스에 중점을 둡니다. 따라서 Alibaba Cloud 및 컨테이너화된 배포와 같은 일반적인 CI/CD 효율성 개선 도구를 사용하는 것 외에도 팀 점검 후 최종적으로 클라우드 워크플로우 CloudFlow 및 기능을 선택했습니다. FC 두 가지 신제품. 목표는 클라우드 워크플로우 CloudFlow를 통해 복잡한 데이터 프로세스를 관리해야 하는 필요성을 해결하고, 기능 컴퓨팅 FC를 사용하여 클라우드 워크플로우 CloudFlow 작동 중에 일부 노드가 복잡한 비즈니스 로직을 처리하는 문제를 해결하는 동시에 처리 기능을 제공하는 것입니다. 탄력적 스케일링의 필요성을 완벽하게 해결할 수 있습니다.
데이터 흐름 다이어그램은 다음과 같습니다.
실습을 통해 일반적인 워크플로의 경우 CloudFlow를 사용하여 웹 인터페이스를 개발하면 주류 Java 애플리케이션 프레임워크를 사용하는 것에 비해 개발 작업량이 약 절반으로 줄어드는 동시에 온라인 릴리스 링크가 생략되므로 온라인 효율성이 떨어지는 것으로 나타났습니다. 디버깅도 개선되었으며, 적응 기간을 거쳐 웹 콘솔을 기반으로 한 추적 및 디버깅의 사용 효율성도 크게 향상되었습니다.
6개월의 사용 기간 동안 Yushi Technology는 수십 개의 기능을 호출하고 수십만 번 실행되는 거의 20개의 워크플로를 개발했습니다. 워크플로를 담당하는 엔지니어는 한 명뿐이지만, 2주 정도마다 시작되는 새로운 워크플로의 평균을 유지하는 것은 여전히 가능합니다. 엔지니어의 경우 가끔 온라인 추적 및 디버깅이 필요한 경우를 제외하면 기본적으로 온라인 상태가 된 후 워크플로의 실행 상태에 신경 쓸 필요가 없으므로 실제로 "릴리스 후 잊어버리기"가 달성됩니다.
전망
빅모델 시대의 데이터 중심 스타트업으로서, 알리바바가 제공하는 인프라 혁신 역량을 통해 데이터 플랫폼과 빅모델 역량의 결합 가능성을 더욱 깊이 파고들어 최종 고객에게 더욱 강력한 역량과 역량을 제공하겠습니다. 더 많은 반복.
오픈 소스 산업용 소프트웨어를 포기하기로 결정했습니다 . 주요 이벤트 - OGG 1.0 출시, Huawei가 모든 소스 코드를 제공했습니다. Google Python Foundation 팀이 "코드 똥산"에 의해 해고되었습니다 . ". Fedora Linux 40이 정식 출시되었습니다. 유명 게임 회사가 출시했습니다. 새로운 규정: 직원의 결혼 선물은 100,000위안을 초과할 수 없습니다. China Unicom은 세계 최초로 오픈 소스 모델의 Llama3 8B 중국어 버전을 출시했습니다. Pinduoduo는 보상금을 선고 받았습니다 . 불공정 경쟁에 500만 위안 국내 클라우드 입력 방식 - 화웨이만 클라우드 데이터 업로드 보안 문제 없음