오픈 소스 소프트웨어의 사용에 대한 데이터 분석을위한 기술 플랫폼을 구축

개인 블로그 탐색 페이지 (클릭 오른쪽에있는 링크를 개인 블로그를 엽니) : 다니엘은 기술 스택에 당신을 데려 갈

구조

오래된 규칙은 첫 번째 구성을 다음 언어로 볼 수 있습니다 :

상자 데이터 분석 플랫폼의 단순한를 구축하기 위해, 나는 다음과 같은 기술 스택을 사용합니다 :

서버 측 :

sanic 기반의 웹 서버 Python3
팬더 파이썬에서 가장 인기있는 데이터 분석 라이브러리
자동 sklearn 기반 sklearn 자동 기계 학습 라이브러리
선지자 Feisibuke 오픈 소스 라이브러리 시계열 분석
pandassql는 데이터 프레임 팬더에서 SQL 라이브러리를 실행할 수 있습니다
gunicorn의 파이썬 기반 WSGI HTTP 서버

클라이언트 :

반응 프런트 엔드 프레임
개미 디자인 프로 엔터프라이즈 애플리케이션 제품군에 대한 개미 오픈 소스 프레임 워크
BizCharts G2를 기반으로 시각화 라이브러리 반응
- G2 자바 스크립트에서 그래픽의 문법

기능

Dataplay3 가능한 사용자 데이터 분석의 복잡성을 단순화하기 바라고, 데이터 분석의 기본적인 기능을 제공한다.

데이터 세트 관리 팬더 바탕으로
SQL 기반의 쿼리 및 Pands
그래픽의 문법을 기반으로 시각화
간단한 대시 보드
자동화 된 기계 학습을 바탕으로 가치와는 분해 모델링 데이터와 예측을 제공
시계열 분석

특정 특징에 여기에 몇 가지 기능의 스크린 샷을 참조하시기 바랍니다 https://gangtao.github.io/dataplay3/features

또는이 참조 영상 소개

구조 및 기능에 대한 고찰

전면

의심의 여지 뷰 동등하게 좋은, 아주 인기가 반응하지 않습니다. 여기 토론하고 비교하고 싶지 않아요.

스택의 프론트 엔드에 반응, 개발 도구의 과정은 지금 매우 성숙되어왔다. 상태에 근거하여 돌아 오는 것은 관리 프론트 엔드 상태 관리의 주요 문제를 해결한다. 그러나 그렇다고하더라도, 제품의 개발은, 그것은 시간이나 걸리는 코드의 양인지, 프런트 엔드 작업은 개발의 대부분을 차지했다. 프런트 엔드 개발자는 알 필요가 :

최신 규범 ES6 권장 https://es6.ruanyifeng.com/
반응 및 REDUX
사용 웹팩 응용 프로그램을 패키지
사용 덜 당신의 CSS를 확장
지식 브라우저
... ...

내가 프레임 워크의 장점과 함께, 개미 오픈 소스 개미 디자인 프로를 사용하기로 결정했습니다, 쉽게 시작하기 할 수 있도록하려면 당신은 디자인을 많이 필요가 없다는 것입니다, 단점처럼 빛나는 기본 모델이 너무 많이 포장 일부 기능 프레임 워크입니다, 당신은 그들이 더 어려워 그것에 대해 걱정보다 원하는 기능의 일부를 구현하려는. 그래서 코드를 제어하는 방법에 따라 프레임없이 사용합니다.

프로 개미 디자인을 기반으로합니다 :

UmiJS 중국 엔터프라이즈 급 애플리케이션 반응에 대한 우미는 플러그 프레임 워크 발음 할 수있다. 우미, 지원 라우팅에 따라 라우팅 클래스 next.js 규칙 고급 라우팅 기능뿐만 아니라 다양한를, 따라서 같은 기능을 확장 수요에로드 된 클래스를 라우팅에 대한 지원 . 그런 다음 사운드 지원 시스템에 플러그 , 빌드로 소스에서 제품의 모든 라이프 사이클을 포함, 현재 기존의 외부 플러그인 내에서, 다양한 확장 및 비즈니스 요구를 지원 50+까지 추가 할 수 있습니다.
DVA 기반 돌아 오는 , 돌아 오는-사가 과 반응 라우터 경량 프런트 엔드 프레임.

개인적으로 개미 디자인 프로 기능 등이 매우 편리하다, 분리 할 수 모의 서버, 개발 전면과 후면 끝의 요청이 하나를 테스트하는 것입니다. 실질적으로 다음 공정 개발 나머지 API 프론트 엔드를 기반으로 :

REST API를 정의
(사용 팁에서 비동기 REST API 호출 요청, Axios의 HTTP 요청을 )
선단의 인터페이스를 구현 조롱
사용자 정의 페이지 모델 모델에 대응하고, 상태를 관리
페이지로 모델을 바인딩, 페이지 기능을 달성하기 위해

시각화

Dataplay2 사용 echart 시각적 도서관, Dataplay3는 개미 사용하는 등 G2를 내가 언급 내 블로그 게시물의 앞에 :

바이두의 echart 아주 좋은 시각화 라이브러리이지만, 데이터 탐색하지 충분한 사용하는 경우. Ggplot 희망은 사용 유사한 프론트 엔드 시각화 라이브러리를 가지고있다.

다행히도이 이미 프런트 엔드 시각화 라이브러리를 ggplot과 비슷, 그것은 개미 G2이다. 여기에 내 BUPT 동창 찬양 할 레이몬드 또한 echart의 저자이다. 그의 팀은 G2 그들 중 하나이며, 세계 최고의 시각화 라이브러리를 개발했다. 나는 그들이 더 나은 될 수 있다는 희망, 그것은 G2의 echart 넘어 갔다 생각!

사용자의 사용을위한 문법 중심의 그래픽, 도전이기 때문에, 그래서 Dataplay3에 아이콘 기반의 유형의 동시 시각화를 제공합니다.

패턴 문법 새로운 차트 타입 영역 차트 구성 항목, 예를 들어, 확장 될 수는 다음이다 :

const areaChart = {
  name: 'area',
  icon: 'area-chart',
  feeds: [
    {
      name: 'x',
      min: 1,
      max: 1,
    },
    {
      name: 'y',
      min: 1,
      max: 1,
    },
  ],
  build(feeds) {
    const grammar = {};
    grammar.facat = null;
    grammar.coordination = 'rect';
    grammar.geom = {};
    const geom = {};
    geom.geometry = 'area';
    if (feeds.x && feeds.y) {
      geom.position = [feeds.x, feeds.y];
    }
    grammar.geom.Geom1 = geom;
    return grammar;
  },
};

이제 Dataplay3 그래픽 다시, 나는 더 많은 종류를 추가 할 수 있습니다, 많은 종 없습니다 지원.

백엔드

백 엔드 파이썬 애플리케이션의 경우, Python3은 피할 수없는 선택을 받아 들인다. 웹 서비스의 경우, Sanic는 좋은 선택이,이 모든 장점을 기본 플라스크 상속하지만, 지원 비동기은 물론, 위험에 반드시 새로운 프레임 워크를 선택할 수 있습니다 좋은 서비스 성능을 제공 할 수 있습니다. 기사를 참조 Tucao Sanic의 수

Dataplay3은 여전히이 선택을 위해, 우리는 자신의 용도에 따라 결정을 내릴 수, 최신 인기 Graphql를 사용하지 않고 REST API를 사용합니다. 당신은 참조 할 수 있습니다 GraphQL 대에 REST를

기계 학습

이것은 또한 데이터 분석 도구를 사용할 수 있습니다 흰색 희망이기 때문에, 나는 가능한 한 간단하게 제공하는 기능을 예측하려면, 사용 자동 SKlearn은 , 모델링 프로세스 우리는 기계 학습은 매우 간단하게했습니다. 사용자는, 데이터 모델링에 대한 선택해야 기능과 같은 객체. 데이터 파이프 라인을 건설하는 경우 사용자는 데이터가 ensemb 모델 전처리 및 경우 방법, 알고리즘 응용 프로그램의 유형을 선택할 필요가 없습니다. 유일한 고려 사항은 모델을 구축하는 자원의 양을 지불 할 수있는 능력 (시간, CPU를, 메모리)입니다.

자동 Sklearn 주요 기능은 다음과 같습니다

메타 학습 알고리즘의 사용은 파이프 라인을 선택합니다
베이지안 최적화 매개 변수는 선택
앙상블을 사용하여 복잡한 모델을 구축합니다.

시계열 데이터 분석의 또 다른 일반적인 유형의 경우, 내가 페이스 북의 오픈 소스 예언자를 선택, (에 따라 pystan 건물)

Dataplay3하지 구현 기능 모델 구축, 그것은 간주 될 수 있습니다.

엔지니어 수명주기의 전체 스택 엔지니어

더 많은 애플리케이션이 클라우드로 또는 소프트웨어 엔지니어, 클라우드로 마이그레이션하는 과정에서 마이그레이션 된 때문에, 전체 스택은 전체 수명주기 엔지니어 지금 필요한 사항의 요구 사항을 충족하기에 충분하다되었습니다, 엔지니어뿐만 아니라 전면과 후면 끝 코드 구현을 커버하는 테스트뿐만 아니라 소프트웨어 수명주기의 모든 부분, 특히 개발 운영에 참여한다.

Dataplay3 예에, 나는 포함 할 필요가 :

"제품 정의 - 나는 어떤 사용자에 대한 생각해야하는지의 문제를 해결하려면
디자인 소프트웨어 아키텍처 - "아키텍처 상
코드 디자인 전면 및 후면 끝 선택 - "설계 단계
구현 및 전후 단부 테스트 - "구현 단계
지속적인 통합 및 배포 - "CICD
운영 및 배포 후 감시, 제품 마케팅 (예를 들어, 내가이 글을 쓰고 있어요) - "운영 단계

자, 내가 주로 CICD에 대해 이야기. 무엇의 개발 운영 및 CICD 이제 소프트웨어 수명주기는 매우 중요한 위치를 차지하고있다. 이 문서에서는 CICD 프로젝트를 많이 제공합니다.

Dataplay3, 나는 사용

CICD의 codeship
코드 리뷰 및 코드 분석, 자동화 codeacy을
코드 리뷰 및 코드 분석, 자동화 에버트을

많은 CICD 서비스, 가장 인기있는 오픈 소스 프로젝트가 될 수있다 트래비스 CI . 추가에 gitlab 그건 아주 좋은 CICD 기능이되었다. codeship의 그들이 좋은 기능을 가지고 있기 때문에 용기뿐만 아니라, 아주 좋은 선택. 이제 codeship의 기본 기능의 CI의 사용 dataplay3. 당신은 빌드 더 강력한 CICD을 codeship 프로 기능을 활용할 수 있습니다. 오픈 소스 프로젝트에 대한 codeship는 일부 개발 밀도가 충분해야 많은 프로젝트가 아닌 매월 100, 무료 서비스를 구축 제공합니다.

제출 코드 또는 PR의 합병시 codacy와 에버트는 코드 분석 도구를 자동화, 당신은 당신의 GitHub의 프로젝트에 연결 프로젝트를 만들 필요가 자동화 할 수있는 코드 분석이 일반적으로 CI에서 얻을 수있다 다음, 당신은 당신의 코드 변경의 품질을 이해하고 더 쉽게이 서비스를 사용할 수 있습니다.

개요

경우 데이터 플레이 그냥 아주 독창적 인 생각, dataplay2 업 프로토 타입을로, 많은 버그와 문제가있을 수, A는 물론, 지금은 매우 간단 dataplay3 거의 사용할 수있는 도구입니다 공정해야하고, 나는 천천히를 희망 개선.

첨부 자바 / C / C ++ / 기계 학습 / 알고리즘 및 데이터 구조 / 프런트 엔드 / 안드로이드 / 파이썬 / 프로그래머 읽기 / 하나의 책 책 Daquan의 :

(건조 개인 블로그에이 열 오른쪽 클릭) : 기술 건조한 꽃을
===== >> ① [자바 다니엘은 진보의 길에 당신을 데려] << ====
===== >> ② [+ ACM 알고리즘 데이터 구조 다니엘 진보에 도로에 걸릴] << ===
===== >> ③ [데이터베이스 다니엘 진보에 도로에 걸릴] << == ===
===== >> ④ [다니엘 웹 프런트 엔드는 고급가는 길에 당신을 데려 갈 수 있습니다] << ====
===== >> ⑤ [기계 학습 파이썬 다니엘은 당신에게 항목을 고급 도로] << ====
===== >> ⑥ [건축가 다니엘은 진보의 길에 당신을 데려] << =====
===== >> ⑦ [C ++ 다니엘은 도로에 당신을 데려 갈 고급] << ====
===== >> ⑧ [다니엘은 진보의 길에 당신을 데려 갈 IOS] << ====
=====> > ⑨ [웹 보안 다니엘은가는 길에 당신을 데려 갈 고급] << =====
===== >> ⑩ [리눅스 운영 체제와 다니엘은 진보의 길에 당신을 데려] << = ====

더 불로 과일이 없다, 당신이 젊은 친구가, 친구가 기술을 배우고 싶은 희망, 도로의 방법으로 모든 장애물을 극복, 기술에 묶어 책을 이해 한 다음 코드에 노크, 원리를 이해하고 연습을 갈 것입니다 결정 그것은 당신의 미래, 당신에게 꿈을 생활, 직장을 가져올 것이다.

weixin_41663412

게시 47 개 원래 기사 · 원의 칭찬 0 · 조회수 293

개인 편지 우려