区块链大数据平台搭建实战:从0到1实现以太坊数据分析

最近发现很多朋友都在关注Web3.0,但是又不是很清楚Web3.0到底是什么,以及区块链到底是什么东西,但是又想以技术开发者的身份参与到Web3.0这个赛道里面来,可能听说过比特币,以太坊,NFT,DeFi,GameFi ,元宇宙,Layer2,Layer3等等,但是又不知道怎么参与进来,处于一种想学习但是又不知道从何学起来的状态。

刚好最近有时间,我想把这些年在Web3.0学到的东西进行分享出来,让更多的朋友可以了解这个赛道。

可能你会有疑问,不是要搭建区块链大数据平台吗,怎么会和Web3.0扯上了。

因为本次专栏做的是从0到1搭建区块链大数据平台,这里面会涉及到一些业务问题,害怕大家不太熟悉这些业务数据,所以就在这里和大家提到了Web3.0。

原本的专栏顺序应该是《深入浅出Web3.0漫画》专栏,然后才到实战专栏的《从0到1搭建区块链大数据平台》专栏。

因为时间的关系,所以先出了 《从0到1搭建区块链大数据平台》这个专栏的内容。

可能你看到 《从0到1搭建区块链大数据平台》这篇文章的时候,深入浅出Web3.0 的漫画专区还没出来。

如果你还不太熟悉这里讲到的业务,可以到 《深入浅出Web3.0 的漫画》专栏出来的时候进行了解。

跑题了...

好了,回到从0到1搭建区块链大数据平台这个话题。

搭建区块链大数据平台,那必然就会涉及到区块链以及大数据相关方面的知识。

这里采用的是以太坊公链的数据进行搭建。

我们先来看看本次的平台我们要学习哪些知识以及完成哪些业务

知识:

1)如何搭建以太坊RPC节点

2)如何部署Ambari搭建大数据集群

3)如何访问RPC节点同步以太坊数据

4)如何根据业务解析以太坊数据

5)Flink + Kafka 构建实时数仓

6)Spark + Hive 构建离线数仓

业务:

1)清洗出 ERC20 Token 表

2)清洗出 ERC20 Transfer 转帐表

3)清洗出 合约创建者表

等等,暂时就计划到这里了

我们来看下平台的大致流程