最近发现很多朋友都在关注Web3.0,但是又不是很清楚Web3.0到底是什么,以及区块链到底是什么东西,但是又想以技术开发者的身份参与到Web3.0这个赛道里面来,可能听说过比特币,以太坊,NFT,DeFi,GameFi ,元宇宙,Layer2,Layer3等等,但是又不知道怎么参与进来,处于一种想学习但是又不知道从何学起来的状态。
刚好最近有时间,我想把这些年在Web3.0学到的东西进行分享出来,让更多的朋友可以了解这个赛道。
可能你会有疑问,不是要搭建区块链大数据平台吗,怎么会和Web3.0扯上了。
因为本次专栏做的是从0到1搭建区块链大数据平台,这里面会涉及到一些业务问题,害怕大家不太熟悉这些业务数据,所以就在这里和大家提到了Web3.0。
原本的专栏顺序应该是《深入浅出Web3.0漫画》专栏,然后才到实战专栏的《从0到1搭建区块链大数据平台》专栏。
因为时间的关系,所以先出了 《从0到1搭建区块链大数据平台》这个专栏的内容。
可能你看到 《从0到1搭建区块链大数据平台》这篇文章的时候,深入浅出Web3.0 的漫画专区还没出来。
如果你还不太熟悉这里讲到的业务,可以到 《深入浅出Web3.0 的漫画》专栏出来的时候进行了解。
跑题了...
好了,回到从0到1搭建区块链大数据平台这个话题。
搭建区块链大数据平台,那必然就会涉及到区块链以及大数据相关方面的知识。
这里采用的是以太坊公链的数据进行搭建。
我们先来看看本次的平台我们要学习哪些知识以及完成哪些业务
知识:
1)如何搭建以太坊RPC节点
2)如何部署Ambari搭建大数据集群
3)如何访问RPC节点同步以太坊数据
4)如何根据业务解析以太坊数据
5)Flink + Kafka 构建实时数仓
6)Spark + Hive 构建离线数仓
业务:
1)清洗出 ERC20 Token 表
2)清洗出 ERC20 Transfer 转帐表
3)清洗出 合约创建者表
等等,暂时就计划到这里了
我们来看下平台的大致流程