昨晚在电脑的不懈努力下,在凌晨1.42的时候它完成了工作。
我在大概晚上7-8点开始的工作,
本次爬虫大概用时六个小时左右,数据量是13256kb
这就是本次的爬虫之旅。
下一步准备在虚拟机上导入hive数据库,进行数据的清洗,统计等操作。