爬虫记忆——起因

        2015年初,眼看还剩几个月就要毕业了,可是我还没有找工作,周围很多同学都已开始实习,慢性子的我一下子也开始有点着急了,所以赶紧准备简历,海投出去,到处面试。不久,便收到了一份创业公司的offer,我这人比较懒,而且一开始也只是当作实习工作而已,便不再去其他面试了,直接进入了这家公司,可是,真的万万没想到,这份工作我竟然从实习开始一直做到现在,公司从当初的不到10人的“小作坊”,到现在初具规模,一路走来,也是不容易。

        现在回想过去的几年,我的工作内容有很大一部分和爬虫相关,不仅包括爬虫程序,还包含了与爬虫配套的监控系统、配置系统、任务系统、调度系统等等,也和同事一起,开发了我们自己的爬虫框架,经过了多次大版本升级,现在的爬虫框架也算是比较强大了,我们使用Java来编写爬虫及其配套系统,这在当前python当道的时代,好像显得有点“非主流”,但是语言只是个工具,能把它用好才是关键,由于现在Java爬虫的资料并不是很多,所以我也打算加入分享Java爬虫的大军,结合自己这几年的一点点经验,做出一点点微小的贡献。

        接下去的一段时间里,我会不定期的就爬虫甚至其配套系统写一些文章,并将其整理成一个系列,希望对爬虫初学者有一些帮助,或者能给爬虫程序员一些启发,如果有不合理的地方,也希望大家能指出来,一起讨论(说得好像这博客有人看一样,

猜你喜欢

转载自blog.csdn.net/weixin_38902900/article/details/80587337