通常我们使用scrapy来进行网页内容的收集，但使用起来非常的不方便：
1. 需要使用工具，或者手动来计算得到网页元素的xpath。
2. 对一些网页内需要ajax的运行才显示的内容处理起来并不方便。
我通过找相关的工具，研究爬虫方案，找到了一个比较合适的工具软件，和方便易用的处理流程：
工具软件的名字是掘金数据处理平台，界面如下：
scrapy辅助界面如下：
使用方法：
1. 在浏览器窗体，输入浏览url，打开目标网页
2. 使用右键点击网页中的元素（字符，图片等），就可以直接分析出元素的xpath，属性值等信息。
3. 在控制面板可以配置如何处理这些元素。
4. 可以对钮点击后，分析相应的日志执行流程。
5. 在scrapy面板下，打开一个目标python文件，右键点击网页元素可以将xpath直接插入到文本中。
6. 可以测试运行，并且数据会记录在内置的sqlite数据库中。
测试方法可以参考视频教程：
http://v.youku.com/v_show/id_XMTgyNzQxMzA2MA==.html?spm=a2h0j.11185381.listitem_page1.5~A
同时打开工具，和开发环境，两者一起配合编写成功scrapy+selenium数据收集脚本。
运行scrapy脚本，观察分析结果，再次调整，同时对比工具的测试运行结果。
使用以上的处理流程会非常方便的制做一个强大的数据收集脚本。
有任何使用方面的问题，请大家留言。