Python爬虫6:使用API及实例

**

使用API及实例

**

1.API的使用
2.解析JSON数据
3.百度地图开放平台API调用实现热力图

1.API的使用
当决定去完成一个爬虫操作时,读者的第一反应可能就是用Requests 库请求网页,然后从正则表达式、BeautifulSoup 或Lxml 中选择一个自己最熟悉的库来解析数据, 进而提取数据。但有时我们并不需要这么“卖命”地写代码,因为应用编程接口( Application Programming Interface, API )可能己为我们做好了一切。本文将对API 进行概述,讲解API 的使用和调用方法,并对API 返回的JSON 数据进行解析,最后通过使用API 来完成一些有趣的综合案例。
(1)API概述
现在API是越来越多,百度地图API进行查询路线,定位坐标等;巨潮资讯网API进行数据查询;新浪微博API进行社交网络分析;一估网API进行房地产信息查询。
巨潮资讯网API,注册后可以免费使用1000次。
新浪网有反爬虫。
爬取社交网络。比如新浪微博,Twitter。(Twitter提供了API,可以提交关键字等信息爬取搜索结果中的每一条内容)爬完可以对整个社交网络群体做个分析,情绪、作息、区域。
百度地图API做地图热力图。
一估网API(全国房地产估价平台)。
(2)API使用方法
API用一套非常标准的规则生成数据,而且生成的数据也是按照非常标准的方式组织的。因为规则很标准,所以一些简单、基本的规则很容易学,可以快速地掌握API的用法。但并非所有的API使用都很简单,有些API的规则却是很多且复杂,建议在使用前认真观看该API的帮助文档。
(3)API验证
有些简单的API不需要验证操作,但现在大部分的API是需要用户提交验证的。提交验证主要是为了计算API调用的费用,这种常见于付费的API。
巨潮信息网可以免费1000次。

2.解析JSON数据
(1)JSON 函数导入Python
JSON是一种格式化字符串,与Python的列表和字典非常类似,相当于一个中介。让双方同时

猜你喜欢

转载自blog.csdn.net/wjyxld/article/details/105404650