Python爬虫之二

1）什么叫做URL

url是统一资源定位符，对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的URL，它包含的信息指出文件的位置以及浏览器应该怎么处理它。网站的URL，

通常网站的url是回路的，要涉及到网站的去重问题。

2）什么叫去重

去重类似网站存在环路。如首页下有有子页，子页中又包含首页，形成环路。

3）去重的方法