Python爬虫第一篇--环境篇

• Python3环境安装

  • 虚拟依赖包环境：anaconda

    Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。conda的包管理与pip类似，可以理解为一个工具，其核心功能是包管理与环境管理。

  • IDE：pycharm

    激活方式：

    • 服务器激活：在 License sever address 处填入 https://jetlicense.nss.im/ ，有可能需要vpn
    • 激活码：不太好找
    • 学生邮箱注册：https://www.jetbrains.com/pycharm/buy/?fromIDE#edition=discounts

• MongoDB安装

  • 介绍

    MongoDB是一个基于分布式文件存储的数据库。由 C++ 语言编写，旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。

  • 安装

    MacOS：brew install mongodb

• Redis安装

  • 介绍

    Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。它通常被称为数据结构服务器，因为值（value）可以是字符串(String), 哈希(Map), 列表(list), 集合(sets) 和有序集合(sorted sets)等类型。

  • 安装

    MacOS：brew install redis

• MySql安装

  • 介绍

    MySQL 是最流行的关系型数据库管理系统，在WEB应用方面 MySQL 是最好的RDBMS(Relational Database Management System：关系数据库管理系统)应用软件之一。

  • 安装

    MacOS：brew install mysql

• Python爬虫常用库

  • urllib re(python内置)
  • slenium(驱动浏览器渲染Js) + ChromeDriver
  • phantomjs(无界面浏览器)
  • lxml(解析方式)
  • beautifulsoup(网页解析库)
  • pyquery(网页解析库)
  • pymysql
  • pymongo
  • redis
  • flask(web库，代理设置)
  • django(web服务器框架)
  • jupyter(网页记事本)

安装：pip3 install requests selenium beautifulsoup4 pyquery pymysql pymongo redis flask django jupyter