Python案例学习——模块和包、爬虫的基础概念

本笔记尚未完成!!!

1 在Github下载项目

Github是一个面向开源及私有软件项目的托管平台,世界各地的开发者将自己的项目上传备份,或公开源码供大家学习使用。

其中,Git是一个版本控制系统,用于创建和管理仓库来保存、更新项目,或上传到Github。目前“Jetbrain全家桶”的专业版已支持直接上传C/C++、Java、Python等项目到Github。

关于Git的使用、在Github上传项目,可以参考小甲鱼的Git教程视频。建议有一定的软件开发技术,能够开发出项目之后,再学习git。目前只需学习下载和使用Github项目即可。

那么如何下载项目呢?

在这里插入图片描述

很简单,点那个绿绿的Code,然后Download ZIP即可

在这里插入图片描述
很简单!在项目界面往下拉,可以看到作者写的README.md,即用户文档,说明了该项目的使用方式及环境配置等。

本案例要求的环境展示如下。其中第三方库就是Python依赖的外部环境,需要pip install来安装
在这里插入图片描述

snipaste 截图软件

2 Python模块和包

模块

在Python中,每一个.py程序都可以当作一个模块。

在导入模块时,其中所有的 函数、类、变量(对象) 均会被导入。

例如:myModule.py如下

xlb = ["zhk","trz","why","wys","ysh","lwj","lmk","lbh","lb","xzy","zhm","fcl","wyx","sy","ljl","szk","mwh","zy"]

gaoshu = 90
xiandai = 95
C = 95

def printScore():
    print("你高数考%d分" % gaoshu)
    print("你线代考%d分" % xiandai)
    print("你C语言考%d分" % C)

class Cat:  # 定义了一个猫猫类
    def __init__(self,setName):  # 构造函数(初始化方法):对象被建立时直接调用
        self.name = setName  # 属性
        print("你获得了一只叫%s的猫猫" % self.name)
        self.weight = 20
        self.voice = "喵~"
    def meow(self):  # 方法:猫叫
        print(self.voice * 10)
    def eat(self,addw):
        self.weight += addw
    def setHeight(self,h):
        self.height = h

导入这个myModule.py时,其中的列表xlb、整数gaoshu、函数printScore()、类Cat均会被导入。

import 语句

很简单。import myModule就ok啦。

import语句通常写在最上面。在后面的代码中,可以通过myModule.xxx来介绍

外部包的下载和使用

http://npm.taobao.org/mirrors/chromedriver/
在这里插入图片描述

3 爬虫的概念

爬虫的步骤:

  1. 输入网址
  2. 获取网页
  3. 下载网页上的资源

爬虫用于批量获取资源,只能获取本身就可以看到的

4 案例的食用方法

(1)下载项目

打开该项目的Github页面,点击code->download zip进行下载

(2)安装python环境

必须要有python3.7及以上版本,可以在官网安装。并建议安装集成开发环境pycharm

(3)安装python外部库:

我们可以在github页面看到其依赖的环境,包括selenium和requests两个外部库,用于爬虫的实现。外部库就是其他人写的开源python包。既然是外部库,需要先安装才能使用
在这里插入图片描述

安装方法(1)

(以win10为例)先在左下角输入cmd,打开命令提示符
在这里插入图片描述
然后在cmd中依次输入pip install requestspip install selenium,按回车
在这里插入图片描述

安装方法(2)

如果使用pip不能安装(出现黄字、红字等),可以使用pycharm安装外部包。详见这个教程

(4) 安装chrome driver

chrome driver是chrome的驱动,python的selenium库便是借助着这个驱动,来实现模拟登录、输入账号、自动点击按钮等功能。

参考教程戳这儿

注意! 一定要安装和你的chrome相对应的版本!一定要安装chrome的目录下!也就是说,chrome.exe要和chromedriver.exe在一起!好基友一辈子!
在这里插入图片描述

(5)打开程序

至此,本项目所依赖的环境已经配置完毕。现在只需打开程序。由于本项目是一个python项目文档,并非单个的.py源文件,因此推荐用pycharm打开。

将你下载的zip文件解压缩成文件夹,然后右键文件夹->open as pycharm project(打开为pycharm项目)

在这里插入图片描述
如果你找不到open as pycharm project,可以先打开pycharm,然后点左上角的file->open,找到刚才的文件夹并打开。
在这里插入图片描述
如果你连pycharm都没下载,那用我家苏苏的话说,你是憨憨吧!你早晚会用到python的!什么?你说你以后也不想用python?我记住了,小心真香定律啊。

(6)配置程序

① 配置chromedriver

打开run.py,在这儿的path填入你的chromedriver路径!非常非常非常重要!!
在这里插入图片描述
打开你的chromedriver所在路径,点上面复制整个路径,然后加一个\chromedriver.exe
在这里插入图片描述
注意 在python里面,斜杠开头的是转义字符(例如\n是换行,\t是缩进),在处理路径时会被转义!!为了解决这一问题,可以在字符串前面加一个小写的r,表示原生字符串,如上图。

② 配置信息

在run.py中填写你的学号、你想选的课程。

填写课程请注意区分素选和主修,公共必修、专业必修和专业选修都算主修!!

如果要选多个课程,需将每个课程封装成课程名和老师姓名的列表,然后每两个列表之间用逗号隔开。即:publicCoursesprogramCourse都是列表的列表。
在这里插入图片描述

③ 会让制作人很无奈的一个步骤

在这里插入图片描述
打开GetCourse.py,修改to_wechat函数如上图。

本来这个项目,每成功一次,会通过server酱发到你的微信,但这一步配置极其复杂,不配置就会报错,因此,我们直接把to_wechat函数改成上图所示。return表示跳出一个函数,不返回值(或者说:返回None)。

别告诉别人我这么干了,不然我会被打shi。

(7)运行程序

运行run.py,输入你的学号和密码,大功告成。

注意事项

本项目仅供学习交流使用,仅用于展示python有多牛逼,并借助项目学习python包的概念、爬虫的概念。请勿广泛宣传、打包,更不准卖钱!!!

每30-60分钟会掉一次线,是正常现象,就算人工上xk网站,也会时不时掉线,毕竟这是双一流的服务器。

案例结束。

自学python字典、字符串、集合、类和对象的实现

学联部不讲了,qaq,讲过列表了,现在轮到你举一反三了,ovo。

推荐学习内容

前端 -> 用某种语言实现界面

未完待续,放假再说,咕咕咕。

祝大家期末考个好成绩!!!

猜你喜欢

转载自blog.csdn.net/qq_46192236/article/details/111823971