利用Python实现循环访问网站页面

1.打开浏览器访问的方式 - 利用Python循环打开网页

2.无需打开浏览器访问的方式

案例: 重复访问CSND网站实现 → 访问量24小时不断增加.

# -*- coding: utf-8 -*-
import requests
import time

url_pre = "https://blog.csdn.net/qq_40820862/article/details/"

list = [82620472,82589504,82584718,82555344,82528003,82526621,82428457,82355638,82355330,82355330,
        82343369,82178091,82153197,82077644,82077551,82023972,82019167,82017912,81986374,81986018,
        81985288,81974371,81974148,81974016,81951756,81951049,81780459,81780152,81779993,81779056,
        81778791,81778173,81777569,81739856,81629332,81623546,81587920,81567732,81543990,81537971,
        81513128,81474963,81474845,81474803,81474683,81474524,81474424,81450180,81449928,81449739,
        81449595,81449523,81449067,81428522,81428432,81428347,81428067,81428052,81427991,81427815,
        81427744,81415208,81414892,81409938,81409874,81409768,81409717,81409609,81409508,81408510,
        81866096,81474988,81474865,81450567,81450029,81449258,81428187,81449446]
j = 0
while True:

    for index,i in enumerate(list):
        print(index, end=" ",flush=True)
        requests.get(url_pre + str(i))
        time.sleep(1)

    j += 1
    print("  ", j ,"次循环访问已完成")

服务器布置:

由于现在linux服务器自带python环境,使用python -v查看python版本,若是3以上版本则可以使用该python脚本,将python脚本放入到/usr/local/Python_Scrapy/ 目录中,文件名称为:csdn_+1.py.

在linux中输入: nohup python /usr/local/Python_Scrapy/csdn_+1.py

 

补充:

如何让 Python 代码常驻在服务器进程中

一、nohup

nohup，即 no hangup，nohup 的用途就是让提交的命令忽略 hangup 信号，从而使我们的进程避免中途被中断。它可以让 python 脚本和服务器连接端的 session 分离，以达到退出后依旧执行：

$ chmod +x /your_path/yourscript.py   # 先设置可执行权限$ nohup python /your_path/yourscript.py # 切记退出的 Terminal 的时候，不要 ctrl+c 退出，而是直接关闭，不然 Nohup 就被你关闭了。

如何关闭这个一直执行的进程呢：

# 找到对应的进程 PID
$ ps -ef | grep python

# 返回内容如：
user      2430     1  0 Jul03 ?        00:00:01 /usr/bin/python -tt /usr/sbin/yum-updatesd

# kill 掉该进程即可：
$ kill -9 2430

PS：nohup 在服务器重启之后就失效了，所以并不完美。

二、将命令写入 Linux 启动脚本

Linux 在启动的时候会执行 /etc/rc.local 里面的脚本，所以只要在这里添加执行命令就可以：

$ vim /etc/rc.local

# 如果是 Centos 添加以下内容:
/your_path/python3.4 /your_path/yourscript.py

# 以上内容需要添加在 exit 命令前，而且由于在执行 rc.local 脚本时，PATH 环境变量未全部初始化，因此命令需要使用绝对路径。

PS：这种方式的缺点是如果脚本挂了，那么不会自动重新启动。