Python 在Online Judge上自动挂题脚本

Pre-Reading：

学弟搭建的开源OJ-青岛大学OJ

想了一下大概凡是用这个开源项目的基本上可以用这个脚本吧。

脚本用的是python的selenium(自动化测试工具)

关于安装selenium、Chrom或者Firefox的Driver

请参考我这篇博客：Selenium初步

使用手册

1.题目的目录为(可以存在其他文件但以下文件是必须的)

samples中的测试数据得是1.in, 1.out形式的 etc.
如果是测试数据是TXT懒得手动修改文件的后缀名和手动压缩，可以参考我另一篇博客：批量修改后缀名以及压缩

2.传入题目目录为：

upload = Upload();
upload.batchCreateQ("D:/safemon/test")

其中的D:/safemon/test为主目录该目录下有多个题目每个题目文件夹如1所示：

3.Chrome或者Firefox下运行

Chrome端：注释部分去掉之后就可以实现在后台自动操作

# 无界面操作    
#    chrome_options = Options()
#    chrome_options.add_argument("--headless")
#    driver = webdriver.Chrome("D:/software/python/module/chromedriver.exe", chrome_options=chrome_options)
    driver = webdriver.Chrome("D:/software/python/module/chromedriver.exe")

FireFox端：

    fireFoxOptions = webdriver.FirefoxOptions()
    fireFoxOptions.set_headless()
    driver = webdriver.Firefox(firefox_options=fireFoxOptions)

4.ID号每次要自己改

因为不知道你一次要添加多少道题，每道题的起始编号是多少

ID = 8000

如果ID=8001，则第一道题的ID号为8002

5.用户名和密码要改成具有超级管理员的权限(才能加题)不用我说吧。

6.Cookies保存

短时间多次登录可以通过一个Session，脚本会在第一次访问的时候在执行文件目录下生产一个cookies.json，如果很长一段时间之后想再次使用该脚本，该cookies可能会失效，所以直接删除那个cookies.json文件，会再产生一个最新的cookies的。

难点解析

1.关于如何在自动化测试(模拟手动驱动浏览器)时，保持session连接

屁话：一开始我是这么想的，如果成功登陆之后，在get其他的页面，应该也是可以访问的，毕竟我刚刚才登陆过了。

事实：get其他页面的结局是...需要再次登陆

So what should we do under this kind of circumstances?

解决方案：

分析发送请求的cookies格式

cookies = self.driver.get_cookies()

得到json格式的cookies
根据分析的cookie格式向driver里add_cookie
带着cookies(即保持着session连接)去get页面就好

        for cookie in cookies:
            self.driver.add_cookie(cookie_dict={
                'domain': cookie['domain'],
                'expiry':cookie['expiry'],
                'httpOnly':cookie['httpOnly'],  
                'name': cookie['name'],     
                'path': '/',
                'secure': cookie['secure'],  
                'value': cookie['value']
            })

2.这个问题我至今没有解决：服务器返回403错误

屁话：一个上午和中午的时间，我大概通过selenium连续登陆了十几(几十？)次我的管理员账号。我在通过后台登陆管理员账号的时候，按照道理来说，我手动操作和我通过selenium模拟应该是完全一样的效果，然而在下午的某个时刻它向我返回403错误。

我想了可能有很多原因：

服务器把我IP给封掉了(这个在我尝试通过VPN代理IP、换网线、换wifi改变我的IP地址后失败)我不知道是因为我应该在代码里设置干净的代理还是这个封掉的IP到底是什么IP？
服务器屏蔽掉我这个管理员了(我是超级管理员耶？也封？？但是我通过自己打开网页手动登录就没有问题失败告终)
服务器可以识别出来我是通过模拟登录而不是手动登录 (我一直在网上查：为什么会遇到这样的情况，虽然我没有查到原因，也没有查到什么解决办法。不过我查到一个网站，有人在爬Twitter的虫的时候遇到同样的问题，下面有一个人这么说，而且如果我如果有一天能够找到解决办法应该就是从这之中找到 ) 以及我观察了通过手动和selenium模拟返回403时的区别其中有一个csrf token 我觉得这个也应该是一个突破点

I have this problem from time to time with my own script.

What I found while debugging is I missed sending something when posting data.

Check that you post a valid user-agent, a referer, all the fields found in the form (especially the authenticity token), the cookie you must convince Twitter you use a normal browser.

It's 403 response means you didn't.

然而这些都触及到了我的知识盲区了，我寻求了很多人的帮助，但是也没能找到一个解决方案，我还给自己立下一个flag:

如果我有朝一日能够解决这个问题

I will answer this question.

如果看我这篇文章的某个人能够解决这个问题请一定要告诉我救救孩子吧

3.技术提示：必须首先加载网站，这样Selenium 才能知道cookie 属于哪个网站，即使加载网站的行为对我们没任何用处

4.上传文件

其实上传文件特别好玩，举个栗子吧，如果你在一个网页上，上传某个文件，它一定会弹出一个windows窗口，让你选择文件路径，而这个窗口不属于这个浏览器，就没法驱动driver去点click，去send_keys.。然后其实发现上传文件其实特别简单，因为只用像那个Button中的input输入框，send_keys(文件路径名)就可以了，这个操作其实就是弹出的windows窗口所做的事情，就是选择路径。

然后就可以直接上传文件了，我选择等待3sec让文件上传完。

其他的傻逼操作就不想再讲了学了就会写了

from selenium import webdriver
from selenium.webdriver.support import expected_conditions as EC
from urllib import parse, request
import json
import requests
import time
import sys
import time
import os


class Upload:
    url = "http://oj.ctgu.work/admin/contest/1/problem/create"
# 无界面操作    
#    chrome_options = Options()
#    chrome_options.add_argument("--headless")
#    driver = webdriver.Chrome("D:/software/python/module/chromedriver.exe", chrome_options=chrome_options)
    driver = webdriver.Chrome("D:/software/python/module/chromedriver.exe")
    ID = 8001
    dic = {'Title' : '1', 'Description' : '1', 'InputDescription' : '1', 'OutputDescription' : '1', 'InputSample' : '1', 'OutputSample' : '1', 'Hint' : '1'}
    path = 'question/'
    postfix = '.txt'
    
    def __init__(self):
        pass
    
    
    def getSession(self):
        cookies = self.driver.get_cookies()
        jsonCookies = json.dumps(cookies)
        with open('cookies.json', 'w') as f:
            f.write(jsonCookies)      
         

    def loadSession(self):
        username="XXXXXXXX"
        password="XXXXXXXX"
        #技术提示：必须首先加载网站，这样Selenium 才能知道cookie 属于哪个网站，即使加载网站的行为对我们没任何用处
        self.driver.get("http://oj.ctgu.work")
        self.options = webdriver.ChromeOptions()
        self.options.add_argument('Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36')
        self.options.add_argument('lang=zh_CN.UTF-8')
#    options.add_argument('O9PuzSZ6reUETDMbVhgv53o2o7PGwPYvGkse5poA3EbSr3mY1n9I4ScMyQ9yJKp7')
        self.driver.get("http://oj.ctgu.work")
        if(os.path.exists('cookies.json') == False):
            self.getSession()
        self.driver.find_element_by_xpath("//*[@id='header']/ul/div[2]/button[1]").click()
#    driver.execute_script('document.getElementById("/html/body").style.padding-right="17px"');
#    driver.execute_script('document.getElementById("/html/body").style.overflow="hidden"');   
        self.driver.find_element_by_xpath("/html/body/div[3]/div[2]/div/div/div[2]/div/form/div[1]/div/div/input").send_keys(username)
        self.driver.find_element_by_xpath("/html/body/div[3]/div[2]/div/div/div[2]/div/form/div[2]/div/div/input").send_keys(password)
        self.driver.find_element_by_xpath("/html/body/div[3]/div[2]/div/div/div[2]/div/div/button").click()
        with open('cookies.json', 'r') as f:
            cookies = json.loads(f.read())
        #这里需要自己分析cookies的信息内容
        for cookie in cookies:
            self.driver.add_cookie(cookie_dict={
                'domain': cookie['domain'],
                'expiry':cookie['expiry'],
                'httpOnly':cookie['httpOnly'],  
                'name': cookie['name'],     
                'path': '/',
                'secure': cookie['secure'],  
                'value': cookie['value']
            })
        time.sleep(5)
                                                                                                                                                                                                
    def createQ(self, newPath):
        inputID = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[1]/div[1]/div/div/div[1]/input")
        inputID.send_keys(self.ID)
        inputTitle = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[1]/div[2]/div/div/div[1]/input")
        inputTitle.send_keys(self.dic['Title'])
        inputDescription = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[2]/div/div/div/div/div[1]/div[3]/textarea")
        inputDescription.send_keys(self.dic['Description'])
        inputDescription = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[3]/div[1]/div/div/div/div[1]/div[3]/textarea")
        inputDescription.send_keys(self.dic['InputDescription'])
        outputDescription = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[3]/div[2]/div/div/div/div[1]/div[3]/textarea")
        outputDescription.send_keys(self.dic['OutputDescription'])
        inputSample = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[6]/div/div/div/div/div/div[1]/div/div/div/textarea")
        inputSample.send_keys(self.dic['InputSample'])
        outputSample = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[6]/div/div/div/div/div/div[2]/div/div/div/textarea")  
        outputSample.send_keys(self.dic['OutputSample'])
        hint = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[7]/div/div/div[1]/div[3]/textarea")        
        hint.send_keys(self.dic['Hint'])

        
        try:
            #上传文件
            uploadFile = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[11]/div[2]/div/div/div/div/input")
            uploadFile.send_keys(newPath + '/' + 'samples.zip')
        except:
            if EC.alert_is_present:
                print("There is something wrong with upload samples.zip")
                print("in" + newPath)
            return 0
                
        time.sleep(5)

        #添加tag
        self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[5]/div[2]/div/div/button").click()
        inputTag = self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/div[5]/div[2]/div/div/div/div[1]/input")
        inputTag.send_keys('蓝桥杯')
        
        #over
        self.driver.find_element_by_xpath("//*[@id='app']/div/div[3]/div[1]/div/div/form/button").click()
        return 1


    def loadInfo(self, infoPath):
        self.ID = self.ID + 1;
        for key in self.dic:
            with open(infoPath + '/' + key + self.postfix, 'r') as f:
                self.dic[key] = f.read()

    def batchCreateQ(self, path):
        self.loadSession()        
        files = os.listdir(path)
        for file in files:
            portion = os.path.splitext(file)
            if portion[1] == '': #后缀为空表示是文件夹
                newPath = path + '/' + portion[0]
                self.driver.get(self.url)
                self.loadInfo(newPath);
                if self.createQ(newPath) == 0:
                    break;
                    

upload = Upload();
upload.batchCreateQ("D:/safemon/test")

写在最后面吧。因为没有人能看到最后面，我其实很开心我能写出来这个，像之前的那个自动签到，selenium一直带给我很多惊喜，让我觉得“原来爬虫、脚本、Python”也不是这么难。

我虽然口头上说它是傻逼操作，但是我其实特别喜欢它，我其实特别菜，什么都不会，这是我第一次有一种“学计算机不后悔”的成就感，我想把selenium学透，其他的爬虫手段也学透。

我这段时间收集了很多关于爬虫和selenium的资料。

后续会列一个清单。

两句话想送给和我一样迷茫的人：

“一切恐惧源于未知”

“有需求的时候再去学学习不是味同嚼蜡一般过一遍教材就好了的”