关于高校教务系统的爬虫登录处理

原创

于 2018-04-21 09:29:51 发布 · 3.9k 阅读

标签

在寒假期间，导师问我能不能自己用爬虫爬进学校教务系统，并且发了一个别人写好的工程，让我研究。但其实，那个代码并不能成功登录我们学校的教务系统，不知道别的学校的时不时的。在那段时间，对于那个项目代码苦苦研究了很久，也没发现什么问题。前几日，突然回想起这件事，就又试着去爬一下，没想到竟然成功了，那么就分享出来，大家一起进步！
首先，观察一下我们要爬取得网站：
教务处系统登录页面
从图中可以看出，我们要爬的网址是jwcweb1.wit.edu.cn，登录页面是default2.aspx。中间加括号的部分，在第一次爬时，我也没注意过，到最后怎么也爬不成功，具体的，我们之后再说。
首先，做一些常规处理，建一个SpiderMain类，用来进行爬虫的主要处理。

class Spider:
    def __init__(self):
        self.header = {
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0",
            "Content-Type": "image/Gif; charset=gb2312"
        }

观察下登录页面的html，
观察检验码的内容
可以看出验证码是从CheckCod