Scrapy定向爬虫教程(六)——分析表单并回帖

发表于 | 分类于 | |

声明

本教程为原创教程，转载请注明出处http://kongtianyi.cn/2016/11/05/python/Scrapy-Lesson-6/

本节内容

在某些时候，网站的某些内容的访问不仅仅需要用户登录，而且需要回复才能看到全部内容，如下图。所以我们需要通过模拟表单提交实现用爬虫回帖，进而获取到隐藏内容。本节就来介绍模拟表单提交的方法，github地址：https://github.com/kongtianyi/heartsong/tree/reply

隐藏

前提

你已经了解了HTML表单的相关知识(这个很好找)和scrapy的简单功能以及配置Cookie，如果还不会，请戳Scrapy定向爬虫教程(五)——保持登陆状态。

分析表单

在帖子页面的底部找到表单，右键检查，查看这一部分的源代码

检查

我们知道，表单提交的数据都在<form>标签里，明显这里也没有多选框之类的东西，我们只需要把有name属性的元素如<input>和<textarea>都找出来就好了

分析

图中提到这时的提交地址并不全，咋办呢，我们就先手动回复一下，看看都发生了什么

勾选

action

检查

编码

转码的话，网上有许多现成的工具，也可以自己写个小脚本。

代码

把上面的四张图看完并且实践之后局势就很清晰了，剩下的就是轻轻松松写代码了。ok，上代码，思路就是先访问一个页面，查找这个页面是否需要回复可见，如果需要，则回复之。这里我把判断是否需要回复注释掉了，随便一个帖子id直接运行就会回复。推荐移步去github上把代码下载到本地来看，重要部分的我都写了注释。

因为本节只介绍回复，所以只要网页上出现了我们用爬虫回复出来的内容就算成功了，就不跟下载分析什么的整合到一起了。

heartsong_spider.py

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
# -*- coding: utf-8 -*-

# import scrapy # 可以用这句代替下面三句，但不推荐
from scrapy.spiders import Spider
from scrapy.selector import Selector
from scrapy import Request
from scrapy import FormRequest  # 带表单的请求
import random

class HeartsongSpider(Spider):
    name = "heartsong"
    allowed_domains = ["heartsong.top"]  # 允许爬取的域名，非此域名的网页不会爬取
    start_urls = [
        # 起始url，这里只回复这一个页面，多个页面连续爬取请看mast分支
        "http://www.heartsong.top/forum.php?mod=viewthread&tid=136"
    ]

    # 用来保持登录状态，可把chrome上拷贝下来的字符串形式cookie转化成字典形式，粘贴到此处
    cookies = {'QGfS_2132_lastvisit': '1478302547', 'QGfS_2132_seccode': '1.fa43f9a3cb6efdd635', 'QGfS_2132_smile': '1D1', 'QGfS_2132_lip': '202.102.144.8%2C1478307120', 'QGfS_2132_ulastactivity': '29d9HUFm42onqH11DCnfZh8MN%2FFmPt0TEe15bNf2oeHflNI%2BJiwJ', 'QGfS_2132_auth': 'd713PkyUoDmnvp%2BestZH5F4lo%2BK0ewxTT1A02ulX%2FbRufbG%2B6T%2FIATHA5uYS9yoQzeNH3qz%2BupceANNs4IWF9w', 'QGfS_2132_nofavfid': '1', 'QGfS_2132_lastact': '1478308730%09misc.php%09patch', 'QGfS_2132_viewid': 'tid_196', 'QGfS_2132_sid': 'wbBi5Q', 'pgv_info': 'ssi', 'QGfS_2132_st_p': '14%7C1478308725%7Cacf78675ed42e1121abb06c3d6b494cb', 'QGfS_2132_visitedfid': '36D48', 'QGfS_2132_saltkey': 'GN4BcGg4', 'QGfS_2132_lastcheckfeed': '14%7C1478307120', 'QGfS_2132_forum_lastvisit': 'D_48_1478306883D_36_1478306901', 'QGfS_2132_st_t': '0%7C1478306901%7C6c837d3b8b5892fd86ea3bb15bf4426e', 'pgv_pvi': '8246475216', 'QGfS_2132_security_cookiereport': '12adOGUyzEnhcSY%2FZb5MgT52%2BxCPi3KZn%2Fh7pNHlxvWLnqDlLbAd'}

    # 发送给服务器的http头信息，有的网站需要伪装出浏览器头进行爬取，有的则不需要
    headers = {
        'Connection': 'keep - alive',
        'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36'
    }

    # 对请求的返回进行处理的配置
    meta = {
        'dont_redirect': True,  # 禁止网页重定向
        'handle_httpstatus_list': [301, 302]  # 对哪些异常返回进行处理
    }

    def start_requests(self):
        """
        这是一个重载函数，它的作用是发出第一个Request请求
        :return:
        """
        # 带着headers、cookies去请求self.start_urls[0],返回的response会被送到
        # 回调函数parse中
        yield Request(self.start_urls[0],
                             callback=self.parse, headers=self.headers,
                             cookies=self.cookies, meta=self.meta)

    def parse(self, response):
        """
        用以处理主题贴的首页
        :param response:
        :return:
        """
        selector = Selector(response)  # 创建选择器

        table = selector.xpath('//*[starts-with(@id, "pid")]')  # 取出所有的楼层
        if not table:
            # 这个链接内没有一个楼层，说明此主题贴可能被删了，
            # 把这类url保存到一个文件里，以便审查原因
            print "bad url!"
            f = open('badurl.txt', 'a')
            f.write(response.url)
            f.write('\n')
            f.close()
            return

        # 如有回复可见的隐藏区域，进行回复
        # locked = selector.xpath('//*[@class="locked"]')
        # if locked:
        #     re_a = locked.xpath('a/text()')
        #     if re_a and re_a.extract()[0] == u'回复':
        # 找到表单要提交到的地址
        form_action = selector.xpath('//*[@id="fastpostform"]/@action').extract()[0]
        action = "http://www." + self.allowed_domains[0] + "/" + form_action + "&inajax=1"
        replys = [
            '&#x56DE;&#x590D;&#x770B;&#x770B; &#x6709;&#x7528;&#x4E0D;',
            '&#x5389;&#x5BB3;&#x5389;&#x5BB3;&#xFF0C;&#x8C22;&#x8C22;&#x5206;&#x4EAB;&#xFF01;'
        ]  # utf-8编码的一些回复,具体使用什么编码要看具体的网站的编码
        reply = replys[random.randint(0, 1)]  #防止被管理员识别是机器回复，要随机一下
        formdata = {
            'formhash': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[2]/@value').extract()[0],
            'usesig': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[3]/@value').extract()[0],
            'subject': selector.xpath('//*[@id="fastpostform"]/table/tr/td[2]/input[4]/@value').extract()[0],
            'posttime': selector.xpath('//*[@id="posttime"]/@value').extract()[0],
            'message': reply
        }  # 表单数据，是从网页表单代码里分析出来的
        # 发出带表单的请求，当然，要有cookie
        yield FormRequest(action, callback=self.finish,
                          headers=self.headers,
                          cookies=self.cookies,
                          meta=self.meta,
                          formdata=formdata)
        return

    def finish(self, response):
        print "reply seccess!"

效果

与正常手动回复无异。

小结

本节介绍了如何分析表单并回帖，希望对你有所帮助！剩下的部分还有配置代理和发送邮件，如果需要，请通知我更新，哈，懒癌需要驱动。

有钱的捧个钱场~