听说你的爬虫又被封了_

bestproxy • • 代理百科

加星标 ，不迷路 ！👆

目录

前言

Spider

Middleware

瞎比比

前言

上一篇文章《爬虫利器初体验》中，我们举了个简单的栗子，但是在真实的开发中这样的爬虫代码很容易就会被封掉。那么怎么样才能避免这些事发生呢？这一这篇文章我们一起来学习，如何健壮我们的爬虫代码。

Spider

当 start_urls 未被指定，会调用 start_requests() ,该方法可以用于在爬取数据之前，先进行模拟登陆。

import scrapyfrom scrapy.http import Requestfrom scrapy.selector import Selectorfrom urllib.parse import urljoinfrom doubanTop250.items import Doubantop250Itemclass DoubanTop250Spider(scrapy.spiders.Spider):    # 此处为上面留下的小坑    name = "douban"    # 设置允许爬取的域名    allowed_domains = ["douban.com"]    # header信息    my_header = {        Host: www.douban.com,        Referer: https://movie.douban.com,    }    # 表单需要提交的数据    form_data = {user: zone, pass: zone7}    # 自定义信息，向下层响应(response)传递下去    customer_data = {key1: value1, key2: value2}    def start_requests(self):        return [scrapy.FormRequest("",                                   formdata=self.form_data,  # 表单提交的数据                                   headers=self.my_header,                                   method=POST,  # GET or POST                                   meta=self.customer_data,  # 自定义，向response传递数据                                   errback=self.error_handle,                                   callback=self.logged_in,                                   # 如果需要多次提交表单，且url一样，那么就必须加此参数 dont_filter，防止被当成重复网页过滤掉了                                   dont_filter=True                                   )]    def logged_in(self, response):        # 解析模拟登陆数据        pass    def parse(self, response):        # 默认回调函数        pass    def close(self,reson):        # 关闭时调用        passscrapy.FormRequest 部分参数解析parse(self, response)

当 start_requests 没有指定回调函数时，默认回调 parse(self,response) 方法。parse 负责处理 response 并返回处理的数据以及(/或)跟进的 URL。该方法及其他的 Request 回调函数必须返回一个包含 Request、dict 或 Item 的可迭代的对象。简单的来说，所谓的回调函数，其实就是告诉spider，在拿到了网站的 response 以后，交给谁来进行处理后面的页面的解析工作。这个看上一篇文章的代码就可以知道。

Middleware

这里说一下，关于自定义 middleware 需要重写的几个方法，可能你看完这一段长篇大论之后，还是懵逼的，没关系，我也是这样。不过，当你继续往下看，看一个实例之后，你就会明白。

process_request(request, spider)

当每个request通过下载中间件时，该方法被调用。

process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或 raise IgnoreRequest 。

如果其返回 None ，Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用， 该request被执行(其response被下载)。

如果其返回 Response 对象，Scrapy将不会调用 任何 其他的 process_request() 或 process_exception() 方法，或相应地下载函数； 其将返回该 response。 已安装的中间件的 process_response() 方法则会在每个 response 返回时被调用。

如果其返回 Request 对象，Scrapy则停止调用 process_request方法并重新调度返回的 request。当新返回的 request 被执行后， 相应地中间件链将会根据下载的 response 被调用。

如果其 raise 一个 IgnoreRequest 异常，则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常， 则 request 的errback(Request.errback) 方法会被调用。如果没有代码处理抛出的异常， 则该异常被忽略且不记录(不同于其他异常那样)。

参数:

request(Request 对象)–处理的 request

spider(Spider 对象)–该 request 对应的 spider

process_response(request, response, spider)

process_request() 必须返回以下之一: 返回一个 Response 对象、 返回一个 Request 对象或 raise 一个 IgnoreRequest 异常。

如果其返回一个 Response (可以与传入的response相同，也可以是全新的对象)， 该response会被在链中的其他中间件的 process_response() 方法处理。

如果其返回一个 Request 对象，则中间件链停止， 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。

如果其抛出一个 IgnoreRequest 异常，则调用 request 的 errback( Request.errback)。 如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。

参数:

request (Request 对象) – response 所对应的 request

response (Response 对象) – 被处理的 response

spider (Spider 对象) – response 所对应的 spider

process_exception(request, exception, spider)

当下载处理器(download handler)或 process_request() (下载中间件)抛出异常(包括IgnoreRequest异常)时，Scrapy调用 process_exception() 。

process_exception() 应该返回以下之一: 返回 None 、 一个 Response 对象、或者一个 Request 对象。

如果其返回 None ，Scrapy将会继续处理该异常，接着调用已安装的其他中间件的 process_exception() 方法，直到所有中间件都被调用完毕，则调用默认的异常处理。

如果其返回一个 Response 对象，则已安装的中间件链的 process_response() 方法被调用。Scrapy将不会调用任何其他中间件的 process_exception() 方法。

如果其返回一个 Request 对象， 则返回的request将会被重新调用下载。这将停止中间件的 process_exception() 方法执行，就如返回一个response的那样。

参数:

request (是 Request 对象) – 产生异常的request

exception (Exception 对象) – 抛出的异常

spider (Spider 对象) – request对应的spider

UserAgentMiddleware

多数情况下，网站都会通过 user-agent 来识别访问的用户是否为一台机器，就像爬取豆瓣一样，如果你没有设置 user-agent 的话，就会被拒绝访问。因此，我们只使用一个 user-agent 显然是不够的，因此，我们要想个办法来设置随机的 user-agent。于是，我们便可以自定义 UserAgentMiddleware 来解决这个问题。首先，在 setting.py 中添加 user-agent ，如下：

MY_USER_AGENT = [    MSIE (MSIE 6.0; X11; Linux; i686) Opera 7.23,    iTunes/9.0.3 (Macintosh; U; Intel Mac OS X 10_6_2; en-ca),    Opera/9.20 (Macintosh; Intel Mac OS X; U; en),    Opera/9.0 (Macintosh; PPC Mac OS X; U; en),    Mozilla/4.76 [en_jp] (X11; U; SunOS 5.8 sun4u),    Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6,    Mozilla/5.0 (X11; Linux i686; U;) Gecko/ Kazehakase/0.4.5,    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER,    Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727),    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11,    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11,    Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Download 732; .NET4.0C; .NET4.0E),    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11,    Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; Download 732; .NET4.0C; .NET4.0E; 360SE),    Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30),    Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20,    Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6,    Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/ Ubuntu/10.10 (maverick) Firefox/3.6.10,    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER,    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1,    Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506),    Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.8.0.12) Gecko/ Ubuntu/dapper-security Firefox/1.5.0.12,    Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Download 732; .NET4.0C; .NET4.0E; LBBROWSER),    Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.89 Safari/537.1,    Mozilla/4.8 [en] (X11; U; SunOS; 5.7 sun4u)]

然后在 middlewares.py 中添加如下代码：

class MyUserAgentMiddleware(UserAgentMiddleware):    def __init__(self, user_agent):        self.user_agent = user_agent    @classmethod    def from_crawler(cls, crawler):        return cls(            user_agent=crawler.settings.get(MY_USER_AGENT)        )    def process_request(self, request, spider):        agent = random.choice(self.user_agent)        request.headers[User-Agent] = agent

最后启用这个 middleware ，在 setting.py 中修改 MyUserAgentMiddleware 的优先级，如下：

DOWNLOADER_MIDDLEWARES = {    # 首先禁止其原有的 UserAgentMiddleware    scrapy.downloadermiddleware.useragent.UserAgentMiddleware: None,    doubanTop250.middlewares.MyUserAgentMiddleware: 300,    doubanTop250.middlewares.ProxyMiddleware: 543,}

ProxyMiddleware

除了要更改 user-agent 之外，我们还要使用 ip 代理来健壮我们的爬虫程序。那么，在 scrapy 中如何来设置我们的 ip 代理呢？首先，在 setting.py 中添加如下代码，为代理 ip：

PROXIES = [    "194.186.20.62:21231"    , "66.153.222.162:54684"    , "219.234.5.128:3128"    , "117.114.149.66:53281"    , "117.114.149.66:53281"           ]

ip 来自西刺代理，不过好像好多没用的代理。然后在 middlewares.py 中添加如下代码：

from scrapy import signalsimport randomclass ProxyMiddleware(object):    def __init__(self, ip):        self.ip = ip    @classmethod    def from_crawler(cls, crawler):        return cls(ip=crawler.settings.get(PROXIES))    def process_request(self, request, spider):        ip = random.choice(self.ip)        request.meta[proxy] = ip

最后启用这个 middleware ，在 setting.py 中修改 ProxyMiddleware 的优先级，如下：

DOWNLOADER_MIDDLEWARES = {    # 首先禁止其原有的 UserAgentMiddleware    scrapy.downloadermiddleware.useragent.UserAgentMiddleware: None,    doubanTop250.middlewares.MyUserAgentMiddleware: 300,    doubanTop250.middlewares.ProxyMiddleware: 543,}

瞎比比

本文授权转载自公号：zone7，欢迎关注~

经过这些操作之后，你的代码等级就提升了一个高度了。说了那么多，我们好像还没有将我们抓取的数据保存下来，那么下一篇文章将会说说如何保存我们的数据。公号后台回复【scrapy初体验】获取源码。

推荐阅读：

从6730个用户中分析出大家的手机使用习惯 

一个有情怀的工科男 ，欢迎关注

赞 (0)
« 上一篇 2022年6月10日 am1:10
下一篇 » 2022年6月10日 am1:16

相关文章

  • 鱼刺儿和无籽西瓜

    　　“你再咽一口唾沫，看看有没有针扎的感觉。”上周五，我烦躁地坐在车上，妈妈一边转动方向盘，一边对我说。我咽了咽唾沫，感觉嗓子里针扎般地疼痛。此时，仪表盘上的时间显示，已是晚上8点。唉，爸爸还没有下班，他总是在加班。 　　“看来鱼刺儿还在，别急，马上就到医院了。”妈妈安慰我。今天的晚餐有我最爱吃的鲫鱼，但因为我急于吃完去看电视，急急火火地刚吃一块鱼肉嗓子就卡...

    代理百科 2022年6月17日

  • 预算1000块能买什么样的烤箱？长帝大白鲸、海氏i7、海氏C45硬核实测，哪个才是最值得入门的烤箱。

    作者：SeanIXz 在新手眼里，烤箱都一个样，我刚入坑烤箱那会儿觉得几百的和几千的烤箱都差不多，还不就是个加热器？ 但实际使用多款之后才发现不是这样的，烤箱的性能直接影响到成功率，尤其是烘焙一类需要上色以及严格温控的烹饪方式，与我们，即使同价位的烤箱也有很大差别，哪怕价格一样也会有设计、功能、性能上的差别，本文是烤箱的“硬核评测”，从数据的角度带你看三款千...

    代理百科 2022年4月13日

  • 公司网络不能上微信了，哪位大侠给个方法或者代理...

    展开全部 公司网络限制了了吗 如果是的话，那你就用手机的3G网络或者4G网络吧费一点你自己的流量其他的暂时没想到希望能帮上你

    代理百科 2022年3月23日

  • 在郑州公司注册地址怎么选才靠谱

    公司注册地址的选择上，创业者都面临哪些难题？可能很多企业觉得在哪里注册都行，给企业造不成太大的影响，这样想其实就是大错特错了，注册地址选得好，对企业也有好的影响和助力。 就像是有些企业选择的注册地址对初创企业有扶持力度，注册公司之后，企业就相较其他企业有很大的优势，这些优势就可以帮助企业更好的成长，让企业更有竞争力，可见地址选择的重要性。 公司注册地址一般是...

    代理百科 2022年4月17日

  • Tailscale_让你可以随时随地用NAS和家里的电脑

    本内容来源于@什么值得买APP，观点仅代表作者本人 ｜作者：数码小树人 背景 买了NAS，升级了千兆的宽带，用上了WebDAV的我，终于缓解了我256G的MacBook Air的存储焦虑。然而，这个焦虑伴随着我自由职业的生活的结束，重新步入职场，需要到公司上班，又一次出现了。每当离开家，无法连上内网，NAS成了摆设。这怎么能忍？肯定得想办法。群晖QuickC...

    代理百科 2022年3月24日

  • 如何设置、使用代理服务器？

    展开全部 代理服务器的最大作用就是能提高网站的访问速度，还有能设置一些权限。限制一个网站！你可以试试CCProxy，这个代理服务器操作简单。到网上搜一下就可以下载。 展开全部 你是要实现共享上网吧，代理服务器可实现共享上网，如果你的机器有两块网卡，别的机器可以借助你的机器当做服务器，实现共享上网，例如网吧的主机就是一个代理服务器，其它机器就是通过它上网的 展...

    代理百科 2022年4月13日