代理知识

关系型数据库是基于关系模型的数据库，而关系模型是通过二维表来表示的，所以它的存储方式为行列组成的表，每一列是一个字段，每一行是一条记录。表可以看作是某个实体的集合，而实体之间的联系就是表之间的关联关系。多个表组成一个数据库，也就是关系型的数据库。 常用的关系型数据库有Mysql、Sqlite、Oracle、Sql Server、DB2、Mariadb、Pos...

NoSQL，全称为Not Only SQL，不仅仅是SQL，泛指非关系型数据库。 NoSQL是基于键值对的存储，不需要进行SQL层的解析，数据之间没有耦合性，性能高。 非关系型数据库可以分为以下几类： 对于爬虫爬取的数据来说，可能会有数据缺失、数据结构嵌套等情况，如果使用关系型数据库村粗的话，需要提前建表，而且表之间的关系关系，数据的序列化等都比较麻烦。如果...

Redis是基于内存的键值型非关系数据库,存储效率高,支持多种存储数据结构. 准备 第一节中,我们已经安装了Redis和redis-py库. Redis和StrictRedis redis-py库提供了两个类,Redis和StrictRedis来操作redis数据库. StrictRedis实现了大部分官方的命令,参数也一一对应. Redis是StrictR...

目前,很多网站都采取了各种各样的反爬措施,其中之一便是使用验证码.随着技术的发展,验证码却来越复杂,花样越来越多,爬虫的工作也变得愈加复杂,本节将介绍图形验证码的识别. 图形验证码 我们首先将识别最简单的验证码,图形验证码. 目标 我们将以知网为例讲解使用 OCR 技术识别图形验证码. 准备 需要安装 tesseract 和 tesserocr 库,请看第一...

上一节了解了简单验证码的识别,但是现在这种验证码非常少见,现在出现了一大批新型的验证码,如极验滑动验证码,它需要拖动合并滑块才能完成识别。 目标 本节目标是识别极验滑动验证码，如分析思路、识别缺口、生成拖动路径、模拟合并等。 准备 需要安装 Python 的 selenium 库，需要安装 Chrome 浏览器并配置好驱动 ChromeDriver。请参考第...

存储模块 我们使用 Redis 的有序集合来存储 Proxy，集合中的每个元素都是不重复的，对 Proxy 池来说，集合的元素就是一个个 Proxy，即 IP:PORT 的形式，这样的一个形式就是集合中的一个元素。 此外，有序集合的每个元素会有一个分数，分数是可以重复的，可以是浮点类型，也可以是整形，这个集合会对根据每一个元素的分数进行排序，分数小的排前面，...

我们定义一个Crawler类来从各大网站获取Proxy，方便起见，我们将每一个统一的方法都定义为crawl开头。怎么获取以crawl开头的方法呢？我们定义一个元类ProxyMetaClass方法，Crawler类将它设置为元类，元类中实现了__new__()方法，这个方法有几个固定的参数，参数attrs中包含了一些类的属性。我们可以遍历attrs属性来获取所...

我们上一节的获取模块其实没有写完，获取的方法并没有调用，这一节呢,我们写一个Getter类，动态的调用所有以crawl_开头的方法,然后将抓取到的Proxy存储到数据库中。 Getter类就是获取器类 它定义了一个变量POOL_UPPER_THRESHOLD，表示代理池的最大数量 is_over_threshold()方法表示代理池是否已经到了最大阈值，它调...

前面已经成功将各个网站上的Proxy获取到了，并且存储到了redis之中，那么，现在我们需要实现一个检测模块来检测Proxy，检测可用，则Score就设置为100，不可用，则score减1，这样就可以实时改变每个Proxy的可用情况。 由于Proxy的数量很多，为了提高检测效率，可以使用异步请求库aiohttp来进行检测，requests是一个同步请求库，发...

本节我们将使用前面学习过的 Selenium 来抓取淘宝商品，使用 pyquery 解析商品的各种信息，最终的结果将保存到 Mongodb 中。 准备工作 我们还是以 Chrome 为例来进行讲解，开始之前，请确保正确安装了 Chrome 浏览器并配置好了 ChromeDriver，另外还要确保 Selenium 库安装正确。 我们最后也会对接 Phanto...

展开全部 pip install --proxy proxyserver:port Package

展开全部 你的虚拟服务器不是在aws么，你的mysql应该在aws服务器上吧，那么连接mysql就不需要使用代理服务器，直接使用本地连接就是了。如果解决了您的问题请采纳！如果未解决请继续追问

展开全部 我刚刚写完这个抓IP的脚本，你都没有headers，网站肯定不让你抓啊 给你前面的代码截图，自己看下吧

展开全部 Too many open connections啊， proxy可能设置了并发连接数 连接一下代理服务器管理员。 你需要更大的并发连接数。