代理百科
-
中国移动宽带、魔百盒使用手册,太全了!(别说我没告诉你,值得收藏)
您上网的时候是不是会出现上网速度突然变慢，网页打不开、断网等现象？不用捉急，赶紧收藏此文，以后自己就能搞定常见宽带故障啦~ 一. 常见宽带故障处理流程“ 现象1： 上网速度慢 ”1、用户电脑使用不正常 电脑速度慢或开机后越来越慢，鼠标长时间无反应或极慢，上网后电脑无故重启。这可能是电脑感染病毒或系统有问题，建议用杀毒软件杀毒，杀...
-
家用无线路由器问题解决办法,菜鸟看了都叫好
没有 wifi 的日子 就像没有性生活 要流出来的出不来 想要进来的进不去 现在小伙伴是越来越离不开wifi了 没有你的日子里 我要如何自慰自己 今天宽带君就给大家讲讲 家用无线路由器常见的故障以及解决办法 祝各位性福 1 无线路由器怎么射 （以tplink为例） 当计算机已经连接到路由器之后，对路由器进行无线网络的设定方法如下： 连接到无线路由...
-
【干货】模拟器搭配Burpsuite对APK抓包步骤详解
点击标题下「明不可欺」可快速关注 今天，来告诉你，如何进行apk的抓包。 一、准备工具 准备的软件：模拟器、burpsuite、需要测试的APP 解决的办法：模拟器和 APP 直接去官网下载安装即可 burp...
-
Python3网络爬虫课程--1.1环境配置
打开凤凰新闻，查看更多高清图片
-
Python3网路爬虫课程1.2环境配置
打开凤凰新闻，查看更多高清图片
-
Python3网络爬虫课程2.1爬虫基础
Python3网络爬虫课程 爬虫基础 HTTP基本原理 响应状态码 响应头 响应体 请求方法 请求网址 请求头 请求体 打开凤凰新闻，查看更多高清图片 URI和URL 超文本 HTTP和HTTPS HTTP请求过程 请求 响应 网页基础 html css javascript 网页的组成 网页的结构 节点树与节点间的关系 选择器 爬虫的基本原理 获取网页 提...
-
Python3网络爬虫课程5.2使用关系型数据库存储
关系型数据库是基于关系模型的数据库，而关系模型是通过二维表来表示的，所以它的存储方式为行列组成的表，每一列是一个字段，每一行是一条记录。表可以看作是某个实体的集合，而实体之间的联系就是表之间的关联关系。多个表组成一个数据库，也就是关系型的数据库。 常用的关系型数据库有Mysql、Sqlite、Oracle、Sql Server、DB2、Mariadb、Pos...
-
Python3网络爬虫课程5.3非关系型数据库存储
NoSQL，全称为Not Only SQL，不仅仅是SQL，泛指非关系型数据库。 NoSQL是基于键值对的存储，不需要进行SQL层的解析，数据之间没有耦合性，性能高。 非关系型数据库可以分为以下几类： 对于爬虫爬取的数据来说，可能会有数据缺失、数据结构嵌套等情况，如果使用关系型数据库村粗的话，需要提前建表，而且表之间的关系关系，数据的序列化等都比较麻烦。如果...
-
Python3网络爬虫课程5.4Redis存储
Redis是基于内存的键值型非关系数据库,存储效率高,支持多种存储数据结构. 准备 第一节中,我们已经安装了Redis和redis-py库. Redis和StrictRedis redis-py库提供了两个类,Redis和StrictRedis来操作redis数据库. StrictRedis实现了大部分官方的命令,参数也一一对应. Redis是StrictR...
-
Python3网络爬虫课程8.1图形验证码的识别
目前,很多网站都采取了各种各样的反爬措施,其中之一便是使用验证码.随着技术的发展,验证码却来越复杂,花样越来越多,爬虫的工作也变得愈加复杂,本节将介绍图形验证码的识别. 图形验证码 我们首先将识别最简单的验证码,图形验证码. 目标 我们将以知网为例讲解使用 OCR 技术识别图形验证码. 准备 需要安装 tesseract 和 tesserocr 库,请看第一...
-
Python3网络爬虫课程8.2极验滑动验证码的识别
上一节了解了简单验证码的识别,但是现在这种验证码非常少见,现在出现了一大批新型的验证码,如极验滑动验证码,它需要拖动合并滑块才能完成识别。 目标 本节目标是识别极验滑动验证码，如分析思路、识别缺口、生成拖动路径、模拟合并等。 准备 需要安装 Python 的 selenium 库，需要安装 Chrome 浏览器并配置好驱动 ChromeDriver。请参考第...
-
Python3网络爬虫课程9.5存储模块的实现
存储模块 我们使用 Redis 的有序集合来存储 Proxy，集合中的每个元素都是不重复的，对 Proxy 池来说，集合的元素就是一个个 Proxy，即 IP:PORT 的形式，这样的一个形式就是集合中的一个元素。 此外，有序集合的每个元素会有一个分数，分数是可以重复的，可以是浮点类型，也可以是整形，这个集合会对根据每一个元素的分数进行排序，分数小的排前面，...
-
Python3网络爬虫课程9.6获取模块
我们定义一个Crawler类来从各大网站获取Proxy，方便起见，我们将每一个统一的方法都定义为crawl开头。怎么获取以crawl开头的方法呢？我们定义一个元类ProxyMetaClass方法，Crawler类将它设置为元类，元类中实现了__new__()方法，这个方法有几个固定的参数，参数attrs中包含了一些类的属性。我们可以遍历attrs属性来获取所...
-
Python3网络爬虫课程9.7Getter类
我们上一节的获取模块其实没有写完，获取的方法并没有调用，这一节呢,我们写一个Getter类，动态的调用所有以crawl_开头的方法,然后将抓取到的Proxy存储到数据库中。 Getter类就是获取器类 它定义了一个变量POOL_UPPER_THRESHOLD，表示代理池的最大数量 is_over_threshold()方法表示代理池是否已经到了最大阈值，它调...