展开全部
我们可以将巨大的互联网比作成一张网络蜘蛛网，而网络爬虫便是在蜘蛛网上爬行的蜘蛛，把网的节点描述成为网页，我们将每日任务需求借助客户端电脑发出命令，而ip便是被执行的角色，ip带着每日任务借助因特网抵达终端服务器寻找客户端交代的每日任务，一个一个节点便是一个一个网页，如此蜘蛛借助一个节点之后，就可以沿着几点连线继续爬行抵达下个节点。也就说借助一个网页继续抓取。
爬虫首要便是要抓取终端服务器的网页，也就是抓取到网页的源代码，源代码包中抓取到实用的信息，就将实用的源代码获取，提取每日任务中所需的信息。
ip将抓取到实用的信息回到到客户端存储，随后再返回去，不断频繁的访问获得信息直到完成任务。因此ip便是负责带着每日任务寻找有价值的信息，随后将抓取到的有价值的信息数据负责带回(传输)到客户端，直到完成任务。
展开全部 代理服务器（Proxy）是网络信息的中转站，比方说HTTP代理服务器。我们使用网络浏览器直接链接其他Internet站点并取得网络信息时，需送出Request信号来得到回答，然后对方再把信息传送回来。代理服务器是介于浏览器和Web服务器之间的一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，Request信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你。而且大部分代理服务器都具有缓冲功能，就好像一个大Cache，它不断将新取得的数据包存到它本机的存储器上，如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的，那么它就不重新从Web服务器取数据，而直接将存储器上的数据传送给用户的浏览器，这样就能显著提高浏览速度和效率。除此之外还有SOCKS代理服务器，其原理大同小异。主要功能1）设置用户验证和记账功能，可按用户进行记账，没有登记的用户无权通过代理服务器访问Internet网。并对用户的访问时间、访问地点、信息流量进行统计。2）对用户进行分级管理，设置不同用户的访问权限，对外界或内部的Internet地址进行过滤，设置不同的访问权限。3）增加缓冲器（Cache)，提高访问速度，对经常访问的地址创建缓冲区，大大提高热门站点的访问效率。通常代理服务器都设置一个较大的硬盘缓冲区（可能高达几个GB或更大），当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度。(4）连接内网与Internet，充当防火墙（Firewall）：因为所有内部网的用户通过代理服务器访问外界时，只映射为一个IP地址，所以外界不能直接访问到内部网；同时可以设置IP地址过滤，限制内部网对外部的访问权限。(5）节省IP开销：代理服务器允许使用大量的伪IP地址，节约网上资源，即用代理服务器可以减少对IP地址的需求，对于使用局域网方式接入Internet ，如果为局域网（LAN）内的每一个用户都申请一个IP地址，其费用可想而知。但使用代理服务器后，只需代理服务器上有一个合法的IP地址，LAN内其他用户可以使用10.*.*.*这样的私有IP地址，这样可以节约大量的IP，降低网络的维护成本。 展开全部 【1】什么是SOCKS5协议。SOCKS是一种网络传输协议，主要用于客户端与外网服务器之间通讯的中间传递。SOCKS是"Sockets”的缩写。当防火墙后的客户端要访问外部的服务器时，就跟SOCKS代理服务器连接。这个代理服务器控制客户端访问外网的资格，允许的话，就将客户端的请求发往外部的服务器。这个协议最初由David Koblas开发，而后由NEC的Ying-Da Lee将其扩展到版本4。最新协议是版本5，与前一版本相比，增加支持UDP、验证，以及IPv6。根据OSI模型，SOCKS是会话层的协议，位于表示层与传输层之间。【2】SOCKS5代理与HTTP代理的区别SOCKS工作在比HTTP代理更低的层次：SOCKS使用握手协议来通知代理软件其客户端试图进行的连接SOCKS，然后尽可能透明地进行操作，而常规代理可能会解释和重写报头（例如，使用另一种底层协议，例如FTP；然而，HTTP代理只是将HTTP请求转发到所需的HTTP服务器）。虽然HTTP代理有不同的使用模式，CONNECT方法允许转发TCP连接；然而，SOCKS代理还可以转发UDP流量和反向代理，而HTTP代理不能。HTTP代理通常更了解HTTP协议，执行更高层次的过滤（虽然通常只用于GET和POST方法，而不用于CONNECT方法）。SOCKS：Bill希望通过互联网与Jane沟通，但他们的网络之间存在一个防火墙，Bill不能直接与Jane沟通。所以，Bill连接到他的网络上的SOCKS代理，告知它他想要与Jane创建连接；SOCKS代理打开一个能穿过防火墙的连接，并促进Bill和Jane之间的通信。HTTP：Bill希望从Jane的Web服务器下载一个网页。Bill不能直接连接到Jane的服务器，因为在他的网络上设置了防火墙。为了与该服务器通信，Bill连接到其网络的HTTP代理。他的网页浏览器与代理通信的方式与他直接连接Jane的服务器的方式相同；也就是说，网页浏览器会发送一个标准的HTTP请求头。HTTP代理连接到Jane的服务器，然后将Jane的服务器返回的任何数据传回Bill。【3】SOCKS5代理和VPN的区别VPN（虚拟专网），你接入VPN就是接入了一个专有网络，那么你访问网络都是从这个专有网络的出口出去，好比你在家，你家路由器后面的网络设备是在同一个网络，而VPN则是让你的设备进入了另一个网络。同时你的IP地址也变成了由VPN分配的一个IP地址。通常是一个私网地址。你和VPN服务器之间的通信是否加密取决于连接VPN的具体方式/协议。Sock5代理服务器则是把你的网络数据请求通过一条连接你和代理服务器之间的通道，由服务器转发到目的地。你没有加入任何新的网络，只是http/socks数据经过代理服务器的转发送出，并从代理服务器接收回应。你与代理服务器通信过程不会被额外处理，如果你用https，那本身就是加密的。【4】Shadowsocks全局模式与PAC模式的区别PAC模式就是会在你连接网站的时候读取PAC文件里的规则，来确定你访问的网站有没有被墙，如果符合，那就会使用代理服务器连接网站，而PAC列表一般都是从GFWList更新的。GFWList定期会更新被墙的网站（不过一般挺慢的）。简单地说，在全局模式下，所有网站默认走代理。而PAC模式是只有被墙的才会走代理，推荐PAC模式，如果PAC模式无法访问一些网站，就换全局模式试试，一般是因为PAC更新不及时（也可能是GFWList更新不及时）导致的。 展开全部 代理服务器（Proxy）是网络信息的中转站，比方说HTTP代理服务器。我们使用网络浏览器直接链接其他Internet站点并取得网络信息时，需送出Request信号来得到回答，然后对方再把信息传送回来。代理服务器是介于浏览器和Web服务器之间的一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，Request信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你。而且大部分代理服务器都具有缓冲功能，就好像一个大Cache，它不断将新取得的数据包存到它本机的存储器上，如果浏览器所请求的数据在它本机的存储器上已经存在而且是最新的，那么它就不重新从Web服务器取数据，而直接将存储器上的数据传送给用户的浏览器，这样就能显著提高浏览速度和效率。除此之外还有SOCKS代理服务器，其原理大同小异。 展开全部 HTTP代理服务器是一种协议。代理协议在设备和代理服务器之间进行数据交换期间应用的规则。HTTP代理就是常见的代理协议类型中的一种。HTTP代理服务器的常见用途主要有：1、掩藏身份代理服务器知识是黑客基本功，黑客的很多活动都是通过代理服务器，比如扫描、刺探，对局域网内机器进行渗透，黑客一般攻击的时候都是中转了很多级跳板，才攻击目标机器。HTTP代理可以隐藏了身份，保证了自己的安全。2、防止攻击隐藏自己的真实地址信息，还可隐藏自己的IP，防止被黑客攻击。3、提高速度提高下载速度，突破下载限制。4、突破限制HTTP代理还可以突破网络限制。比如局域网对上网用户的端口，目的网站，协议，游戏，即时通讯软件等的限制，都可以突破这些限制。