本人爬虫工程师,每天都在做爬虫相关的事情,这个回答只介绍自己用过的代理ip提供商,我的需求是:支持多终端,高并发,IP数量足够多。
言归正传,以下是我用过的ip代理
1. 代理云
他家可以白嫖1万IP测试,可以点击这个注册
为什么把代理云排在首位?回到我最初的需求:支持多终端,高并发,IP数量足够多。
这些是我的需求,代理云很好的满足了。
为了抓取效率,我都是60个终端一起跑,每天大约需求8万+IP,以后终端数量还会增加。这家代理IP不限制使用终端,支持账号密码验证,每天可使用不重复IP10万+,一次可提取1000个IP,不限制提取时间间隔,一秒5个并发和一秒1000个并发的效率,差距还是非常大的,代理云的IP池模式很好的隔绝了业务冲突。但是如果你需求10万以上的IP量,代理云真的满足不了。
2.芝麻代理http://www.zhimaruanjian.com
芝麻代理这两年发展的声势很大,自然也少不了亲自测评一下。效果还不错,他家的代理IP数量在市面上算多的,起码客服回复“需要多少就有多少”,着实惊到我了。但是单次只能提取200个IP,并且是IP白名单绑定验证,多个白名单要多收费。。。如果你需求IP数量大,可以试试他家,企业背景和实力都不错,但是多终端一起跑的,要提前做好心理准备。
他家经常有优惠活动,购买前可以多问问客服哟。
3.站大爷http://ip.zdaye.com
他家的网站风格真是独树一帜!动态拨号资源和讯代理基本一样,但是价格要比讯代理低一些。一手私密代理IP是他家主打IP资源,一个月2200元,一天1万IP左右,这种一手私密代理IP非常适合做效果补量业务,业务成功率很高。
很多人吐槽站大爷家的服务态度不好,我觉得还好,起码我咨询的时候并没有挨骂。。。对于我来说,只要代理IP好用,一切好商量。
最近市面上代理IP提供商层出不穷,等我测评后会陆续补充。不敢说自己写的多好,但绝对是亲身体会的干货!不像楼内某些回答,图文都不是一家产品,推广告软文也得专业点吧。。。
总结:
高并发+高效率+业务成功率=代理云
需求IP数量多+套餐灵活=芝麻代理
套餐灵活+小爬虫福音=站大爷
打开虚拟机后,在编辑>模拟网络编辑器>NET设置中查看自己的IP地址、子网掩码、和网关。
开启虚拟机服务 我的电脑—-> 管理 ——>服务和应用程序——>服务 (这个一般情况下我们的电脑都已经开启了)
登录要绑定IP的虚拟机,配置网络。
以 root 用户登录 Linux 虚拟机,输入如下命令配置 ip
vi /etc/sysconfig/network-scripts/ifcfg-ens33
(注:这里的ens33是我电脑的网卡名称,每个人的不一定相同。要在目录下自己查看。路径:/etc/sysconfig/network-scripts/)
做如下修改:
将BOOTPROTO=’dhcp’ 改为 BOOTPROTO=’static’
输入:IPADDR=自己设定 (IP地址我这里设置为:192.168.135.132)
NETMASK=255.255.255.0 (子关掩码)
GATEWAY=192.168.135.2(网关)
DNS1=8.8.8.8
输入完成后,按ESC 键,然后输入“:wq”,即保存退出
5. 配置 DNS
vi /etc/resolv.conf
输入: nameserver 192.168.135.2
输入完成后,按ESC 键,然后输入“:wq”,即保存退出
如果不进行 DNS 配置,那么只能和真实物理机通信, ping 百度一下,你就知道 是不通的。
6. 重启网卡,使得配置生效(配置完成后必须重启网卡)
service network restart
然后‘ping’一下,真实的网址:‘百度一下,你就知道’,如下则配置成功,不需要第7步。
7.关闭防火墙 如果你 ping 本机真实ip地址,不通,那么需要关闭防火墙。
①、 即时生效,重启后复原
开启:service iptables start
关闭:service iptables stop
② 、永久性生效,重启后不会复原
开启:chkconfig iptables on
关闭:chkconfig iptables off
补充:在绑定好IP之后,用ifconfig 命令来查看当前的IP地址是否为自己设置的。
另外,IP绑定之后,主机名可能会变,用如下命令修改主机名
修改主机名:
1. 静态主机名:vim /etc/hostname
2. 瞬时主机名:vim /etc/sysconfig/network
hostname +主机名
查看主机名的命令:hostnamectl
本来想要使用自己以前搭建的kafka集群测试东西,结果发现自己得Xshell连接不上曾经的KafkaB主机了,而且Kafaka集群中的配置也配置了A,B,C三个集群的网络关系。打开B的主机,发现原先192.168.80.143的ip地址,现在变成了192.168.80.153,这样我又得去更改A和C中的配置文件,简直蛋疼。为了一劳永逸,干脆直接将虚拟机的ip地址变为固定IP。
由于我们采用的是NAT模式,与虚拟机共享主机的IP地址,为了给虚拟机配置静态IP地址,那么肯定需要虚拟机的网关和主机的网关一致,能够让主机和虚拟机互通。
虚拟网络编辑器NAT设置我们看到目前虚拟机的网关是192.168.80.2,子网掩码255.255.255.0,
然后我们把本机的IP地址设置为192.168.80.3,本机的默认网关和虚拟机一致。当然一般为了不影响我们正常用网,我们还是把VMware的改成我们主机的最好。反正最终是要让他们互通。
之后我们进入要设置固定IP地址的虚拟机,采用如下命令,就可以看到我们自己得网卡配置。
vi /etc/sysconfig/network-scripts/ifcfg-eth0将自己的网卡配置复制出来,修改如下参数,同时将自己想要的静态IP配置好,最后三行(IP地址,子网掩码,网关)。一定要注意不要全都照着改,例如HWADDR这个每个人的MAC地址都不一样的。
然后出来之后,我们重启下网络服务
service network restart然后就可以看到,我已经把我的KafkaB更改过来了。
接着去我的Xshell连接试一试,已经成功连接了,我也不用再改我以前辛辛苦苦配置的kafka集群了。nice!!
如果小伙伴们遇到了网卡不存的问题,例如eth0不存在,小伙伴们可以先关掉你的虚拟机。然后打开改虚拟机的网络适配器,把他的mac地址记录下来。因为每张网卡的Mac地址肯定是唯一的。
然后点击高级,就可以看到自己的Mac地址了。
然后再打开虚拟机,去该目录下找到网卡配置信息,找到和你的实体机Mac地址匹配的网卡名称,命令如下:
cd /etc/udev/rules.d/ cat70-persistent-net.rules很明显,我的Mac地址对应的是eth4,所以千万不要全部都照搬套用,否则会发现怎么配置都配置不对。最后的配置其实是这样的。
完结撒花,以后再也不用担心ip地址被偷偷换掉了。另外小伙伴们不懂计算机网络的,可以看看下边这篇文章,看完这篇文章,大家下次应该再也不用百度,直接自己就能够通过原理弄明白该怎么做。
互联网协议简析及java中HTTP协议的实战mp...com/s/oFmQUMjuoARdpYlkX04JRQ