在使用爬虫爬起内容的时候,经常会遇到IP被禁止访问,使用代理就是最方便的做法.这里只简述搭建一个带用户认证的普通代理。
一、安装
安装过程十分简便,只需要安装一下squid,一条命令搞定
-qa | -.-.el7_3..x86_64 which squid #二、配置
备份squid默认配置文件 ,
修改squid的配置文件 /etc/squid/squid.conf
cp /etc/squid/squid.conf squid.conf.bak vim squid.conf #修改squid.conf主要就是配置一下端口,缓存,日志和访问规则。
1、如果不需要带用户认证,只需在配置文件后面添加以下内容即可(安全性很差)
ache_mem 64 MB maximum_object_size 4 MB cache_dir ufs /var/spool/squid 100 16 256 access_log /var/log/squid/access.log http_access allow all visible_hostname CangLuan.Squid.org cache_mgr [email protected]2、带用户认证配置
htpasswd -c /etc/squid/passwd test添加认证的用户密码如果找不到htpasswd, 执行yum install httpd, 然后就能使用htpasswd了在配置文件后台添加以下内容
cache_mem 128 MB maximum_object_size 16 MB cache_dir ufs /var/spool/squid 100 16 256 access_log /var/log/squid/access.log auth_param basic program /usr/lib64/squid/basic_ncsa_auth /etc/squid/passwd #指定认证程序以及账户文件 auth_param basic children 5 #认证程序同时跑的个数 auth_param basic realm User-login #在使用代理时,输入密码时弹出来的提示框中的描述文字 auth_param basic credentialsttl 5 hours #认证的持续时间 acl cangluan proxy_auth REQUIRED #允许认证的用户访问 http_access allow test #允许test中的成员访问 http_access deny all #拒绝所有其它访问wq保存后,systemctl start squid 启动