目录
1、前言
在前面几篇我们陆续介绍了webrtc、日期与地理位置、去除webdriver这几种比较实用的对抗反爬风控的技巧,道高一尺,魔高一丈,与天斗其乐无穷,与风控斗朝九晚九,今天小码哥再介绍一种情况下,你想都想不到的风控系统识别你的方式。
2、问题
我们在使用selenium+chromedriver+chrome+socks5代理这种方式开发自动化程序的时候(默认我们已经加上了前言里阐述的三项的措施),代码如下:
chrome_options = webdriver.ChromeOptions()chrome_options.add_experimental_option( "excludeSwitches", ["enable-automation"])chrome_options.add_experimental_option(useAutomationExtension, False)chrome_options.add_argument(lang=zh-CN,zh,zh-TW,en-US,en)chrome_options.add_argument( user-agent=Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36)#加socks5代理chrome_options.add_argument("proxy-server=socks5://127.0.0.1:1080")driver = webdriver.Chrome( "./chromedriver", chrome_options=chrome_options)driver.get("")不知咋的一段时间后还是被服务器风控给揪出来了这是为啥?……
3、原因
因为你的代理服务器可能正在被风控系统反向追踪,风控系统通过反向端口扫描你暴露给风控系统的IP,可以知道你的代理服务器是否建立了socks5代理服务。如下图,我们来看下这个流程:
1、代理服务器123.123.123.123建立socks5代理服务,监听端口10802、浏览器配置代理为socks5://123.123.123.123:1080 访问web服务器3、风控系统记录下访问者也就是代理服务器的IP4、风控系统直接扫描此IP开放了1080对应socks5代理服务5、然后123.123.123.123直接被禁结局如下:风控系统笑着说:没想到吧?老子一个反向扫描你还不得给我乖乖现出原形?
4、解决方案
了解到风控是如何识别你的,解决方案就很简单,就是给代理服务器设置访问白名单,禁止掉除了你的爬虫出口IP的其他任何访问的IP,设置方法我就不说了,搜索引擎一下iptables配置,如果是云服务器的话在云服务器控制台配置。
PS:最后提出一个问题:我们都知道,在使用socks5代理的时候,chrome是原生内置不支持socks5代理验证的,有没有比较好的办法解决呢?欢迎大家探讨交流,后续小码哥也会提出一种解决方案。
PSS:为防止失联,方便交流,小码哥欢迎大家加入码道工程读者交流群。
以上。欢迎关注本。