原标题:商业级4G代理搭建指南【准备篇】
在上一篇文章《商业级4G代理搭建指南【导语】》中,我们了解了一下目前代理IP商们常用的获取IP的方式,以及这些获取方式的优劣势,知道了为什么需要使用蜂窝网络的IP,也知道了为什么会需要自己搭建这个代理服务器。
那么本篇作为开始搭建前的准备,你将会了解到在搭建时需要哪些软硬件,以及在不同选择下,各个软硬件选择的优劣势。
首先,既然是拿蜂窝网络的IP来做代理,那么我们最需要的东西当然是网卡!之前的《5G的到来会对爬虫产生怎样的影响?》这篇文章中我有说过,目前选择用4G(而非3G)是最靠谱、最适合的,所以虽然3G网卡会便宜一些,但我们还是尽量选择直接购买4G网卡。
网卡的话,我们直接上某宝买就好了,可以搜索关键词:“4G 网卡”、“LTE 网卡”、“4G 卡托”等。
当然,这东西不是随便买一个就行的,我们需要注意区分一下。
比如上图的搜索结果中,适合我们使用的只有画了圈、标注了数字的这三个,其他的并不是我们要找的。(它们基本都是捆绑了网卡和流量卡进行销售的,实际给你的网卡可能是用的杂牌,流量卡也是物联网卡,对我们来说非常鸡肋。至于为什么鸡肋,在稍后的SIM卡部分你会得到答案。)
这时候可能有人会觉得,这样一个网卡就要60-80,太贵了!有没有便宜点的选择呢?
当然有,我们可以使用【仅支持 我们使用的运营商的 4G频段】的网卡。
以上图中的1号商品为例,它标注了“联通4G/3G”和“电信4G”,意思就是它支持联通和电信的4G频段,这种是所谓的双网通,如果它还支持移动的话,就是三网通了。
但我们在实际使用时,完全可以选择仅支持单个频段的网卡,这样子成本可以直接砍一半。但这种网卡不太好找,通常会要定制,建议在关键词中加入限定运营商的名字后用爬虫全部爬下来筛选,否则你会找到累死。
除了价格以外,我们还需要关心一个会比较坑的点,那就是这个网卡有没有所谓的WIFI功能,也就是它是不是供上电之后自己就会作为一个无线路由器,如果是这一种的话,需要确认一下网上有没有相关的切换成普通网卡模式的方法,如果没有的话,千万别买,天坑。
另外,你还需要考虑一下你所要使用的系统是否自带了这个网卡的驱动,如果不支持的话,自己找源码编译也是件很麻烦的事情。
嗯,肯定会有人上面这一堆直接不看,准备跟我买一样的。没事,正好我找到的这家公司是专门做物联网产品定制的,他们的品牌名叫Fanconn,我买的是他们的“EC20整机”,是一个三网通的4G网卡,价格是184元。但他们家本身是做定制的,所以如果你有需要,也完全可以找他们定制,成本可以压到更低。
注:之所以我买的时候选择三网通,是因为我测试使用的卡三网都有,直接买三网通的网卡能省很多事。而且他们家的售后很完善,直接把我跟技术拉了个群,驱动什么的问题直接解决好了,节省了很多折腾的时间。
然后就是承载网卡的主机了,主机方面其实选择很多,你用x86架构的也可以,用arm架构的也可以,全看需求,根据需求量决定你的硬件性能,在这个系列中我将会使用树莓派2B作为演示。
这里我再提醒一下读者朋友,树莓派使用的是arm架构的CPU,性能并不强劲,如果负载较重的话,它是扛不住的!如果你在使用时会需要插很多个网卡,或者流量很大的话, 可以试试工控机。
选择完主机之后,你还需要根据你使用的量来决定买多少口的USB扩展器,在购买时,你可以搜索“群控 USB扩展”或“USB扩展 xx口”之类的关键词,如下图:
上面这是一个典型的、做群控的人经常会使用的USB扩展器,了解灰黑产的朋友应该会经常在一些群控视频中看到它。
我没买过这家店的,不确定质量,请读者自行判断。但这个外观的产品应该都是同一个地方生产的,理论上来讲差不太多。
这种USB扩展器虽然是USB2.0协议的,但对于我们的使用并不影响,因为速率完全足够了;然后它的供电是集成好了的,所以也不需要担心供电问题,直接接上插座就能用了。
如果你用不到这么大的量,只是想玩玩而已的话,请确认好自己购买的USB扩展器是否可以外接供电,并准备好一个合适的电源适配器。(电压为5V,电流为500mA*网卡个数以上,一般支持快充的手机充电头就满足要求)
注:这个系列中我会使用我很久以前买的一个绿联的4口USB扩展器作为演示。
差不多长这样接着,你需要考虑一下使用哪个系统来搭建,我建议是使用Linux系的系统,某些资料会好搜索一些,但Windows拿来做这个事情其实也没啥问题。
毕竟如果你搜索过黑产相关的资料,你会发现其实是有一些骚东西可以直接拿来用的,搭建的时候可能还会比Linux系的更方便一些。
但因为Windows的系统自身占用资源相对于Linux而言会比较高,大部分朋友应该都不会选择在Windows上搭建,所以暂且不提。
Linux系的可选项很多,常规的服务器发行版(如Ubuntu、Debian等)都没问题,用路由器操作系统(如OpenWRT)也可以,根据搭建方案看哪个习惯、方便就用哪个。
当然,路由器系统和一般的服务器系统还是有区别的。路由器系统不需要考虑拨号这些底层的东西, 直接调用系统接口控制就行;服务器系统就需要自己控制,会稍微麻烦一些。
注:这个系列中我会使用树莓派定制版Debian(Raspbian)和OpenWRT来进行操作。
最后就是既关键又不关键的SIM卡和运营商了。
SIM卡方面,我们在常规操作下有两种选择:
实名的普通卡
普通的卡想必大家都有无限流量卡之类的了,如果使用量少的话,直接拿着用就行。
普通卡的优势就是IP绝对是基站IP,IP质量极高。但它的劣势也很明显,那就是需要实名!如果需要大批量的话会需要PY交易,一般人很难弄。
免实名的物联网卡
物联网卡的话就不需要实名了,基本就是以公司名义去办就行,一拿就是几十、上百张,一点都不费劲,而且还有共享流量池的功能,所有的卡都共用同一个流量池,比普通卡要方便很多。
但它的IP并不一定会是基站IP,一般是混搭的。而且根据地区运营商的策略不同,有些地区只是单独划分的IP段,但有些地区甚至连IP都不能变,所以没踩到坑还好,踩到坑就很麻烦。
肯定会有朋友要问了,难道还有非常规操作?
是的,确实有!如果你有渠道的话,你还可以购买境外运营商的SIM卡,没有实名问题,而且一般是随便拿货,要多少张就是个钱的问题而已。只不过境外运营商的话,综合成本会高一些,记住,并不是所有运营商的流量都那么便宜的!
注:这个系列中我会使用我自己的电信无限流量卡以及SIMBOSS提供的电信、联通、移动三网物联网卡。
综上所述,我在这个系列中会用来演示使用的软硬件如下:
树莓派2B *1
Fanconn EC20 三网通4G网卡 *3
绿联不知名型号四口USB扩展器 *1
实名过的电信无限流量卡 *1
SIMBOSS的电信、联通、移动物联网卡 *3
Raspbian / OpenWRT
其他树莓派使用到的配件:
绿联不知名型号双USB口大电流电源适配器 *1
EDUP EP-N8508GS无线网卡 *1
8GB Class10 TF卡 *1
最后再次推荐一下Fanconn,他们家本身就是做定制的,如果你有特别大规模的需求,大到需要定制整机的话,可以找他们。例如直接定制一块排满了4G网卡(理论上基带公用也是可以的)和SIM卡槽的主板(可做成类似猫池的那种),这样子的话占地、供电、规范度等方面都能得到大幅的提升。
另外,我跟Fanconn的人聊了一下,搞回来了个福利,如果有朋友看了这个系列文章之后去找他们买东西的话,只要跟客服说是从【小周码字】这里看到的就能得到一个优惠价,唯一指定淘宝店。(纯福利,没收广告费和抽成的
交易现场这个时代各种东西变化太快,而网络上的垃圾信息又很多,你需要有一个良好的知识获取渠道,很多时候早就是一种优势,还不赶紧关注我的【小周码字】并置顶/星标一波~