GO语言如何检测代理IP?有的时候我们找到的代理IP并非都是可用的，用过免费代理的就知道这个道理，而有些服务差的代理服务商，他们的IP质量也堪忧。
我们使用爬虫的时候需要大量代理，但是并不是所有的代理都是有效的。所以在使用代理前，我们应该先检测下代理是否可用。
我们可以使用http.Transport设置代理来访问某个测试地址，如果返回的状态码为200，说明这个代理是可用的。
为了提升代理检测效率，测试地址尽量使用数据量比较小的站点：
例如：icanhazip.com和httpbin.org/get
package main
import(
"fmt"
"log"
"net/http"
"net/url"
"strings"
"time"
)
func ProxyTest(proxy_addr string)(Speed int,Status int){
//检测代理iP访问地址
var testUrl string
//判断传来的代理IP是否是https
if strings.Contains(proxy_addr,"https"){
testUrl=""
}else{
testUrl=""
}
//解析代理地址
proxy,err:=url.Parse(proxy_addr)
//设置网络传输
netTransport:=&http.Transport{
Proxy:http.ProxyURL(proxy),
MaxIdleConnsPerHost:10,
ResponseHeaderTimeout:time.Second*time.Duration(5),
}
//创建连接客户端
httpClient:=&http.Client{
Timeout:time.Second*10,
Transport:netTransport,
}
begin:=time.Now()//判断代理访问时间
//使用代理IP访问测试地址
res,err:=httpClient.Get(testUrl)
if err!=nil{
log.Println(err)
return
}
defer res.Body.Close()
speed:=int(time.Now().Sub(begin).Nanoseconds()/1000/1000)//ms
//判断是否成功访问，如果成功访问StatusCode应该为200
if res.StatusCode!=http.StatusOK{
log.Println(err)
return
}
return speed,res.StatusCode
}
func main(){
var speed,status=ProxyTest(":9090")
if status==200{
fmt.Println(speed,status)
}else{
fmt.Println("代理不可用")
}
}
如果大家需要稳定能够使用的代理IP，那么，站大爷IP是大家最为合适的选择之一，自建IP池，海量IP地址等你来。
举报/反馈