GO语言如何检测ip代理?有的时候我们找到的ip代理并非都是可用的,用过免费代理的就知道这个道理,而有些服务差的代理服务商,他们的IP质量也堪忧。
我们使用爬虫的时候需要大量代理,但是并不是所有的代理都是有效的。所以在使用代理前,我们应该先检测下代理是否可用。
我们可以使用http.Transport设置代理来访问某个测试地址,如果返回的状态码为200,说明这个代理是可用的。
为了提升代理检测效率,测试地址尽量使用数据量比较小的站点:
例如:https://icanhazip.com 和 https://httpbin.org/get
package main
import (
"fmt"
"log"
"net/http"
"net/url"
"strings"
"time"
)
func ProxyTest(proxy_addr string) (Speed int, Status int) {
//检测ip代理访问地址
var testUrl string
//判断传来的ip代理是否是https
if strings.Contains(proxy_addr, "https") {
testUrl = "https://icanhazip.com"
} else {
testUrl = "http://icanhazip.com"
}
// 解析代理地址
proxy, err := url.Parse(proxy_addr)
//设置网络传输
netTransport := &http.Transport{
Proxy: http.ProxyURL(proxy),
MaxIdleConnsPerHost: 10,
ResponseHeaderTimeout: time.Second * time.Duration(5),
}
// 创建连接客户端
httpClient := &http.Client{
Timeout: time.Second * 10,
Transport: netTransport,
}
begin := time.Now() //判断代理访问时间
// 使用ip代理访问测试地址
res, err := httpClient.Get(testUrl)
if err != nil {
log.Println(err)
return
}
defer res.Body.Close()
speed := int(time.Now().Sub(begin).Nanoseconds() / 1000 / 1000) //ms
//判断是否成功访问,如果成功访问StatusCode应该为200
if res.StatusCode != http.StatusOK {
log.Println(err)
return
}
return speed, res.StatusCode
}
func main() {
var speed, status = ProxyTest("http://124.205.155.151:9090")
if status == 200 {
fmt.Println(speed, status)
} else {
fmt.Println("代理不可用")
}
}
如果大家需要稳定能够使用的ip代理,那么,IP海是大家最为合适的选择之一,自建IP池,海量IP地址等你来。
版权声明:本文为IP海(iphai.cn)原创作品,未经许可,禁止转载!
Copyright © www.iphai.cn. All Rights Reserved. IP海 版权所有.
IP海仅提供中国内IP加速服务,无法跨境联网,用户应遵守《服务条款》内容,严禁用户使用IP海从事任何违法犯罪行为。
鄂ICP备19030659号-3
鄂公网安备42100302000141号
计算机软件著作权证
ICP/EDI许可证:鄂B2-20200106