加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

【GO】http请求代理

发布时间:2020-12-16 09:21:38 所属栏目:大数据 来源:网络整理
导读:package testimport ( "fmt" "io/ioutil" "log" "net/http" "net/url" "testing")var proxyConf = "112.195.81.161:8118"func buildHtppClient(isProxy bool) *http.Client { var proxy func(*http.Request) (*url.URL,error) = nil if isProxy { proxy = fu
package test

import (
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "net/url"
    "testing"
)

var proxyConf = "112.195.81.161:8118"

func buildHtppClient(isProxy bool) *http.Client {
    var proxy func(*http.Request) (*url.URL,error) = nil
    if isProxy {
        proxy = func(_ *http.Request) (*url.URL,error) {
            return url.Parse("http://" + proxyConf)
        }
    }
    transport := &http.Transport{Proxy: proxy}
    client := &http.Client{Transport: transport}
    return client
}

func Test_crawler(t *testing.T) {
    url := "http://httpbin.org/get"
    client := buildHtppClient(true)

    req,err := http.NewRequest("GET",url,nil)
    if err != nil {
        log.Fatal(err)
    }

    res,err := client.Do(req)
    if err != nil {
        log.Fatal(err)
    }

    defer res.Body.Close()
    body,err := ioutil.ReadAll(res.Body)
    if err != nil {
        log.Fatal(err)
    }

    fmt.Println(string(body))

}

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读