加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

Golang通过http代理抓取页面代码

发布时间:2020-12-16 18:57:49 所属栏目:大数据 来源:网络整理
导读:package mainimport ("fmt""io/ioutil""net/http""net/url")// http get by proxyfunc GetByProxy(url_addr,proxy_addr string) (*http.Response,error) {request,_ := http.NewRequest("GET",url_addr,nil)proxy,err := url.Parse(proxy_addr)if err != nil
package main

import (
	"fmt"
	"io/ioutil"
	"net/http"
	"net/url"
)

// http get by proxy
func GetByProxy(url_addr,proxy_addr string) (*http.Response,error) {
	request,_ := http.NewRequest("GET",url_addr,nil)
	proxy,err := url.Parse(proxy_addr)
	if err != nil {
		return nil,err
	}
	client := &http.Client{
		Transport: &http.Transport{
			Proxy: http.ProxyURL(proxy),},}
	return client.Do(request)
}

func main() {
	proxy := "http://58.252.56.149:9000/"
	url := "http://www.baidu.com/"
	resp,_ := GetByProxy(url,proxy)
	fmt.Println(resp)
	defer resp.Body.Close()
	body,_ := ioutil.ReadAll(resp.Body)
	fmt.Println(string(body))
}

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读