Golang html encoding解析
发布时间:2020-12-16 09:34:36 所属栏目:大数据 来源:网络整理
导读:自动解析html页面的编码格式: 需要依赖 golang.org/x/text 和 golang.org/x/net 这两个外部库 package mainimport ( " net/http " " io/ioutil " " fmt " " golang.org/x/text/transform " " io " " golang.org/x/text/encoding " " bufio " " golang.org/x
自动解析html页面的编码格式: 需要依赖 golang.org/x/text 和 golang.org/x/net 这两个外部库 package main import ( "net/http" "io/ioutil" "fmt" "golang.org/x/text/transform" "io" "golang.org/x/text/encoding" "bufio" "golang.org/x/net/html/charset" ) // encoding determine for html page,eg: gbk gb2312 GB18030 func determineEncoding(r io.Reader) encoding.Encoding { bytes,err := bufio.NewReader(r).Peek(1024) if err != nil { panic(err) } e,_,_ := charset.DetermineEncoding(bytes,"") return e } func main() { resp,err := http.Get("http://www.zhenai.com/zhenghun") if err != nil { panic(err) } defer resp.Body.Close() e := determineEncoding(resp.Body) reader := transform.NewReader(resp.Body,e.NewDecoder()) if resp.StatusCode == http.StatusOK { bodyBytes,err := ioutil.ReadAll(reader) if err != nil { panic(err) } fmt.Printf("%sn",bodyBytes) } } (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |