加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

Golang html encoding解析

发布时间:2020-12-16 09:34:36 所属栏目:大数据 来源:网络整理
导读:自动解析html页面的编码格式: 需要依赖 golang.org/x/text 和 golang.org/x/net 这两个外部库 package mainimport ( " net/http " " io/ioutil " " fmt " " golang.org/x/text/transform " " io " " golang.org/x/text/encoding " " bufio " " golang.org/x

自动解析html页面的编码格式:

需要依赖 golang.org/x/text 和 golang.org/x/net 这两个外部库

package main

import (
    "net/http"
    "io/ioutil"
    "fmt"
    "golang.org/x/text/transform"
    "io"
    "golang.org/x/text/encoding"
    "bufio"
    "golang.org/x/net/html/charset"
)

// encoding determine for html page,eg: gbk gb2312 GB18030
func determineEncoding(r io.Reader) encoding.Encoding {
    bytes,err := bufio.NewReader(r).Peek(1024)
    if err != nil {
        panic(err)
    }
    e,_,_ := charset.DetermineEncoding(bytes,"")
    return e
}

func main() {
    resp,err := http.Get("http://www.zhenai.com/zhenghun")
    if err != nil {
        panic(err)
    }
    defer resp.Body.Close()

    e := determineEncoding(resp.Body)
    reader := transform.NewReader(resp.Body,e.NewDecoder())
    if resp.StatusCode == http.StatusOK {
        bodyBytes,err := ioutil.ReadAll(reader)
        if err != nil {
            panic(err)
        }
        fmt.Printf("%sn",bodyBytes)
    }
}

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读