加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 大数据 > 正文

字典 – Golang:计算地图的内存占用量(或字节长度)

发布时间:2020-12-16 09:27:23 所属栏目:大数据 来源:网络整理
导读:我想将地图限制为最大X字节.似乎没有直接计算地图字节长度的方法. “encoding / binary”包有一个很好的Size函数,但它只适用于切片或“固定值”,而不适用于map. 我可以尝试从地图中获取所有键/值对,推断它们的类型(如果它是map [string] interface {})并计算
我想将地图限制为最大X字节.似乎没有直接计算地图字节长度的方法.

“encoding / binary”包有一个很好的Size函数,但它只适用于切片或“固定值”,而不适用于map.

我可以尝试从地图中获取所有键/值对,推断它们的类型(如果它是map [string] interface {})并计算长度 – 但这既麻烦又可能不正确(因为这将排除“内部“地图本身的golang成本 – 管理元素指针等”.

这样做的任何建议方式?最好是代码示例.

解决方法

对于地图标题,这是 the definition:

// A header for a Go map.
type hmap struct {
    // Note: the format of the Hmap is encoded in ../../cmd/gc/reflect.c and
    // ../reflect/type.go.  Don't change this structure without also changing that code!
    count int // # live cells == size of map.  Must be first (used by len() builtin)
    flags uint32
    hash0 uint32 // hash seed
    B     uint8  // log_2 of # of buckets (can hold up to loadFactor * 2^B items)

    buckets    unsafe.Pointer // array of 2^B Buckets. may be nil if count==0.
    oldbuckets unsafe.Pointer // previous bucket array of half the size,non-nil only when growing
    nevacuate  uintptr        // progress counter for evacuation (buckets less than this have been evacuated)
}

计算它的大小非常简单(unsafe.Sizeof).

这是地图指向的每个桶的定义:

// A bucket for a Go map.
type bmap struct {
    tophash [bucketCnt]uint8
    // Followed by bucketCnt keys and then bucketCnt values.
    // NOTE: packing all the keys together and then all the values together makes the
    // code a bit more complicated than alternating key/value/key/value/... but it allows
    // us to eliminate padding which would be needed for,e.g.,map[int64]int8.
    // Followed by an overflow pointer.
}

bucketCnt是一个常量,定义为:

bucketCnt     = 1 << bucketCntBits // equals decimal 8
bucketCntBits = 3

最终的计算是:

unsafe.Sizeof(hmap) + (len(theMap) * 8) + (len(theMap) * 8 * unsafe.Sizeof(x)) + (len(theMap) * 8 * unsafe.Sizeof(y))

如果Map是您的地图值,则x是地图的键类型的值,y是地图的值类型的值.

您必须通过程序集与程序包共享hmap结构,类似于运行时中的thunk.s.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读