加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 编程开发 > Python > 正文

将唯一ID分配给python中的列表列表,其中重复项获得相同的id

发布时间:2020-12-16 23:00:21 所属栏目:Python 来源:网络整理
导读:我有一个列表列表(最多可包含90k个元素) [[1,2,3],[1,4],5]] 我想为每个元素分配一个id,其中id是唯一的,除非项目是重复的.所以对于上面的列表,我需要这个: [0,1,2] 这样做最有效的方法是什么? 解决方法 使用关联的ID保留已经看到的元素的映射. from iterto
我有一个列表列表(最多可包含90k个元素)
[[1,2,3],[1,4],5]]

我想为每个元素分配一个id,其中id是唯一的,除非项目是重复的.所以对于上面的列表,我需要这个:

[0,1,2]

这样做最有效的方法是什么?

解决方法

使用关联的ID保留已经看到的元素的映射.
from itertools import count
from collections import defaultdict


mapping = defaultdict(count().__next__)
result = []
for element in my_list:
    result.append(mapping[tuple(element)])

你也可以使用列表理解:

result = [mapping[tuple(element)] for element in my_list]

不幸的是,列表不可清除,因此在将它们存储为映射的键时必须将它们转换为元组.

注意使用defaultdictcount().__next__提供独特增加ID的技巧.在python2上,你必须用.next替换.__ next__.

defaultdict将在找不到密钥时分配默认值.通过调用构造函数中提供的函数获取默认值.
在这种情况下,count()生成器的__next__方法会产生越来越多的数字.

作为一种更便携的替代方案,您可以:

from functools import partial

mapping = defaultdict(partial(next,count()))

如评论中所提出的另一种解决方案是将索引用作唯一ID:

result = [my_list.index(el) for el in my_list]

但这是实现:

>需要O(N ^ 2)时间而不是O(N)
> ID是唯一的,增加但不连续(可能是也可能不是问题)

有关两种解决方案的比较,请参阅:

In [1]: from itertools import count
   ...: from collections import defaultdict

In [2]: def hashing(seq):
   ...:         mapping = defaultdict(count().__next__)
   ...:         return [mapping[tuple(el)] for el in seq]
   ...: 

In [3]: def indexing(seq):
   ...:    return [seq.index(i) for i in seq]
   ...: 

In [4]: from random import randint

In [5]: seq = [[randint(1,20),randint(1,20)] for _ in range(90000)]

In [6]: %timeit hashing(seq)
10 loops,best of 3: 37.7 ms per loop

In [7]: %timeit indexing(seq)
1 loop,best of 3: 26 s per loop

请注意,对于90k元素列表,映射解决方案需要的时间少于40毫秒,而索引解决方案需要26秒.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读