python – 删除重复项,但忽略空值

发布时间：2020-12-20 11:04:23 所属栏目：Python 来源：网络整理

导读：所以我知道你可以使用这样的东西来删除重复的行： the_data.drop_duplicates(subset=['the_key']) 但是,如果某些值的__键为null,如下所示： the_key C D1 NaN * *2 NaN *3 111 * *4 111 它将保留C列中标记的那些.是否有可能得到drop_duplicates将所有nan视为

所以我知道你可以使用这样的东西来删除重复的行：

the_data.drop_duplicates(subset=['the_key'])

但是,如果某些值的__键为null,如下所示：

the_key  C  D
1      NaN  *  *
2      NaN     *
3      111  *  *
4      111

它将保留C列中标记的那些.是否有可能得到drop_duplicates将所有nan视为不同并获得保持D列中数据的输出？

解决方法

使用 duplicated链接 isna并过滤 boolean indexing：

df = df[(~df['the_key'].duplicated()) | df['the_key'].isna()]
#fol oldier pandas versions
#df = df[(~df['the_key'].duplicated()) | df['the_key'].isnull()]
print (df)
   the_key  C    D
1      NaN  *    *
2      NaN       * 
3    111.0  *    *

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!