bash – 删除字段中的所有重复条目

发布时间：2020-12-15 22:00:53 所属栏目：安全来源：网络整理

导读：我有一个格式如下的文件： text number number A;A;A;A;A;Atext number number Btext number number C;C;C;C;D;C;C;C;C 我想要做的是删除第四列中条目的所有重复,以此结束： text number number Atext number number Btext number number C;D 我更喜欢使用ba

我有一个格式如下的文件：

text   number   number   A;A;A;A;A;A
text   number   number   B
text   number   number   C;C;C;C;D;C;C;C;C

我想要做的是删除第四列中条目的所有重复,以此结束：

text   number   number   A
text   number   number   B
text   number   number   C;D

我更喜欢使用bash脚本来获得一个解决方案,以适应我正在对此文件进行的其他文本操作的管道.

谢谢！

解决方法

可以使用awk实现这一点.将字段4拆分为数组使用;第一

awk '{delete z; d=""; split($4,arr,";");for (k in arr) z[arr[k]]=k; for (l in z) d=d";"l; print($1,$2,$3,substr(d,2))}' file_name

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!