正则表达式 – grep多个模式单个文件参数列表太长
发布时间：2020-12-14 05:56:12 所属栏目：百科 来源：网络整理
导读：我目前正在文件中搜索多个模式.该文件大小为90GB,我在特定字段(每行6-17位)搜索.我试图获得包含任何特定数字列表的所有行.我使用的当前语法是： grep '^.{6}0000000012345|^.{6}0000000012543' somelargeFile.txt outputFile.txt 对于少量的模式,这是有
|
我目前正在文件中搜索多个模式.该文件大小为90GB,我在特定字段(每行6-17位)搜索.我试图获得包含任何特定数字列表的所有行.我使用的当前语法是：
grep '^.{6}0000000012345|^.{6}0000000012543' somelargeFile.txt > outputFile.txt
对于少量的模式,这是有效的.对于大量模式,我得到“参数列表太长”错误. 我尝试过的另一种方法是分别搜索每个模式(在模式上使用for循环),但这需要多次传递大数据文件(57102722行),这是无效的. 根据我对“参数列表太长”错误的理解,它通常与bash cmds有关,而不是特定于grep.有没有可用于解决此错误的设置？或者,有关如何使用awk或sed或其他工具执行此操作的任何想法？ 谢谢！ 解决方法
您可以通过将模式放在文件中,并使用-f命令行选项来grep来避免此问题.
最方便的是将每个替代项放在文件的单独行中： patterns.txt ^.{6}0000000012345
^.{6}0000000012543
调用 grep -f patterns.txt somelargeFile.txt > outputFile.txt （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |