linux – 如何使用sed命令删除没有备份文件的行？

# ls -lrth
-rw-------. 1 root root 129G Apr 20 04:25 syslog.log

sed -i '/Nov  2/d' syslog.log

它不会创建真正的备份文件. sed是一个流编辑器.当应用于带有选项-i的文件时,它将通过sed进程传输该文件,将输出写入新文件(临时文件),当一切完成后,它将新文件重命名为原始名称.

(还有创建备份文件的选项,但是你没有给它们,所以我不会再提这些了.)

在您的情况下,您有一个非常大的文件,不想创建任何副本,但不是临时的.为此,您需要同时打开文件进行读写,然后您的sed进程可以覆盖原始文件.在此之后,您将不得不在写作结束时截断文件.

为了演示如何做到这一点,我们首先执行测试用例.

创建一个包含许多行的测试文件：

seq 0 999999 > x

现在,假设我们要删除包含数字4的所有行：

grep -v 4 1<>x <x

这将打开文件以读取和写入STDOUT(1),并作为STDIN读取. grep命令将读取所有行,并仅输出不包含4的行(选项-v).

这将有效地覆盖原始文件的开头.

您将不知道输出的时间长度,因此在输出后将显示该文件的原始内容：

…
999991
999992
999993
999995
999996
999997
999998
999999
537824
537825
537826
537827
537828
537829
…

您可以使用Unix工具截断来手动缩短文件.在实际情况中,您将难以找到适当的位置,因此计算写入的字节数(使用wc)是有意义的：

(不要忘记为此测试重新创建原始x.)

(grep -v 4 <x | tee /dev/stderr 1<>x) |& wc -c

这将执行上述步骤并另外打印写入终端的字节数,在此示例中输出将为3653658.现在使用truncate：

truncate -s 3653658 x

现在你有了想要的结果.

如果你想在脚本中这样做,我.即没有互动,你可以使用这个：

length=$((grep -v 4 <x | tee /dev/stderr 1<>x) |& wc -c)
truncate -s "$length" x

我无法保证这适用于您机器上的> 2GB或> 4GB文件;取决于您的操作系统(32位？)和已安装工具的版本,您可能会遇到大文件问题.我首先使用大文件执行测试(> 4GB,因为这通常是许多事情的限制),然后交叉你的手指试一试:)

您必须记住一些警告：

>当然,在程序运行时,没有人应该将日志条目附加到该日志文件.>此外,在运行过程中的任何中止(电源故障,信号捕获等)都会使文件处于未定义状态.但是在发生这种事故之后再次重新运行命令将在大多数情况下产生正确的输出;某些行可能会加倍,但不会超过单行应该被破坏.>当然,输出必须小于输入,否则写入将超过读数,破坏整个结果,以便应该存在的行将丢失(或在开始时截断).