Bash：只用空行在Linux中拆分10个文件

发布时间：2020-12-15 21:17:53 所属栏目：安全来源：网络整理

导读：我目前正在使用 Scala应用程序解析一些文件.问题是文件太大,所以它们总是最终在堆大小中抛出一个异常(我尝试使用最大堆大小,但我仍然没有用). 现在,文件看起来像这样： This isone paragraphfor Scalato parseThis isanother paragraphfor Scalato parseYet

我目前正在使用 Scala应用程序解析一些文件.问题是文件太大,所以它们总是最终在堆大小中抛出一个异常(我尝试使用最大堆大小,但我仍然没有用).

现在,文件看起来像这样：

This is
one paragraph
for Scala
to parse

This is
another paragraph
for Scala
to parse

Yet another
paragraph

等等.基本上我想把所有这些文件分成10或20个,但我必须确保一个段落在结果中没有被分成两半.有没有办法做到这一点？

谢谢！

解决方法

这是一个awk脚本,它将输入文件分解为batch_size块(带有分隔换行符的垃圾尾随记录).将其放入文件并将其更改为可执行文件：

#!/usr/bin/awk -f

BEGIN {RS=""; ORS="nn"; last_f=""; batch_size=20}

# perform setup whenever the filename changes
FILENAME!=last_f {r_per_f=calc_r_per_f(); incr_out(); last_f=FILENAME; fnum=1}

# write a record to an output file
{print $0 > out}

# after a batch,change the file name
(FNR%r_per_f)==0 {incr_out()}

# function to roll the file name
function incr_out() {close(out); fnum++; out=FILENAME"_"fnum".out"}

# function to get the number of records per file
function calc_r_per_f() {
    cmd=sprintf( "grep "^$" %s | wc -l",FILENAME )
    cmd | getline rcnt
    close(cmd)
    return( sprintf( "%d",rcnt/batch_size ) )
    }

您可以更改begin块中的batch_size元素以调整每个输入文件的输出文件数,并且可以通过更改incr_out()中的out =赋值来更改输出文件名本身.

如果你将它放入一个名为awko的文件中,你可以像awko data1 data2一样运行它,并获取像data2_7.out这样的文件.当然,如果您的输入文件名具有扩展名等,则输出名称会比输出名称更可怕.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!