加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

shell – awk / sed替换换行符

发布时间:2020-12-15 21:19:13 所属栏目:安全 来源:网络整理
导读:介绍: 我得到了一个CSV文件,其中字段分隔符是管道分类(即|). 此文件具有预定义数量的字段(例如N).我可以通过读取CSV文件的标题来发现N的值,我们可以认为这是正确的. 问题: 一些字段错误地包含换行符,这使得该行看起来比所需的短(即,它具有M个字段,其中M ).
介绍:

我得到了一个CSV文件,其中字段分隔符是管道分类(即|).
此文件具有预定义数量的字段(例如N).我可以通过读取CSV文件的标题来发现N的值,我们可以认为这是正确的.

问题:

一些字段错误地包含换行符,这使得该行看起来比所需的短(即,它具有M个字段,其中M ).>

if [ $# -ne 1 ]
then
    echo "Usage: $0 <filename>"
    exit
fi

# get first line
first_line=$(head -n 1 $1)

# get number of fields
num_separators=$(echo "$first_line" | tr -d -c '|' | awk '{print length}')

cat $1  | awk -v numFields=$(( num_separators + 1 )) -F '|' '
{
    totRecords = NF/numFields
    # loop over lines
    for (record=0; record < totRecords; record++) {
        output = ""
        # loop over fields
        for (i=0; i<numFields; i++) {
            j = (numFields*record)+i+1 
            # replace newline with question mark
            sub("n","?",$j)
            output = output (i > 0 ? "|" : "") $j 
        }
        print output
    }
}
'

但是,换行符仍然存在.
我该如何解决这个问题?

CSV示例:

FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a
newline
Foo|Bar|Baz

预期产量:

FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a * newline
Foo|Bar|Baz

* I don't care about the replacement,it could be a space,a question mark,whatever except a newline or a pipe (which would create a new field)

解决方法

$cat tst.awk
BEGIN { FS=OFS="|" }
NR==1 { reqdNF = NF; printf "%s",$0; next }
{ printf "%s%s",(NF < reqdNF ? " " : ORS),$0 }
END { print "" }

$awk -f tst.awk file.csv
FIRST_NAME|LAST_NAME|NOTES
John|Smith|This is a field with a newline
Foo|Bar|Baz

如果那不是您想要的,那么编辑您的问题以提供更真实的代表性样本输入和相关输出.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读