shell – awk / sed替换换行符
发布时间:2020-12-15 21:19:13 所属栏目:安全 来源:网络整理
导读:介绍: 我得到了一个CSV文件,其中字段分隔符是管道分类(即|). 此文件具有预定义数量的字段(例如N).我可以通过读取CSV文件的标题来发现N的值,我们可以认为这是正确的. 问题: 一些字段错误地包含换行符,这使得该行看起来比所需的短(即,它具有M个字段,其中M ).
介绍:
我得到了一个CSV文件,其中字段分隔符是管道分类(即|). 问题: 一些字段错误地包含换行符,这使得该行看起来比所需的短(即,它具有M个字段,其中M
if [ $# -ne 1 ] then echo "Usage: $0 <filename>" exit fi # get first line first_line=$(head -n 1 $1) # get number of fields num_separators=$(echo "$first_line" | tr -d -c '|' | awk '{print length}') cat $1 | awk -v numFields=$(( num_separators + 1 )) -F '|' ' { totRecords = NF/numFields # loop over lines for (record=0; record < totRecords; record++) { output = "" # loop over fields for (i=0; i<numFields; i++) { j = (numFields*record)+i+1 # replace newline with question mark sub("n","?",$j) output = output (i > 0 ? "|" : "") $j } print output } } ' 但是,换行符仍然存在. CSV示例: FIRST_NAME|LAST_NAME|NOTES John|Smith|This is a field with a newline Foo|Bar|Baz 预期产量: FIRST_NAME|LAST_NAME|NOTES John|Smith|This is a field with a * newline Foo|Bar|Baz * I don't care about the replacement,it could be a space,a question mark,whatever except a newline or a pipe (which would create a new field) 解决方法$cat tst.awk BEGIN { FS=OFS="|" } NR==1 { reqdNF = NF; printf "%s",$0; next } { printf "%s%s",(NF < reqdNF ? " " : ORS),$0 } END { print "" } $awk -f tst.awk file.csv FIRST_NAME|LAST_NAME|NOTES John|Smith|This is a field with a newline Foo|Bar|Baz 如果那不是您想要的,那么编辑您的问题以提供更真实的代表性样本输入和相关输出. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |
推荐文章
站长推荐
- scala – SBT依赖关系的Docker数据卷
- 一个基于Angular+Ionic+Phonegap的混合APP实战
- angular – 使用量角器测试元素在视口中
- 如何使用docker-compose将数据库导入Docker容器
- angular – 使用ngbTabSet将nav-pills放入卡片头
- 如何在Scala中写出毕达哥拉斯定理?
- angularjs – 如何调用按钮上的指令单击里面的自
- scala – 以编程方式提交作业时Spark EC2群集上的
- docker – 无法为指定的会话 – cron创建/删除
- angularjs – $locationChangeStart,$routeChang
热点阅读