Scala中的惯用(功能)文件处理管道

发布时间：2020-12-16 18:34:09 所属栏目：安全来源：网络整理

导读：我想获得一个优雅的管道,用于将文本输入转换为json输出.流程应该是这样的： (input file) // concatenated htmls and urlCollection[String] // unit: lineCollection[String,String] // unit: url,html docCollection[MyObj] // unit: parsed MyObj(output

我想获得一个优雅的管道,用于将文本输入转换为json输出.流程应该是这样的：

(input file)              // concatenated htmls and url
Collection[String]        // unit: line
Collection[String,String] // unit: url,html doc
Collection[MyObj]         // unit: parsed MyObj
(output file)             // json representation of parsed objects

目前我使用嵌套for循环来做这个,但我想用更实用的风格来编写它.有没有一种标准的方法,或者我应该看一下典型的库？注意：数据相当大,所以我不能完全在内存中.

解决方法

也许你可以使用Scalaz-stream.该库提供了组合性,表现力,资源安全性和处理IO的速度.此外,它使用即时内存,这对处理大数据非常有用.这是github：

https://github.com/scalaz/scalaz-stream

Youtube谈论它：

https://www.youtube.com/watch?v=GSZhUZT7Fyc

https://www.youtube.com/watch?v=nCxBEUyIBt0

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!