如何最有效地将Scala DataFrame行转换为案例类？
发布时间：2020-12-16 09:35:43 所属栏目：安全 来源：网络整理
导读：一旦我有Spark一些Row类，Dataframe或者Catalyst，我想把它转换为一个case类在我的代码。这可以通过匹配来完成 someRow match {case Row(a:Long,b:String,c:Double) = myCaseClass(a,b,c)} 但是，当行中有大量的列数，十几个数字，一些布尔值，甚至偶尔为零
|
一旦我有Spark一些Row类，Dataframe或者Catalyst，我想把它转换为一个case类在我的代码。这可以通过匹配来完成
someRow match {case Row(a:Long,b:String,c:Double) => myCaseClass(a,b,c)}
但是，当行中有大量的列数，十几个数字，一些布尔值，甚至偶尔为零时，它变得丑陋。 我只想能够将Row升级到myCaseClass。是可能的，还是我已经得到最经济的语法？ 解决方法
据我所知，你不能将一个行转换为一个case类，但是我有时候选择直接访问行字段
map(row => myCaseClass(row.getLong(0),row.getString(1),row.getDouble(2)) 我发现这更容易，特别是如果case类构造函数只需要行中的某些字段。 （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |