scala – 如何在Spark中将unix时间戳转换为日期
发布时间：2020-12-16 19:08:07 所属栏目：安全 来源：网络整理
导读：我有一个包含unix时间戳列(例如14356557 val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)time_col.collect().foreach(println) )的数据框,我想将其转换为格式为“yyyy-MM-DD”的数据,我尝试过nscala-time,但是它不起作用. val
|
我有一个包含unix时间戳列(例如14356557
val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)
time_col.collect().foreach(println)
)的数据框,我想将其转换为格式为“yyyy-MM-DD”的数据,我尝试过nscala-time,但是它不起作用. val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)
time_col.collect().foreach(println)
我有错误： val time_col = sqlc.sql("select ts from mr").map(_(0).toString.toDateTime)
time_col.collect().foreach(println)
”格式错误为“6000” 解决方法
因为spark1.5,有一个内置的UDF来做到这一点.
val df = sqlContext.sql("select from_unixtime(ts,'YYYY-MM-dd') as `ts` from mr")
请查看Spark 1.5.2 API Doc了解更多信息. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |