scala – Spark十进制类型精度损失

发布时间：2020-12-16 08:46:40 所属栏目：安全来源：网络整理

导读：我正在对货币计量进行一些火花十进制类型的测试,当我设置如下所示的比例和精度时,我看到一些奇怪的精确结果.我想确保在计算过程中不会有任何数据丢失,但下面的示例并不能让人放心.任何人都可以告诉我为什么这与spark sql一起发生？目前在2.3.0版本上 val sql

我正在对货币计量进行一些火花十进制类型的测试,当我设置如下所示的比例和精度时,我看到一些奇怪的精确结果.我想确保在计算过程中不会有任何数据丢失,但下面的示例并不能让人放心.任何人都可以告诉我为什么这与spark sql一起发生？目前在2.3.0版本上

val sql = """select cast(cast(3 as decimal(38,14)) / cast(9 as decimal(38,14)) as decimal(38,14)) val"""
spark.sql(sql).show

这回来了

+----------------+
|             val|
+----------------+
|0.33333300000000|
+----------------+

这是一个当前未解决的问题,请参阅 SPARK-27089.建议的解决方法是调整下面的设置.我验证了SQL语句按预期工作,此设置设置为false.

spark.sql.decimalOperations.allowPrecisionLoss=false

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!