为什么不接受Scala的符号作为列引用？

发布时间：2020-12-16 09:24:20 所属栏目：安全来源：网络整理

导读：尝试使用Spark SQL的示例,除非需要表达式,否则它们似乎运行良好： scala val teenagers = people.where('age = 10).where('age = 19).select('name)console:23: error: value = is not a member of Symbol val teenagers = people.where('age = 10).where('a

尝试使用Spark SQL的示例,除非需要表达式,否则它们似乎运行良好：

scala> val teenagers = people.where('age >= 10).where('age <= 19).select('name)
<console>:23: error: value >= is not a member of Symbol
       val teenagers = people.where('age >= 10).where('age <= 19).select('name)

scala> val teenagers = people.select('name)
<console>:23: error: type mismatch;
 found   : Symbol
 required: org.apache.spark.sql.catalyst.expressions.Expression
       val teenagers = people.select('name)

似乎我需要一个没有记录的导入.

如果我批量导入所有内容

import org.apache.spark.sql.catalyst.analysis._
import org.apache.spark.sql.catalyst.dsl._
import org.apache.spark.sql.catalyst.errors._
import org.apache.spark.sql.catalyst.expressions._
import org.apache.spark.sql.catalyst.plans.logical._
import org.apache.spark.sql.catalyst.rules._ 
import org.apache.spark.sql.catalyst.types._
import org.apache.spark.sql.catalyst.util._
import org.apache.spark.sql.execution
import org.apache.spark.sql.hive._

编辑：……和

val sqlContext = new org.apache.spark.sql.SQLContext(sc)
import sqlContext._

有用.

解决方法

你缺少一种隐含的转换.

val sqlContext: org.apache.spark.sql.SQLContext = ???
import sqlContext._

然而,在最近(和支持)的Spark版本中,这已经发生了变化.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!