加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > Windows > 正文

windows – apache mahout ALS可以在没有hadoop的情况下工作吗?

发布时间:2020-12-14 02:18:22 所属栏目:Windows 来源:网络整理
导读:我尝试使用ParallelALSFactorizationJob,但它崩溃了: 线程“main”java.lang.NullPointerException中的异常 ????在java.lang.ProcessBuilder.start(ProcessBuilder.java:1012) ????在org.apache.hadoop.util.Shell.runCommand(Shell.java:445) ????在org.ap
我尝试使用ParallelALSFactorizationJob,但它崩溃了:

线程“main”java.lang.NullPointerException中的异常
????在java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
????在org.apache.hadoop.util.Shell.runCommand(Shell.java:445)
????在org.apache.hadoop.util.Shell.run(Shell.java:418)
????在org.apache.hadoop.util.Shell $ShellCommandExecutor.execute(Shell.java:650)
????在org.apache.hadoop.util.Shell.execCommand(Shell.java:739)

命令行帮助提到使用文件系统,但似乎它想要hadoop.如何在Windows上运行它,mahout.cmd文件坏了:

“===============弃权警告===============”
“自Mahout 0.10.0起,新驱动程序不再支持此脚本”
“支持Mahout的bash脚本,如果有人想为此做出贡献”
“我们将不胜感激.”

那可能吗(ALS Windows – hadoop)?

解决方法

Mahout是一个社区驱动的项目,其社区非常强大.

“Apache Mahout is one of the first and most prominent Big Data machine
learning platforms. It implements machine learning algorithms on top
of distributed processing platforms such as Hadoop and Spark.”

-Tiwary,C.(2015). Learning Apache Mahout.

Apache Spark是一个开源的,内存中的通用计算系统,可在Windows和Unix系统上运行. Spark使用集群内存将所有数据上传到内存中,而不是像Hadoop一样的基于磁盘的计算,可以重复查询这些数据.

“As Spark is gaining popularity among data scientists,the Mahout
community is also quickly working on making Mahout algorithms function
on Spark’s execution engine to speed up its calculation 10 to 100
times faster. Mahout provides several important building blocks to
create recommendations using Spark.”

-Gupta,A(2015). Learning Apache Mahout Classification.

(这本最后一本书还提供了一个分步指南使用Mahout的Spark shell(它们不使用Windows,但不清楚它们是否使用Hadoop).有关该主题的更多信息,请参阅https://mahout.apache.org/users/sparkbindings/play-with-shell.html的实现部分. .)

除此之外,您还可以使用Spark构建推荐引擎,例如Spark MLlib中提供的DataFrames,RDD,Pipelines和Transforms以及

in Spark,(…) the Alternating Least Squares (07004) method?is used for
generating model-based collaborative filtering.

-Gorakala,S.(2016年). Building Recommendation Engines.

在这一点上,在回答你的问题之前还有一个问题需要回答:can we run Spark without Hadoop?.

所以,是的,可以在Windows上使用Spark(没有Hadoop)使用ALS方法.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读