SEARU.ORG
当前位置:SEARU.ORG > Linux 教程 > 正文

Spark编译 [ERROR] PermGen space -> [Help 1]

1、设置maven的内存使用

export MAVEN_OPTS=”-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m”
如果不设置,会报下面错误
[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes… 
[ERROR] PermGen space -> [Help 1] [INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes… 
[ERROR] Java heap space -> [Help 1]
但是Java 8及以上版本不需要设置
2、指定Hadoop版本
因为hdfs版本不是协议兼容的,如果你要从HDFS读取文件,你需要指定你环境中的hadoop版本,通过”hadoop.version”属性指定,否则使用1.0.4版本作为默认版本
指定方式:

对于Apache 1.x,cloudera CDH发布版本和其他没有yarn的hadoop版本需要使用

# Apache Hadoop 1.2.1 
mvn -Dhadoop.version=1.2.1 -DskipTests clean package 
# Cloudera CDH 4.2.0 with MapReduce v1
 mvn -Dhadoop.version=2.0.0-mr1-cdh4.2.0 -DskipTests clean package 
# Apache Hadoop 0.23.x 
mvn -Phadoop-0.23 -Dhadoop.version=0.23.7 -DskipTests clean package
对于有yarn的版本,并且yarn版本和hadoop版本不同的话可以使用
yarn.version指定
指定格式:

3、支持hive和JDBC的编译

添加-Phive and Phive-thriftserver选项默认是编译hive 0.13.1版本

更多Spark相关教程见以下内容

CentOS 7.0下安装并配置Spark  http://www.searu.org/2015-08/122284.htm

Spark1.0.0部署指南 http://www.searu.org/2014-07/104304.htm

Spark官方文档 – 中文翻译  http://www.searu.org/2016-04/130621.htm

CentOS 6.2(64位)下安装Spark0.8.0详细记录 http://www.searu.org/2014-06/102583.htm

Spark简介及其在Ubuntu下的安装使用 http://www.searu.org/2013-08/88606.htm

安装Spark集群(在CentOS上) http://www.searu.org/2013-08/88599.htm

Hadoop vs Spark性能对比 http://www.searu.org/2013-08/88597.htm

Spark安装与学习 http://www.searu.org/2013-08/88596.htm

Spark 并行计算模型 http://www.searu.org/2012-12/76490.htm

Ubuntu 14.04 LTS 安装 Spark 1.6.0 (伪分布式) http://www.searu.org/2016-03/129068.htm

Spark 的详细介绍请点这里
Spark 的下载地址请点这里

未经允许不得转载:SEARU.ORG » Spark编译 [ERROR] PermGen space -> [Help 1]

赞 (0)
分享到:更多 ()

评论 0