仓鼠の地下室 |

mahout seq2sparese java heap space错误解决

Posted on Sep 3, 2014
mahout seq2sparese java heap space错误解决

错误描述

执行: mahout seq2sparese（将序列文件转换成向量）出错.

问题关键字: FAILED Error: Java heap space/Failed map tasks

Error log: 14/09/03 21:55:25 INFO mapred.JobClient: Task Id : attempt_201409032151_0001_m_000000_2, Status : FAILED

Error: Java heap space

java-heap-space

解决方法

  1. 添加一个环境变量（hadoop/conf/hadoop-env.sh）这条环境变量在文件中原本包含只是被注释掉，去掉前面的“#”即可
    export $HADOOP_HEAPSIZE=2000

  2. 在hadoop/conf/mapred-site.xml添加一条记录

<property>
<name>mapred.child.java.opts</name>
<value>-Xmx4096m</value>
</property>

java-heap-space

3、重启Hadoop

都编辑好了之后就差不多了，重启你的Hadoop，因为涉及到一个环境变量最好重启电脑（我在重启Hadoop时出错，于是重启电脑后一切正常）.

参考

https://www.mapr.com/blog/how-to-avoid-java-heap-space-errors-understanding-and-managing-task-attempt-memory#.VAcLT9w11Hd