Windows下配置IDEA的Hadoop开发调试环境

[liusheng]

由于Java程序在Linux环境下调试很不方便，而IntellJ IDEA是一个非常强大的Java IDE，可以很方便的调试Java程序，因此，这里尝试在Windows环境下配置一个IDEA+Hadoop的开发调试环境。

1. 下载Hadoop Windows 安装包

Hadoop MapReduce本身支持一些简单的应用在离线的情况下执行，也就是不起HDFS和YARN服务，但是，如果想执行一些测试HDFS IO性能或者MapReduce性能的测试，则需要起HDFS和YARN服务。因此这里介绍一下windows下配置和部署Hadoop单节点环境的步骤。 首先，从Apache Hadoop的官方下载页面下载Hadoop的tar.gz包。 然后解压Hadoop包文件到指定的目录。

除了Hadoop安装包和JDK外,还要下载的一个第三方工具是名为winutils的一套类库, 下载地址为这里， 下载完了以后，将对应版本bin目录下面所有的内容拷贝到Hadoop的bin目录下。

2. 配置

• 配置 etc/hadoop/core-site.xml

  <configuration>
  <property>
      <name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
  </property>
  </configuration>

• 配置etc/hadoop/hdfs-site.xml

  <configuration>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
  </configuration>

• 配置etc/hadoop/mapred-site.xml

  <configuration>
  <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
  </property>
  <property>
      <name>mapreduce.application.classpath</name>
      <value>$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*:$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/lib/*</value>
  </property>
  <!--
  <property>
    <name>mapreduce.map.output.compress</name>
    <value>true</value>
  </property>
  <property>
    <name>mapreduce.map.output.compress.codec</name>
    <value>org.apache.hadoop.io.compress.ZStandardCodec</value>
  </property>
  -->
  </configuration>