【Hadoop】Windows下开发连接Hadoop遇到的问题

Windows下开发Hadoop应用程序,不免有各种各样的问题,下面主要列出两个常见的与大家分享

本文相关的测试代码可以我的GitHub中获取到:

https://github.com/lubinsu/rest.git

1.hadoop No FileSystem for scheme hdfs

这个很有可能是客户端Hadoop版本和服务端版本不一致导致的,或者导入的jar包缺失,要确保导入的依赖包完整:

<!-- hadoop依赖包 -->
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-common</artifactId>
    <version>2.6.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-hdfs</artifactId>
    <version>2.6.2</version>
</dependency>
<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>2.6.2</version>
</dependency>

2.windows开发环境下报错:

Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums

下载如下插件,将hadoop.dll复制到C:\Windows\System32

hadoop插件.rarhttp://download.csdn.net/download/u010911997/8478049

再将所有的文件复制导HADOOP_HOME/bin下.

注意配置环境变量:

HADOOP_HOME=D:\Programs\hadoop-2.6.2

HADOOP_BIN_PATH=%HADOOP_HOME%\bin

HADOOP_USER=hadoop

HADOOP_PREFIXX=%HADOOP_HOME%\bin

path之后添加:%HADOOP_HOME%\bin

One thought on “【Hadoop】Windows下开发连接Hadoop遇到的问题

  • 2016-10-27 at 15:57
    Permalink

    And I thought I was the sensible one. Thanks for setting me stiahgrt.

    Reply

发表评论

电子邮件地址不会被公开。 必填项已用*标注

此站点使用Akismet来减少垃圾评论。了解我们如何处理您的评论数据