window本地使用IDEA操作服务器上的hadoop完成mapreduce

具体步骤

• 本机window下载和服务器相同的hadoop版本并解压

• 下载hadoop.dll和winutil.exe.下载地址

• 把上面两个文件加到hadoop的bin目录下

• 把hadoop.dll加入到C:\Windows\System32目录下

• 把hadoop解压目录加到环境变量中

• HADOOP_HOME值为hadoop的目录，在Path里面加上%HADOOP_HOME%/bin

测试代码

package com.gao.Util;/*
 * @Author chengpunan
 * @Description //TODO $
 * @Date $ $
 * @Param $
 * @return $
 */

import java.net.URI;


import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.log4j.Logger;


/**
 * 读取hdfs上指定文件中的内容
 * @company 源辰信息
 * @author navy
 */
public class FindHDFSText {
    private static Logger log = Logger.getLogger(FindHDFSText.class);// 创建日志记录器

    public static void main(String[] args) {
        FileSystem fs = null;
        try {
            Configuration conf = new Configuration();// 加载配置文件
            Path p= new Path("hdfs://****:9000/data/output/part-r-00000");//自己hdfs里面存在的文件
            fs = p.getFileSystem(conf);
            System.out.println("要查看的文件路径为："+fs.getFileStatus(p).getPath());

            FSDataInputStream fsin = fs.open(p);
            byte[] bs = new byte[1024 * 1024];
            int len = 0;
            while((len = fsin.read(bs)) != -1){
                System.out.print(new String(bs, 0, len));
            }

            System.out.println();
            fsin.close();
        } catch (Exception e) {
            log.error("hdfs操作失败!!!", e);
        }
    }
}