03git使用ecilpse操作本地库,eclipse上搭建hadoop开发环境【图文】_一语成谶灬

一、概述

1.实验使用的Hadoop集群为伪分布式模式,eclipse相关配置已完成;

2.软件版本为hadoop-2.7.3.tar.gz、apache-maven-3.5.0.rar。

 

二、使用eclipse连接hadoop集群进行开发

1.在开发主机上配置hadoop

①将hadoop-2.7.3.tar.gz解压到本地主机上

eclipse上搭建hadoop开发环境_hadoop

②使用windows版本的hadoop中的bin替换目标中的bin文件夹

eclipse上搭建hadoop开发环境_Hadoop_02

③配置windows上的hadoop环境变量

2.在eclipse上配置hadoop集群信息

①在eclipse中添加hadoop路径

eclipse上搭建hadoop开发环境_Hadoop_03

②配置hadoop集群访问信息

eclipse上搭建hadoop开发环境_hadoop_04

3.在hadoop集群中取消权限验证

hdfs-site.xml    dfs.permissions    false

4.创建一个文件测试连接权限

5.安装maven

①将maven解压到开发主机上

②在eclipse上添加maven路径

eclipse上搭建hadoop开发环境_hadoop_05

5.新建maven工程

6.修改maven配置文件(maven/pom.xml)

          org.apache.hadoop    hadoop-client    2.7.3            junit      junit      3.8.1      test      

7.新建一个类用于测试(WordCount)

import java.io.IOException;import java.util.StringTokenizer; import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import org.apache.hadoop.io.IntWritable;import org.apache.hadoop.io.Text;import org.apache.hadoop.mapreduce.Job;import org.apache.hadoop.mapreduce.Mapper;import org.apache.hadoop.mapreduce.Reducer;import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;import org.apache.hadoop.util.GenericOptionsParser; public class WordCount {   public static class TokenizerMapper       extends Mapper{       private final static IntWritable one = new IntWritable(1);    private Text word = new Text();         public void map(Object key, Text value, Context context                    ) throws IOException, InterruptedException {      StringTokenizer itr = new StringTokenizer(value.toString());      while (itr.hasMoreTokens()) {        word.set(itr.nextToken());        context.write(word, one);      }    }  }   public static class IntSumReducer       extends Reducer {    private IntWritable result = new IntWritable();     public void reduce(Text key, Iterable values,                       Context context                       ) throws IOException, InterruptedException {      int sum = 0;      for (IntWritable val : values) {        sum += val.get();      }      result.set(sum);      context.write(key, result);    }  }   public static void main(String[] args) throws Exception {    Configuration conf = new Configuration();    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();    if (otherArgs.length 
Eclipse教程之如何使用Git从远程仓库克隆(clone)代码到本地 ...关于Git在Eclipse中的使用 - 战狂粗人张 - 博客园Eclipse怎样连接并打开oracle等数据库?-百度经验Eclipse 快捷键 | 菜鸟教程 - runoob.com怎样使用eclipse编写和运行java程序-百度经验如何使用Eclipse打开Java工程文件-百度经验git 查看所有远程分支以及同步 - 简书快速使用 vscode 进行 Java 编程 - 知乎Realm (数据库) 详解 - 简书giteclipse中的使用Eclipse上传项目到GitGit+Eclipseeclipse查看git地址_Git 常用命令eclipse查看git地址_Git常用命令总结(IDEA版、eclipse版、Terminal命令行版)Git&GitHub七、eclipsegit插件简介、eclipse中把工程初始化为本地库、在eclipse中设置本地库范围签名、...git删除远程仓库,不删除本地仓库内容Eclipse使用Git图解Eclipse集成Git/SVN插件及使用Eclipse使用Git图解教程Eclipse中将代码提交至本地仓库eclipse使用git进行代码修改合并、GitHub代码同步和版本回退等操作giteclipse中的工程上传以及下载EclipseGit插件使用,分支创建,分支上传,分支合并[转]GitEclipse中的使用Git)在Eclipse使用GitEclipse使用git最基本流程(提交远程仓库的方法)GitEclipse中的使用Eclipse使用git最基本流程,eclipsegit流程eclipse操作git本地如何修改Git远程仓库地址Git&GitHub八、eclipse特定文件介绍以及为什么要忽略它们、忽略eclipse中的特定文件、eclipse本地库基本...Eclipse插件Git,回滚到之前的版本giteclipse中的配置 转载GIT项目Clone到Eclipse工作空间图文详解eclipse 中配置gitgit学习四:eclipse使用git提交项目GITEclipse中的使用
03SK第四章温度测量12ppt01屌02年在阿里巴巴投五十万现在市值是多少022寓意是什么意思058次次容忍你01mg等于多少ml0702新奇遇边塞书声中吉15点方法0668wan傲视遮天开服表SpringBoot开源在线考试系统画江湖之侠岚第34集梦见自己穿男人外套设为来电铃声的歌曲功夫熊猫3阿宝和小熊猫高清图片素材白话文运动代表人物不胜解释和意思深度学习可解释性差到底是什么意思040有声小说在线免费收听免费听书网站02第一章我是谁之二06年世界杯德国队阵容06年世界杯英格兰阵容080917蝙蝠侠016血衣杀手