admin管理员组

文章数量:1122854

vmare  Ubuntu 下Hadoop 开发环境搭建eclipse win10 远程连接

搭建和费劲，这里先踩踩坑，以后也少遇到些问题，搭建也顺利，有兴趣的， 需谨慎

最近要上Hadoop 了，这里稍微总结下 hadoop 开发环境，因为不是边操作，边写博客，可能没那么细，之后有机会搭建，会重新补全，

但是这里会列出安装过程中遇到都问题与解决方案

vmare ubuntu 安装

1、安装vmare：

这个给出网址：请参照：Vmare安装

注意 注册码：1F04Z-6D111-7Z029-AV0Q4-3AEH8/

可能遇到问题：

解决办法：

 

关掉防火墙 一类安全软件

如果参考此教程安装不成功怎么办 用最新的vmare 再参考教程安装

如果安装不成功考虑用最新版VMware试试

VMware 2017 v14.x 永久许可证激活密钥
FF31K-AHZD1-H8ETZ-8WWEZ-WUUVA
CV7T2-6WY5Q-48EWP-ZXY7X-QGUWD

 

我之前采用的是12.x安装各种问题，纠结了两天实在搞不得，换14.x

 

2、下载ubuntu：ubuntu下载

 

3、vmare 下安装ubuntu :

给出网址：Vmare下安装ubuntu

没啥说都，重点说是可能遇到的问题：

问题：

 

在Vmware里安装完Ubuntu16.10，启动时出现'SMBus Host Controller not enabled'错误提示，进不到图形界面。
网上搜了一下，解决办法是在图形界面里进终端窗口，编辑blacklist.conf文件，禁止i2c_piix4驱动的加载。
但现在系统还没加载完，进不去终端窗口，如何处理呢？

解决办法如下（亲测可用）：

在虚拟机上运行Linux内核版本为4.7或以上的系统都在安装过程中或在启动时会因为加载intel_powerclamp驱动而导致崩溃。
解决办法：
1.在启动Ubuntu的时候按住左Shift键；
2.Ubuntu开机时将显示GRUB启动选项；
3.接下来选择Ubuntu的高级选项（Advanced options for Ubuntu）；
4.然后进入Ubuntu的恢复模式（Ubuntu, with Linux 4.7.x.x-generic (recovery mode)）；
5.在Recovery Menu中选择root进入root shell；
6.输入如下命令：

代码:  

mount -o remount,rw /

7.打开blacklist.conf

代码: 

  vi /etc/modprobe.d/blacklist.conf


8.在文件最后添加一行

代码:  

blacklist intel_powerclamp


9.重启

代码:  

reboot

 

 

上面解决不了：

 

解决办法2： 

 

 

piix4_smbus ****host smbus controller not enabled
解决方法：
#root@Nagios ~# lsmod | grep i2c_piix4  
 i2c_piix4              12574  0  
 i2c_core               31274  1 i2c_piix4  
 
#root@Nagios ~:vi  /etc/modprobe.d/blacklist.conf 
 blacklist i2c_piix4  
 
#root@Nagios ~:reboot


安装完成之后： 会发现屏幕太小： 

 

如何解决：

安装Vmare Tool:安装VMareTool

操作就不细说：因为我这已经安装了，如果没安装，会有安装VmareTool 提示：

安装搜狗输入法：搜狗输入法安装

1、如下

 

2. 等一会之后  ubuntu 界面上 会出现 Vmare  驱动器之类的 ：Vmtool安装

要注意的问题是吧驱动器里面都tar.gz  赋值到桌面后解压

然后 运行  ：

 

vmware-install.pl

 

进行安装。

 

就可以解决自适应本地屏幕大小都问题。

 

如果还有问题：

vmare 安装Ubuntu无法进入安装界面

 

解决办法：
以管理身份打开cmd窗口 运行： netsh winsock reset , 重启系统生效，之后就可以进入安装界面了

如果一台机器上的Winsock协议配置有问题的话将会导致网络连接等问题，就需要用netsh winsock reset命令来重置Winsock目录借以恢复网络。这个命令可以重新初始化网络环境，以解决由于软件冲突、病毒原因造成的参数错误问题

如果还是不行 https://jingyan.baidu/article/0320e2c1ef9f6c1b87507bf6.html点击打开链接

检查下workStation版本选的啥 ubuntu 16.04 WorkStation 选择10 即可兼容 11

 

不要安装虚拟机过程中插U盘

 

ubuntu  安装 hadoop

环境好了：ubuntu 安装hadoop:ubuntu安装hadoop

Jdk地址：JDK地址  我这里下载jdk 1.8  1.6 与1.8区别，有时间会总结

hadoop下载地址：hadoop下载  这里下载 2.7.3

 

问题处理：

ubuntu安装openssh-server 报依赖错误的解决过程

 下列软件包有未满足的依赖关系：
 openssh-server
 : 依赖: openssh-client (= 1:6.6p1-2ubuntu1)
E:
 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。

 

sudo apt-get install openssh-client=1:6.6p1-2ubuntu1

 

问题处理1： Vmare ubuntu 这个IP改成虚拟机真实的

 

#127.0.0.1	localhost
#127.0.1.1	wangxiaoming-virtual-machine
192.168.204.128	localhost
192.168.204.128	wangxiaoming-virtual-machine
# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters

 

 

 

 

 

 

 

 

根据上面的连接会安装成功：但是也有问题 hadoop shell 命令：hadoop shell 命令

正确应该是：

hdfs dfs -mkdir -p /user/hadoop

 

 

 

-p 前面少了 -mkdir 

mkdir 是创建文件夹，如果你想看你创建都文件夹，进行如下操作：hdfs dfs -ls /user/   这个注意 最后使用绝对路径， 否则或包车，no directory

 

eclipse 配置hadoop 博主eclipse 版本是4.4.1 

eclipse 安装hadoop 插件并且配置连接hadoop:eclipse连接hadoop

如果你不想用ant 去编译 githup 上hadoop 源码的话：

需要几个文件：

hadoop- eclipse 插件：hadoop eclipse 插件

下载之后放到eclipse 下eclipse plugins 文件夹下

 

把下载的Hadoop 2.7.3 在 Windows上解压后，参照博客：hadoop配置eclipse

重启eclipse ，你的eclipse 出现map reduce 表示成功。

 

到 下载：

具体操作，见博客：dll文件放置

除了这个配置，还要讲hadoop.dll 放到 system32 下

否则会报错：

D:\tmp\hadoop-DELL\mapred\staging\DELL6563393 null

配置eclipse:eclipse 配置

简明eclipse hadoop配置：简明hadoop配置

具体我就不说了：

搭建好了可看下：

 

 ./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount input output 
<?xml version="1.0" encoding="UTF-8"?>  
<beans xmlns="http://www.springframework/schema/beans"  
    xmlns:xsi="http://www.w3/2001/XMLSchema-instance"  
    xmlns:hadoop="http://www.springframework/schema/hadoop"  
    xsi:schemaLocation="http://www.springframework/schema/hadoop http://www.springframework/schema/hadoop/spring-hadoop.xsd  
        http://www.springframework/schema/beans http://www.springframework/schema/beans/spring-beans-4.1.xsd">  
 
    <!-- 配置Configuration file-system-uri="${hd.fs}" -->  
    <hadoop:configuration  id="configuration"  resources ="file:/CPCN/Payment/StatementExternalBatch/config/core-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/hdfs-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/yarn-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/mapred-site.xml"/>
    <!-- 配置FileSystem  uri="${hd.fs}"-->  
    <hadoop:file-system user="${hd.user}" id="fileSystem" configuration-ref="configuration" />
    
    <!--  原始Bean的注入方式  这个方式无法设置uri 会导致一file not exit -->
    <!--  <bean id="configuration" class="org.apache.hadoop.conf.Configuration">
    </bean>  --> 
    <!--  <bean id="fileSystem" class="org.apache.hadoop.fs.FileSystem"  factory-method="get>  
        <constructor-arg name="uri" value="${hd.fs}"/>   
        <constructor-arg name="conf" ref="configuration"/>   
        <constructor-arg name="user" value="hadoop"/>  
    </bean>    --> 
    
    <bean id="smartDfs" class="cpcn.payment.tool.lang.hdfs.SmartDfs">
        <property name="fileSystem" ref="fileSystem" />
    </bean>
    
</beans>

去掉

file:/CPCN/Payment/StatementExternalBatch/config/yarn-site.xml,file:/CPCN/Payment/StatementExternalBatch/config/mapred-site.xml

 


 

 

 

给个demo吧：

看我的配置

   

其次：

core-site.xml  不用localhosy 用：

 

具体ip 从哪来 自己 ifconfig ，我这个就不细说了 考虑安全问题，我就不贴图了

 

eclispse中配置：

配置2：

 

上面hadoop.tmp.dir 中 和core-site.xml 配置一样

hdfs-site.xml 配置：

 

 

 

到此就结了，可能细化要分成好几篇才能写完，大致粗的描述下。

单机运行

  • https://wwwblogs/shitouer/archive/2012/05/29/2522860.html

本文标签： 环境UbuntuvmareHadoopEclipse

版权声明：本文标题：vmareUbuntu 下Hadoop 开发环境搭建eclipse win10 远程连接安装与问题处理 内容由网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：http://www.betaflare.com/biancheng/1726332312a1074720.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。