返回
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
2024-11-22 10:52:28  作者:丐帮女主  网址:https://m.xinb2b.cn/life/qld102184.html

遇到的问题及解决方法

1. 虚拟机 root用户默认密码修改: sudo passed 回车修改密码

hostname设置(master,slave1),修改/etc/hosts和/etc/hostnameping命令无法使用:虚拟机设置,选择网络连接方式(桥接方式)ssh命令报错: connect to host slave1 port 22: Connection refused解决方法:安装并启动ssh服务,安装如下:apt-get install -fapt-get install openssl-client---ubuntu 默认安装apt-get install openssl-serversudo /etc/init.d/ssh start—启动 ssh 服务安装jdk时,手动下载软件包(jdk1.7版本:jdk-7u80-linux-x64),之后配置./bashrc文件。安装过程中启动hadoop时报JAVA_HOME路径找不到。 解决方法:检查~/bashrc 设置正确。检查设置hadoop的安装路径下:/usr/local/hadoop/etc/hadoop中的hadoop-env.sh中JAVA_HOME需要设置为jdk所在的目录。


运行hdfs在/user下新建hadoop文件夹时报错:Unable to load native-hadooplibrary for your platform... using builtin-java classes where applicable


解决方法:下载对应的native-hadoop 64位的包,解压到hadoop安装目录下的lib和lib/native下,配置环境变量,并令其生效即可。export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如output)不能存在,否则会 示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作Configuration conf = new Configuration();Job job = new Job(cont); Path outputPath = new Path(args[1]);outputPath.getFileSystem(conf).delete(outputPath, true);./sbin/start-dfs.sh启动hadoop时,报以下错误'/usr/local/hadoop/logs':Operation not permitted 解决方式:检查/usr/local/hadoop/logs宿主为root用户,原因:chown -Rhadoop:hadoop hadoop/ 最后没加”/" 。 root用户修改/usr/local/hadoop/logs宿主为hadoop用户(chown -R hadoop hadoop/)即可。

11. 运行示例时,一直停留在如下界面,程序运行阻塞。

解决方法:增加虚拟机内存(从1G—>2G:OK) 即可。


  • 办公室文员有什么兼职（聊聊办公室文员发展副业兼职这件事）
  • 2024-11-22聊聊办公室文员发展副业兼职这件事这几天在办公室突然关于发展副业的话题一下子热起来了，想想也是，疫情发生3年，很多小企业都受到打击，虽然还不至于说没有事情干，但是确实是大家都比较闲了，几个女生闲下来了话题就多了，听了太多降薪/倒闭的话。
  • 紫晶洞和黄水晶哪个好（十一月生辰石的抉择）
  • 2024-11-22十一月生辰石的抉择十一月，对于我这个在帝都工作的小编来说，看到的是多彩的世界：深秋绿、艳阳黄、暖心红……好吧，这些只能只那些挂在树上或是已经飘零的叶子……很美，感觉出生在十一月，又很丰盛的季节因为阳暖，而向往的美好，这。
  • 黄梅戏男生唱版经典唱段全部（黄梅戏五大经典之作）
  • 2024-11-22黄梅戏五大经典之作作为土生土长的安庆人，对于黄梅戏自然是不陌生而那些经典传唱的黄梅戏唱段更是家喻户晓，耳熟能详，黄发也好，垂髫也罢，在安庆就没有不会长唱黄梅戏的作为融入安庆人血脉的黄梅戏，在某种程度上来说已经成为安庆的。
  • 吐槽那些三观不正的女生（你是哪一种腐女）
  • 2024-11-22你是哪一种腐女曾几何时，“腐女”还是个新鲜词，随着阿宅越来越多，“腐女”也已经从非主流的边缘群体逐步扩大从伪腐、微腐、宅腐，到可怕的“腐女癌”，各种围绕着腐女延伸出来的词汇也越来越多而腐女面对自己的属性有些是昭告天。
  • 小孩被人贩子绑架的过程（小男孩被人贩子绑架）
  • 2024-11-22小男孩被人贩子绑架史蒂文和肯尼斯·尤金·帕内尔肯尼斯·尤金·帕内尔(KennethEugeneParnell)生于1931年9月26日，是一名美国被定罪的性犯罪者、儿童强奸犯和绑架者，最著名的事件是在加利福尼亚州默塞德。
  • 三十六计全部是几计（三十六计计计经典）
  • 2024-11-22三十六计计计经典三十六计走为上计，这是大多数人耳熟能详的一句俗语可是三十六计到底是哪三十六计呢？相信大多数人都没办法一下子说出来，今天就让小编和大家好好讲讲这本兵家奇书-《三十六计》，看看三十六计中你又知道几计？一、。
  • 加油信怎么写（关于加油信怎么写）
  • 2024-11-22关于加油信怎么写你是运动场的心脏，跳动梦想；你是漫长路的精神，激励辉煌；你们是将上下求索的人，风为你加油，云为你助兴，坚定，执着，耐力与希望，在延伸的白色跑道中点点凝聚力量，信念，拼搏与奋斗，在遥远的终点线上渐渐明亮。
  • 几何e新能源车质量如何（治好了我对新能源的）
  • 2024-11-22治好了我对新能源的□大河报·豫视频记者解元利“续航数实际开肯定得打个八折以上”、“十来万元的新能源也就是‘老头乐’升级版”、“充电哪会有加油方便”……说实话在拿到几何E做长测的时候，小编对于十万元级别的新能源心中真的是。
  • 新鲜扁豆需要焯水吗（扁豆怎样才算熟透了）
  • 2024-11-22扁豆怎样才算熟透了扁豆是我们餐桌上的家常菜之一，但是如果不处理好，容易出现中毒的现象那么，炒扁豆需要焯水吗?过水能减少毒素吗?扁豆怎样才算熟透了?扁豆要焯水吗：看情况如果是凉拌扁豆就需要事先焯水，其他看个人选择，焯水与。
  • 厨具的用途和使用方法（厨具使用的九大禁忌）
  • 2024-11-22厨具使用的九大禁忌厨房是生活中最重要的地方之一，我们吃的美食都是在厨房里面做出来的，所以各类厨具的功能、作用不同，科学使用非常重要，虽然我们会做菜，可是有的人不一定知道厨具使用的一些禁忌，下面我就带大家学习一下厨具的使。
  • 玉润珠圆什么意思（玉润珠圆怎么造句）
  • 2024-11-22玉润珠圆怎么造句玉润珠圆释义：润：细腻光滑象珠子一样圆，象玉石一样光润比喻歌声宛转优美，或文字流畅明快造句（1）一圆祝你爱情美满花好月圆，二圆祝你身体健康玉润珠圆，三圆祝你事业顺利功德圆满，四圆祝你幸福在手家人团圆元。