返回
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
2024-06-27 11:08:08  作者:丐帮女主  网址:https://m.xinb2b.cn/life/qld102184.html

遇到的问题及解决方法

1. 虚拟机 root用户默认密码修改: sudo passed 回车修改密码

hostname设置(master,slave1),修改/etc/hosts和/etc/hostnameping命令无法使用:虚拟机设置,选择网络连接方式(桥接方式)ssh命令报错: connect to host slave1 port 22: Connection refused解决方法:安装并启动ssh服务,安装如下:apt-get install -fapt-get install openssl-client---ubuntu 默认安装apt-get install openssl-serversudo /etc/init.d/ssh start—启动 ssh 服务安装jdk时,手动下载软件包(jdk1.7版本:jdk-7u80-linux-x64),之后配置./bashrc文件。安装过程中启动hadoop时报JAVA_HOME路径找不到。 解决方法:检查~/bashrc 设置正确。检查设置hadoop的安装路径下:/usr/local/hadoop/etc/hadoop中的hadoop-env.sh中JAVA_HOME需要设置为jdk所在的目录。

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(1)

运行hdfs在/user下新建hadoop文件夹时报错:Unable to load native-hadooplibrary for your platform... using builtin-java classes where applicable

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(2)

解决方法:下载对应的native-hadoop 64位的包,解压到hadoop安装目录下的lib和lib/native下,配置环境变量,并令其生效即可。export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如output)不能存在,否则会 示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作Configuration conf = new Configuration();Job job = new Job(cont); Path outputPath = new Path(args[1]);outputPath.getFileSystem(conf).delete(outputPath, true);./sbin/start-dfs.sh启动hadoop时,报以下错误'/usr/local/hadoop/logs':Operation not permitted 解决方式:检查/usr/local/hadoop/logs宿主为root用户,原因:chown -Rhadoop:hadoop hadoop/ 最后没加”/" 。 root用户修改/usr/local/hadoop/logs宿主为hadoop用户(chown -R hadoop hadoop/)即可。

11. 运行示例时,一直停留在如下界面,程序运行阻塞。

解决方法:增加虚拟机内存(从1G—>2G:OK) 即可。

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(3)

  • 外媒评价北京欢迎你（重看北京欢迎你）
  • 2024-06-27重看北京欢迎你上周有一天失眠，晚上翻来覆去怎么都睡不着，偶然刷到上面两个视频，于是半夜四点来来回回看了四遍，不胜唏嘘，差点就看哭了我把这事发微博，也没多说什么，没想到不少人有共鸣讲道理，2008年我们国家经历了一场。
  • 怎么养辣椒蟹可以养得更久
  • 2024-06-27怎么养辣椒蟹可以养得更久1、不适合生活在淡水中，可以在水中加海盐辣椒蟹并不是河蟹，它们并不适合生活在淡水中，如果把辣椒蟹放在淡水中养的话，那么是活不久的2、要经常清理水里的食物残渣，经常换水辣椒蟹还是比较喜欢干净的，而且对于。
  • 红菜头能蒸吗（能不能蒸着吃红菜头）
  • 2024-06-27能不能蒸着吃红菜头红菜头是一种食材，所以可以用来蒸着吃红菜头、红根甜菜，为藜科甜菜属甜菜种的一个变种，以肥大的肉质根供作蔬菜食用，可生食、熟食，也可加工成罐头，肉质脆嫩，略带甜味，营养价值较高，富含糖分和多种矿物质，并。
  • 圣诞帽佩戴（圣诞帽原来真是绿色的）
  • 2024-06-27圣诞帽原来真是绿色的今天是圣诞节，说起圣诞老人小编就想起了那个穿着红白色大衣，头戴大红帽的白胡子老爷爷但是你知道吗，最初的圣诞老人居然是这样的?!不要怀疑你是不是红绿色盲了，最初的圣诞老人就是的绿哒!红绿之争要从圣诞老人。
  • A4纸大小是多大
  • 2024-06-27A4纸大小是多大a4纸张大小尺寸实际测量结果为(长*宽)297mm×210mm，纸张宽度尺寸要比一支2b铅笔长，也可以说a4纸其实是a3纸的一半，a3纸长度420mm对折就是a4纸的尺寸了A4纸在人们生活中运用还是非。
  • 我的世界隐藏小知识（我的世界超冷知识）
  • 2024-06-27我的世界超冷知识1.刌（cǔn）民ㅤ“刌民”是“灾厄村民”的旧译名，包括掠夺者、唤魔者、卫道士等……“刌”读作cǔn，意思是分割、切断2.疣（yóu）猪兽疣猪兽是Minecraft1.16下界更新的新生物，（yóu）。
  • 快速搞定词根（常用词根学习mit）
  • 2024-06-27常用词根学习mitfrom:Latinmeaning:tosend发送emit(v.)这个单词的前缀e其实是ex的一个变体，意思是在什么外字面理解，就是把什么东西向外，向前发送即：tosend(light,energy。
  • 专科机器人专业就业前景（金老师推荐专业）
  • 2024-06-27金老师推荐专业工学门类-自动化类-机器人工程专业，授予学位：工学学士要求数学、物理成绩好职业兴趣要求：现实型、研究型要求数学能力、动手能力强1.专业解析人机围棋大战让“人工智能机器人”再次成为关注焦点最近几年，很多。
  • 效果很好的美白产品（适合春季用的美白产品）
  • 2024-06-27适合春季用的美白产品图片由梦妆提供什么？还有不花一分钱就能变美的小技巧？尚妆编编真的不是在逗你，好的护肤技巧真的可以改善肌肤状态当然，改善肤质，光有好技巧也没用，还要有适合自己肌肤状态的护肤品才行哦技巧一：最适合的洗脸温。
  • 小幸福柳岩电视剧结局 柳岩4年前的家庭情感剧
  • 2024-06-27小幸福柳岩电视剧结局 柳岩4年前的家庭情感剧近日，某电视台播放了电视剧《小幸福》这名字咋一看，还让人以为《小欢喜》又出了续篇但是这部剧的主演却不是黄磊、海清，而是柳岩，周一围本来电视剧续集换主演也是常事，但刚看一会就会发现这部剧其实是4年前的老。