返回
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
2024-07-04 04:27:17  作者:丐帮女主  网址:https://m.xinb2b.cn/tech/qld102184.html

遇到的问题及解决方法

1. 虚拟机 root用户默认密码修改: sudo passed 回车修改密码

hostname设置(master,slave1),修改/etc/hosts和/etc/hostnameping命令无法使用:虚拟机设置,选择网络连接方式(桥接方式)ssh命令报错: connect to host slave1 port 22: Connection refused解决方法:安装并启动ssh服务,安装如下:apt-get install -fapt-get install openssl-client---ubuntu 默认安装apt-get install openssl-serversudo /etc/init.d/ssh start—启动 ssh 服务安装jdk时,手动下载软件包(jdk1.7版本:jdk-7u80-linux-x64),之后配置./bashrc文件。安装过程中启动hadoop时报JAVA_HOME路径找不到。 解决方法:检查~/bashrc 设置正确。检查设置hadoop的安装路径下:/usr/local/hadoop/etc/hadoop中的hadoop-env.sh中JAVA_HOME需要设置为jdk所在的目录。

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(1)

运行hdfs在/user下新建hadoop文件夹时报错:Unable to load native-hadooplibrary for your platform... using builtin-java classes where applicable

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(2)

解决方法:下载对应的native-hadoop 64位的包,解压到hadoop安装目录下的lib和lib/native下,配置环境变量,并令其生效即可。export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如output)不能存在,否则会 示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作Configuration conf = new Configuration();Job job = new Job(cont); Path outputPath = new Path(args[1]);outputPath.getFileSystem(conf).delete(outputPath, true);./sbin/start-dfs.sh启动hadoop时,报以下错误'/usr/local/hadoop/logs':Operation not permitted 解决方式:检查/usr/local/hadoop/logs宿主为root用户,原因:chown -Rhadoop:hadoop hadoop/ 最后没加”/" 。 root用户修改/usr/local/hadoop/logs宿主为hadoop用户(chown -R hadoop hadoop/)即可。

11. 运行示例时,一直停留在如下界面,程序运行阻塞。

解决方法:增加虚拟机内存(从1G—>2G:OK) 即可。

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(3)

  • 包贝尔终究是扛下了所有（包贝尔三年践行荒诞梦）
  • 2024-07-05包贝尔三年践行荒诞梦2003年就出道的包贝尔，从《奔跑吧兄弟》第二季，才渐渐被观众熟知网友常常说包贝尔撞脸王祖蓝、王宝强可是，包贝尔用了三年实现了所谓的荒诞导演梦想，用了十年，告诉世界：我就是我，我叫包贝尔我是导演也是主。
  • 韩安冉和妹妹关系好吗（韩安冉妈妈透露女儿病情已好转）
  • 2024-07-05韩安冉妈妈透露女儿病情已好转韩安冉妈妈透露女儿病情已好转，变得会关心人了，还主动感谢继父截止到今天，韩安冉已经有段时间没有直播了，甚至在跨年夜，韩安冉都没有更新近况，应该也没有心情吧，前段时间韩安冉的妈妈透露女儿有脑垂体瘤，必须。
  • 唱歌好听的技巧和方法（唱歌变好听的三）
  • 2024-07-05唱歌变好听的三你是不是也时常觉得自己唱歌不好听？也不敢大声唱，其实很多人唱歌不好听的原因很多，比如唱歌没有情感、没有气息、没有音准、没有情感强弱起伏等等一系列唱歌问题，影响了自己唱歌，当你把这些都学好了，你唱歌一定。
  • 一个人说话很冲代表什么（一个人说话时有三个）
  • 2024-07-05一个人说话时有三个老于世故的人总是劝人多听少说，一二代口，凡事不开口的人总是令人莫测高深口边若无遮拦，则容易令人一眼望到底”——林语堂说话是一个人很重要的一项技能，每个人都可以通过自己的语言，来达到自己生活当中的一些目。
  • 记忆中的上海古镇（上海郊区有一座千年古镇）
  • 2024-07-05上海郊区有一座千年古镇这里是刘小顺的旅行和生活研究所如果大家来过上海旅游的话，就算没有去过“南翔”，也一定听说过“南翔小笼”吧？毕竟在上海，卖小笼包的餐厅几乎都能看到它的身影，而这么具有代表性的小笼包源于哪里呢？就来源于它。
  • 京东雅典娜可以刷梅林固件吗（京豆赚不停WiFi6）
  • 2024-07-05京豆赚不停WiFi6利用闲置带宽换点零钱不是什么新鲜事，方法层出不穷，不过论及积分兑换稳定性和能源产出率，还属京东云无线宝更靠谱它本身就是一台高性能无线路由器，通过合理设置积分模式，可保证正常网络使用情况下自动均衡边缘计。
  • 怎么测试显示器是6bit还是8bit（显示器10bit和8bit差别大吗）
  • 2024-07-05显示器10bit和8bit差别大吗在买电视或者显示器时，可能关注尺寸、分辨率，有多少个端口，但有个非常重要的参数很容易被忽略：显示屏面板的色深8位和10位的区别8位产生256（2的8次方）种RGB（红色、绿色和蓝色）色调变化组合在一起。
  • 北冥有鱼其名为鲲山海经（其名为鲲-鲲料理）
  • 2024-07-05其名为鲲-鲲料理北冥有鱼其名为鲲鲲之大一锅炖不下化而为鸟其名为鹏鹏之大需要两个烧烤架一个秘制一个微辣-------------以上为不正经搞笑风---------------------工体南门附近新开了一家日料店店。
  • 适合女生的20部电影（女生提升自我必看的40部电影）
  • 2024-07-05女生提升自我必看的40部电影女生一生必看的40部高分电影!!提升自我整理了看过很不错的部高分电影!!都是很经典的电影了！看完受益匪浅关于成长、爱情、友谊、成功这个假期，宅在家不妨看看这些经典影片，提升自我!1.天才少女2.海蒂和。