返回
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）
2024-07-01 09:13:18  作者:丐帮女主  网址:https://m.xinb2b.cn/know/qld102184.html

遇到的问题及解决方法

1. 虚拟机 root用户默认密码修改: sudo passed 回车修改密码

hostname设置(master,slave1),修改/etc/hosts和/etc/hostnameping命令无法使用:虚拟机设置,选择网络连接方式(桥接方式)ssh命令报错: connect to host slave1 port 22: Connection refused解决方法:安装并启动ssh服务,安装如下:apt-get install -fapt-get install openssl-client---ubuntu 默认安装apt-get install openssl-serversudo /etc/init.d/ssh start—启动 ssh 服务安装jdk时,手动下载软件包(jdk1.7版本:jdk-7u80-linux-x64),之后配置./bashrc文件。安装过程中启动hadoop时报JAVA_HOME路径找不到。 解决方法:检查~/bashrc 设置正确。检查设置hadoop的安装路径下:/usr/local/hadoop/etc/hadoop中的hadoop-env.sh中JAVA_HOME需要设置为jdk所在的目录。

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(1)

运行hdfs在/user下新建hadoop文件夹时报错:Unable to load native-hadooplibrary for your platform... using builtin-java classes where applicable

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(2)

解决方法:下载对应的native-hadoop 64位的包,解压到hadoop安装目录下的lib和lib/native下,配置环境变量,并令其生效即可。export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/nativeexport HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如output)不能存在,否则会 示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作Configuration conf = new Configuration();Job job = new Job(cont); Path outputPath = new Path(args[1]);outputPath.getFileSystem(conf).delete(outputPath, true);./sbin/start-dfs.sh启动hadoop时,报以下错误'/usr/local/hadoop/logs':Operation not permitted 解决方式:检查/usr/local/hadoop/logs宿主为root用户,原因:chown -Rhadoop:hadoop hadoop/ 最后没加”/" 。 root用户修改/usr/local/hadoop/logs宿主为hadoop用户(chown -R hadoop hadoop/)即可。

11. 运行示例时,一直停留在如下界面,程序运行阻塞。

解决方法:增加虚拟机内存(从1G—>2G:OK) 即可。

hadoop中spark启动（单机及分布式集群环境搭建常见问题及解决方法）(3)

  • 27岁小伙养蛇3万条（95后单亲妈妈直播养蛇）
  • 2024-07-0195后单亲妈妈直播养蛇据梨视频报道，湖南宁乡，95年出生的文女士是一名单亲妈妈，为了寻觅一份高薪的工作，她选择到蛇场养蛇，并直播养蛇的日常她说，自己也害怕蛇，还被蛇咬过好几次，但是为了孩子，她什么都愿意做等攒够钱，想做自己。
  • 高血压的六种治疗方法不伤肾（高血压会损害肾脏）
  • 2024-07-01高血压会损害肾脏目前患有高血压的人越来越多，据介绍高血压发病人群多在中老年身上，如果不及时的控制病情，对人的危害还是不小的，所以作为健康的人要积极的预防高血压的病情，了解高血压症状表现，及时的掌握病情高血压的表现一、。
  • 狗年女宝宝名字大气（新颖独特好听的女宝宝名字）
  • 2024-07-01新颖独特好听的女宝宝名字女孩是爸爸妈妈的小棉袄，乖巧玲利而要给女孩取个新颖独特好听的名字，是能给人留下很深的好印象爸妈们就需要费心思给女孩取名字，今天起名网小编为你准备了适合狗年出生的女宝宝名字大全以供大家参考【燕瑾】——燕。
  • 怎样做豉汁排骨简单又好吃（排骨怎么做好吃又营养）
  • 2024-07-01排骨怎么做好吃又营养每当逢年过节，排骨成了餐桌上必不可少的一道佳肴，用来炖汤，益气补身，红烧排骨、糖醋排骨、酱汁排骨也深受人们的喜爱，但是要想做出美味又营养的排骨，不光要会挑选品质佳的排骨，烹饪过程中制作用料顺序也很重要。
  • 亿通手机质量如何（续航能力最强的智能手机）
  • 2024-07-01续航能力最强的智能手机续航能力最强的智能手机亿通P305评测一向专注于做超强动力手机的亿通科技，近期又推出了一款4000mAh大容量续航神机亿通P305本网也第一时间拿到了该机进行评测!亿通P305定位时尚商务手机，外观设。
  • 何蓝逗别来无恙（叶祖新王一哲何蓝逗青春正好定档）
  • 2024-07-01叶祖新王一哲何蓝逗青春正好定档近期热播的《风吹半夏》《县委大院》让现实主义题材影视作品的热度不断高涨，现在又一部以乡村振兴为背景的作品《青春正好》定档12月22日优酷上线，为这一题材再添一把火励志青春喜剧《青春正好》讲述一群怀揣梦。
  • 资治通鉴的用人之道 资治通鉴比做事更重要
  • 2024-07-01资治通鉴的用人之道 资治通鉴比做事更重要《资治通鉴》第四十四卷，汉纪三十六汉光武帝建武二十四年（戊申，公元48年）【原文】秋七月，武陵蛮寇临沅；遣谒者李嵩、中山太守马成讨之，不克马援请行，帝愍其老，未许，援曰：“臣尚能被甲上马”帝令试之援据。
  • 吃大黄豆的好处和功效（黄豆为豆制品的鼻祖）
  • 2024-07-01黄豆为豆制品的鼻祖黄豆可以说是各种豆制品的鼻祖了，因为现在我们生活中吃的各种各样的豆制品，其实主要的原料就是黄豆那你知道，吃黄豆有什么好处？一、吃黄豆有什么好处1、提高精力大豆中的蛋白质，可以增加大脑皮层的兴奋和抑制功。
  • 乳腺纤维瘤要切掉吗（乳腺纤维腺瘤必须手术切除吗）
  • 2024-07-01乳腺纤维腺瘤必须手术切除吗乳腺纤维腺瘤是由腺上皮和纤维组织混合组成的良性肿瘤，虽其肿瘤属性呈良性，但良性也可能变为恶性，这是几率问题不少女性患者容易出现这样的疑虑：既然是良性肿瘤，对健康没有危害，那还有必要做手术切除吗？但是如。
  • 雷龙缸出现涡虫怎么办
  • 2024-07-01雷龙缸出现涡虫怎么办高温肯定能够杀死涡虫的加温到35度以上即可，不过要时间长一些，或者用盐效果最好去除涡虫的方法：　1、如果发现涡虫数最不多，可用食物诱捕　2、选择新鲜的鱼鳃或动物肝脏作诱饵，用罐子DIY将诱饵放在有涡虫。