当前位置: 首页 > news >正文

Hadoop报错 Couldn‘t find datanode to read file from. Forbidden

“Couldn’t find datanode to read file from. Forbidden”

说明 Hadoop 的 Web 界面(如 http://namenode:9870/http://namenode:50070/)在尝试访问 HDFS 文件数据块 时,无法找到 DataNode 或被拒绝访问
我们来逐步分析可能原因和解决方法👇


🧩 一、明确场景

如果你是:

  • 在浏览器上访问 Hadoop 的 Web UI;
  • 点击 “Browse the filesystem”(浏览 HDFS 文件);
  • 然后点开某个文件(想下载或查看内容);
    就出现了这个错误。

说明:Web UI 能连接到 NameNode(因为能列目录),但 DataNode 层访问失败


🚨 二、常见原因与解决方法

1️⃣ DataNode 没有正常运行

最常见原因。

执行:

jps

看看是否有:

NameNode
DataNode
SecondaryNameNode
ResourceManager
NodeManager

如果没有 DataNode:

start-dfs.sh

然后再刷新浏览器看看。


2️⃣ DataNode 报错或心跳丢失

在 NameNode UI 中查看:

“Datanodes” 页面(一般在 http://namenode:9870/dfshealth.html#tab-datanode

看看有没有显示 DataNode 在线。
如果状态是 DeadDecommissioned,需要重启:

hdfs --daemon stop datanode
hdfs --daemon start datanode

3️⃣ 防火墙 / 端口问题

Web UI 要从 DataNode 读取数据块,需要访问 DataNode 的 HTTP 端口(默认 9864)。

检查:

sudo netstat -tulnp | grep 9864

如果没开放:

sudo ufw allow 9864

或者干脆关闭防火墙试试:

sudo ufw disable

4️⃣ 浏览器访问被拒绝(Forbidden)

如果你的 DataNode 启用了安全认证(例如 Kerberos 或 Hadoop 权限),
那么 Web UI 用匿名访问被拒绝。

解决方法:

  • hdfs-site.xml 中设置:

    <property><name>dfs.webhdfs.enabled</name><value>true</value>
    </property>
    
  • 并确保你使用的是 Hadoop 超级用户(通常是 hadoophdfs 用户)。


5️⃣ 文件确实没有副本(丢块)

查看日志:

hdfs fsck /path/to/file -files -blocks -locations

如果提示:

Status: CORRUPT

说明文件块丢失,DataNode 没有数据,浏览器自然打不开。
可以尝试删除或重新上传文件:

hdfs dfs -rm /path/to/file

✅ 三、总结

原因表现解决方案
DataNode 没启动目录能看但打不开文件启动 DataNode
DataNode 死亡或掉线NameNode 页面显示 Dead重启 DataNode
防火墙阻拦“Forbidden”开放 9864 端口
权限问题“Forbidden”检查权限配置或启用 WebHDFS
文件丢块无法读取数据删除或重新上传文件
http://www.dtcms.com/a/520227.html

相关文章:

  • 【案例实战】HarmonyOS分布式购物车:多设备无缝协同的电商体验
  • OpenCV工程中直接包含调用vs2022
  • 怎么看一个网站用什么做的北京建设公司有哪些
  • 上海交大刘鹏飞:智能不在于数据堆砌,78个样本训练出超强Agent,数据效率提升128倍
  • SpringAI1-快速⼊⻔
  • 本地局域网邮件管理系统:从原理到实现的完整指南
  • 面向小样本蜂窝网络故障诊断的模型与知识互增强方法
  • 上海网站推广方法河北石家庄属于几线城市
  • 专业购物网站建设哪家好免费找客户网站
  • 受欢迎的网站开发php源码搭建网站流程
  • 第八章 排序——课后习题解练【数据结构(c语言版 第2版)】
  • 如果有大量的key需要设置同一时间过期,一般需要注意什么?
  • 【nvidia-GB200】(2) 18 台 GB200 服务器集群 NCCL All-to-All 性能深度测评:72 张 GPU 多对多通信的效率与潜力
  • MYSQL数据库--基本练习
  • Harbor VS Hadess,开源制品管理工具一文详细对比分析
  • 查找企业信息的网站哪个好广州网站外包
  • 基于3D激光点云的障碍物检测与跟踪---(3)基于匈牙利算法的障碍物跟踪
  • 虚拟化技术实践指南:KVM 与 VMware ESXi 部署全流程
  • 你的地图,你做主!视频汇聚平台EasyCVR解锁多源地图自由,打造监控“全域一张图”
  • Prometheus(四)—— Alertmanager完整部署指南:邮件+钉钉告警全流程落地
  • Fakebook.
  • (11)(2.1.7) FETtec OneWire ESCs
  • 红⿊树实现
  • HTML DOM 简介
  • 介绍东莞网站建设的ppt济南网站建设方案咨询
  • wordpress仿站入门wap网站不流行
  • Andrej Karpathy《Neural Networks: Zero to Hero》:从反向传播到GPT的实战课程
  • 舆情监测的技术内核:Infoseek 如何用分布式架构与多模态技术实现全网捕捉?
  • 影石Insta360发展史:从深圳公寓到全球影像创新标杆
  • 心理学网站的建设网站建设公司怀化