CSP严格模式返回不存在的爬虫相关文件
文章目录
- 说明
- 示例（返回404）
- 示例（创建CSP例外）
说明
日期：2025年6月4日。
CSP严格模式是default-src 'none'，但有些web应用中，在爬虫相关文件不存在的情况下，依旧返回了对应文件，而且服务器状态时200，这就导致CSP严格模式违规。
原因是特殊文件的"爬虫友好"设计原则：
- 搜索引擎优化(SEO)的核心文件
- 历史惯例要求这些文件必须可访问（即使内容为空）
- 返回 404 可能被搜索引擎解释为"网站不支持 SEO"。
虽然导致CSP严格模式违规，但并非不能用这些文件。
要根据自身网站需要，对所需的文件创建CSP例外。
示例（返回404）
日期：2025年6月4日。
操作系统：Alibaba Cloud Linux 3.2104 LTS 64位。
应用：
- node.js v22.15.1
- npm v11.4.1
// 需要特殊处理的SEO/安全文件列表
const WELL_KNOWN_FILES = ['/robots.txt','/sitemap.xml','/sitemap_index.xml', // 多站点地图情况'/favicon.ico','/ads.txt','/security.txt','/.well-known/security.txt' // 标准位置];// 统一处理：返回404WELL_KNOWN_FILES.forEach(path => {app.get(path, (req, res) => {// 可选：记录访问日志console.log(`Blocked access to ${path} from ${req.ip}`);res.status(404).end();});});// 注册静态文件中间件，必须在统一处理之后
app.use(express.static(path.join(__dirname, 'testwebapp')));
示例（创建CSP例外）
日期：2025年6月4日。
操作系统：Alibaba Cloud Linux 3.2104 LTS 64位。
应用：
- node.js v22.15.1
- npm v11.4.1
以sitemap.xml为例。
注：
- 仅当实际提供sitemap.xml时才需要添加例外。
- XML文件本身应该是纯静态的。
- 避免内联样式。
app.get('/sitemap.xml', (req, res) => {res.set('Content-Security-Policy', "default-src 'none'; style-src 'self'");res.sendFile(path.join(__dirname, 'public/sitemap.xml'));
});