网站开发比较流行的框架百度一下百度官网

前几天有人问我怎么批量抓取今日头条某个号的所有文章数据，需要文章链接，标题和时间，但是不会写代码，于是我写了个简单的教程

这里以渤海小吏为例 

首先用edge浏览器安装web-scraper浏览器扩展

然后打开浏览器控制台，找到web-scraper， import sitemap，复制以下代码：

点击scrape开始抓取 。

导出excel效果如图，包含文章链接，文章标题，文章阅读数，文章评论数，文章发布时间，效果见网盘 https://pan.quark.cn/s/949ca3387267

如果要抓取其他号的文章，修改edit metadata里的链接，你学会了吗？

后续可以将所有文章下载合并成一个pdf文件，大小97MB，左侧是文章目录，点击可跳转到对应文章，效果见网盘 https://pan.quark.cn/s/949ca3387267

当然web-scraper也支持抓取其他网站的数据，掌握点网页知识就可以。