基于python爬虫：requests+BeautifulSoup+MySQL/MongoDB（或：CSV、JSON等格式的文件）+...

爬虫技术（基于python介绍）

- 应用场景
数据抓取、数据挖掘、搜索引擎优化

• http协议
  通过HTTP请求来获取网页数据
  - 编程语言
  python
• python库数据请求与解析
  requests、BeautifulSoup、Scrapy等
  requests（Python）：用于发送HTTP请求。
  BeautifulSoup：用于解析HTML和XML文档
  - 数据存储
  数据库（如MySQL、MongoDB）：用于存储抓取的数据。
  文件系统：将数据保存为CSV、JSON等格式的文件。
  - 框架与工具
  Scrapy（Python）：一个快速的高级爬虫框架。
  Puppeteer（JavaScript）：Node库，提供了一个高级API来控制Chrome或Chromium。
  Selenium：用于自动化Web应用程序测试的工具，也可用于爬虫。
  - 日志和错误处理
  记录爬虫的运行状态，处理可能出现的错误。
• 多线程和异步处理：

threading、multiprocessing（Python）：用于实现多线程爬虫。
asyncio（Python）：用于异步IO操作。
CompletableFuture（Java）：Java中的异步编程工具。

- 头信息和会话管理：

设置User-Agent、Cookies等头信息，模拟浏览器行为。
使用会话（Session）来保持连接状态。

• 反反爬虫技术：

处理JavaScript渲染的页面（如使用Selenium或Pyppeteer）。
处理CAPTCHA（验证码）。
模拟正常用户行为，如随机延迟请求。