爬虫豆瓣电影

以下是一个简单的使用 requests 和 BeautifulSoup 库来爬取网页标题的 Python 爬虫示例代码，以爬取豆瓣电影 Top250 首页为例（注意遵守网站的 robots.txt 协议，不要过度爬取给网站造成负担）：

首先确保你已经安装了 requests 和 BeautifulSoup 库，如果没有安装，可以使用 pip install requests beautifulsoup4 命令进行安装。
import requests
from bs4 import BeautifulSoup

# 目标网址
url = 'https://movie.douban.com/top250'

# 发送 GET 请求
response = requests.get(url)

# 检查请求是否成功
if response.status_code == 200:
    # 设置响应的编码为网页实际的编码（避免乱码）
    response.encoding = response.apparent_encoding

    # 使用 BeautifulSoup 解析网页内容
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找到所有电影标题的元素
    movie_titles = soup.find_all('span', class_='title')

    # 遍历并打印电影标题
    for title in movie_titles:
        print(title.text)
else:
    print(f"请求失败，状态码: {response.status_code}")
这段代码的作用是：

1. 向目标网址发送 GET 请求获取网页内容。

2. 检查请求是否成功，若成功则设置编码并解析网页。

3. 使用 BeautifulSoup 找到所有包含电影标题的 <span> 元素。

4. 遍历并打印这些电影标题。