基于Python+MongoDB猫眼电影 Top100 数据爬取与存储
前言：从猫眼电影排行榜页面（TOP100榜 - 猫眼电影 - 一网打尽好电影 ）爬取 Top100 电影的电影名称、图片地址、主演、上映时间和评分等关键信息，并将这些信息存储到本地 MongoDB 数据库中，🔗 相关链接Xpath，可视化🔥🔥🔥
❤ 【作者主页—📚优质文章、获取更多优质源码】
目录
一. 准备工作
二. 编写函数
2.1 连接MongoDB数据库
2.2 数据爬取
三. 运行结果
四. 更多干货
一. 准备工作
我们在编写python代码前，首先要导入用到的一些库 ，如果没有BeautifulSoup，就在终端输入pip install BeautifulSoup下载即可
import requests
from bs4 import BeautifulSoup
from pymongo import MongoClient
import re
import time
import random二. 编写函数
def自定义函数名scrape_maoyan_top100，然后定义url网址，设置请求头
def scrape_maoyan_top100():url = "https://www.maoyan.com/board/4"headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36','Referer': 'https://www.maoyan.com/','Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8','Accept-Language': 'zh-CN,zh;q=0.9','Cache-Control': 'max-age=0','Connection': 'keep-alive'}为了提高代码健壮性，使用try函数作异常处理，time.sleep()保障每次请求之间的随机延迟，通过避免短时间内频繁发送请求，保证数据爬取过程的稳定性和可持续性，接着发送get请求检验响应的状态码，使用utf-8解码，并将获取到的 HTML 内容赋值给html变量，保存为maoyan.html，然后BeautifulSoup解析 html
try:time.sleep(random.uniform(1, 3))response = requests.get(url, headers=headers, timeout=10)response.raise_for_status()response.encoding = 'utf-8'html = response.textwith open('maoyan.html', 'w', encoding='utf-8') as f:f.write(html)soup = BeautifulSoup(html, 'html.parser')2.1 连接MongoDB数据库
使用MongoClient('mongodb://localhost:27017/')连接到本地运行的 MongoDB 服务器，获取本地连接中的数据库对象maoyan和集合对象top_movies，在插入数据之前，先清空集合中的原有数据，以保证每次运行代码存储的都是最新数据
client = MongoClient('mongodb://localhost:27017/')db = client['maoyan']collection = db['top_movies']collection.delete_many({})2.2 数据爬取
首先我们要分析该网页的html结构，如下图所示，所有的电影信息被包裹在一个 class 为 board-wrapper 的元素中，该元素起到了一个容器的作用
如下图所示，第一个<dd>标签包含第一部电影的所有信息，我们可以看到下方黄色的边框里的每一个并列的<dd>标签，就可以推断出每部电影的信息都以<dd>标签为单位进行包裹
根据以上两幅图片，我们可以总结出该网站的缩略html结构（仅包含电影信息）如下
<dl class="board-wrapper><dd>第一部电影的信息 </dd><dd>第二部电影的信息 </dd></dl>分析完网页结构后，接着写soup.select🔍('.board-wrapper dd') 就会选择到 <dl class="board-wrapper"> 内部的所有 <dd> 标签，也就是每部电影的信息所在的标签
select🔍 是 BeautifulSoup 对象的一个方法，它可以依据 CSS 选择器来筛选元素；CSS 选择器是一种用于选择 HTML 元素的语法，借助它能够快速定位到所需的元素。
然后定义一个空列表 movie_data_list，循环movie_items里面包含的每一个电影信息，从而提取出每个电影的名称、主演、评分、上映时间和电影封面地址等具体信息；接下来我们要找到电影图片的class属性，进入该网页TOP100榜 - 猫眼电影 - 一网打尽好电影右键电影图片，选择检查，然后一级一级的找到它的CSS属性.board-img，如下图所示，因为每个电影信息html结构一样，所以.board-img代表每个电影图片的属性，因此item.select_one('.board-img')是定位到图片所在的标签，接下来通过item.select_one('.board-img')获取data-src属性的值作为图片的 URL
我们以同样的方式，如下图所示，找到电影名称的CSS属性是.name，为了定位到.name下的<a>标签里面的文本，我们接着写select方法：name_tag=item.select_one('.name a')，通过name_tag来获取文本元素
movie_name = name_tag.text.strip()
电影评分、上映时间等信息也是按照以上步骤进行编码，其中需要注意的是如下图电影评分是有两个属性组成的，因此，需要我们写两个select方法并将它们组合起来，数据爬取的全部代码如下
movie_items = soup.select('.board-wrapper dd')movie_data_list = []for item in movie_items:try:img_tag = item.select_one('.board-img')img_url = img_tag['data-src'] if img_tag and 'data-src' in img_tag.attrs else img_tag['src'] if img_tag else Noneif img_url and img_url.startswith('//'):img_url = 'https:' + img_urlname_tag = item.select_one('.name a')movie_name = name_tag.text.strip() if name_tag else Nonestars_tag = item.select_one('.star')stars = stars_tag.text.replace('主演：', '').strip() if stars_tag else Nonerelease_tag = item.select_one('.releasetime')release_time = release_tag.text.strip() if release_tag else Noneinteger_tag = item.select_one('.integer')fraction_tag = item.select_one('.fraction')score = (integer_tag.text.strip() + fraction_tag.text.strip()) if integer_tag and fraction_tag else None最后获取到的数据以字典形式组织，包含movie_name（电影名称）、img_url（图片地址）、stars（主演）、release_time（上映时间）、score（评分）和crawl_time（抓取时间）。然后，批量插入到 MongoDB 数据库的top_movies集合中
movie_data = {'movie_name': movie_name,'img_url': img_url,'stars': stars,'release_time': release_time,'score': score,'crawl_time': time.strftime('%Y-%m-%d %H:%M:%S')}movie_data_list.append(movie_data)编写主函数运行程序
if __name__ == "__main__":scrape_maoyan_top100()三. 运行结果
四. 更多干货
--------------------- - -----✈--------- ---------✈--------------------✈-------
1.如果我的博客对你有帮助或你喜欢我的博客内容，请 “👍点赞” “✍️评论” “★收藏” 一键三连哦！
2.❤️【👇🏻👇🏻👇🏻关注我| 获取更多源码 | 优质文章】 带您学习各种前端插件、3D炫酷效果、图片展示、文字效果、以及整站模板 、HTML模板 、微信小程序模板 、等! 「在这里一起探讨知识，互相学习」！
3.以上内容技术相关问题✉欢迎一起交流学习 ☟ ☟ ☟
————————————————