当前位置： 首页 > news >正文

python实现YouTube关键词爬虫（2025/02/11）

news 来源：原创 2025/5/19 7:54:01

在当今数字化时代，YouTube作为全球最大的视频分享平台之一，拥有海量的视频资源。无论是进行市场调研、内容创作还是学术研究，能够高效地获取YouTube上的相关视频信息都显得尤为重要。今天，我将为大家介绍一个基于Python实现的YouTube视频搜索爬虫，帮助大家快速获取特定关键词相关的视频基本信息。

废话不多说，先上结果：

一、项目背景与需求

随着信息的爆炸式增长，如何从海量的YouTube视频中快速找到符合特定需求的内容成为了一个挑战。例如，对于内容创作者来说，了解某一热门话题下的视频趋势和优秀作品能够为自己的创作提供灵感；对于市场研究人员而言，分析特定品牌或产品的相关视频数据有助于洞察市场动态和用户反馈。因此，开发一个能够自动搜索并提取YouTube视频信息的爬虫工具具有重要的应用价值。

二、技术选型与实现思路

1.技术选型

  • Python语言：Python以其简洁易读的语法和强大的库支持，成为了爬虫开发的首选语言。它提供了丰富的网络请求库（如requests）、数据处理库（如pandas）以及JSON解析等功能，能够高效地实现爬虫的各项功能。

  • requests库：用于发送HTTP请求，获取YouTube网页的响应数据。它支持自定义请求头、参数和数据，能够灵活地模拟浏览器行为，从而获取到我们需要的视频搜索结果数据。

  • pandas库：主要用于数据的存储和处理。在爬取到视频信息后，我们可以将其存储为DataFrame对象，方便后续的数据分析、筛选和导出为CSV文件等操作。

2.实现思路

  • 模拟搜索请求：通过分析YouTube的搜索功能，我们发现其搜索结果是通过向特定的API接口发送请求并携带相应的参数和数据来获取的。因此，我们需要构造类似的请求，包括设置合适的请求头（如User-Agent、Referer等）、参数（如搜索关键词、分页令牌等）以及请求体（包含搜索的上下文信息等），以模拟用户在浏览器中进行搜索的行为。

  • 解析响应数据：YouTube返回的搜索结果数据是JSON格式的，其中包含了视频的基本信息，如视频链接、标题、播放量、发布时间、作者昵称和主页链接等。我们需要编写解析逻辑，从JSON数据中提取出这些有用的信息，并将其整理成结构化的数据格式，以便后续的存储和分析。

  • 分页爬取与数据存储：由于YouTube的搜索结果通常会有很多页，为了完整地获取所有相关视频信息，我们需要实现分页爬取的功能。在每次请求中，我们可以通过解析返回数据中的分页令牌来判断是否存在下一页，并循环发送请求直到获取到所有页面的数据。同时，我们将爬取到的视频数据存储到CSV文件中，方便用户后续查看和使用。

三、代码实现

1.发送搜索请求

我们实现了get方法，用于发送搜索请求并获取YouTube的响应数据。在这个方法中，我们根据是否是首次请求（通过token参数判断），构造不同的请求体数据。首次请求时，我们直接传递搜索关键词；后续分页请求时，则使用分页令牌来获取下一页的数据。

def get(self, keyword, token):
    url = "https://www.youtube.com/youtubei/v1/search"
    params = {
        "prettyPrint": "false"
    }
    if token != "-1":
        data = {
            "context": {
                "client": {
                    "hl": "zh-CN",
                    "gl": "HK",
                    "remoteHost": "103.17.98.17",
                    "deviceMake": "",
                    "deviceModel": "",
                    "visitorData": "CgthSS1jZ09JTTY3ayj44Iy9BjIKCgJISxIEGgAgWg%3D%3D",
                    "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36,gzip(gfe)",
                    "clientName": "WEB",
                    "clientVersion": "2.20250203.06.01",
                    "osName": "Windows",
                    "osVersion": "10.0",
                    "originalUrl": f"https://www.youtube.com/results?search_query={quote(keyword)}&themeRefresh=1",
                    "platform": "DESKTOP",
                    "clientFormFactor": "UNKNOWN_FORM_FACTOR",
…………}
    else:
        data = {
            "context": {
                "client": {
                    "hl": "zh-CN",
                    "gl": "HK",
                    "remoteHost": "103.17.98.17",
                    "deviceMake": "",
                    "deviceModel": "",
                    "visitorData": "CgthSS1jZ09JTTY3ayj44Iy9BjIKCgJISxIEGgAgWg%3D%3D",
                    "userAgent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/132.0.0.0 Safari/537.36,gzip(gfe)",
                    "clientName": "WEB",
                    "clientVersion": "2.20250203.06.01",
                    "osName": "Windows",
                    "osVersion": "10.0",
                    "originalUrl": f"https://www.youtube.com/results?search_query={quote(keyword)}",
                    "platform": "DESKTOP",
                    "clientFormFactor": "UNKNOWN_FORM_FACTOR",
…………}
    data = json.dumps(data, separators=(',', ':'))
    response = requests.post(url, headers=headers, cookies=cookies, params=params, data=data, timeout=(3, 10))
    return response.json()

2.解析响应数据

在获取到YouTube的响应数据后，我们需要从中提取出有用的视频信息。这部分逻辑由parse_data方法实现。我们首先解析出视频的基本信息，如视频链接、标题、播放量、发布时间、作者昵称和主页链接等，并将这些信息存储到一个列表中。同时，我们还会尝试从响应数据中获取分页令牌，以便后续进行分页爬取。

def parse_data(self, keyword, contents):
    token = None
    contents_1 = contents[0]['itemSectionRenderer']['contents']
    result_list = []
    for c in contents_1:
        videoRenderer = c.get('videoRenderer')
        if videoRenderer:
            videoId = videoRenderer.get('videoId')
            video_url = f"https://www.youtube.com/watch?v={videoId}"
            title = "".join([tt['text'] for tt in videoRenderer['title'].get('runs', [])])
            viewCountText = videoRenderer.get('viewCountText', {}).get('simpleText', '')
            publishedTimeText = videoRenderer.get('publishedTimeText', {}).get('simpleText', '')
            username = videoRenderer['ownerText']['runs'][0]['text']
            uid_ = videoRenderer['ownerText']['runs'][0]['navigationEndpoint']['browseEndpoint']['canonicalBaseUrl']
            p_url = f"https://www.youtube.com{uid_}"
            item = {
                "关键词": keyword,
                "视频链接": video_url,
                "标题": title,
                "发布时间": publishedTimeText,
                "播放量": viewCountText,
                "昵称": username,
                "主页链接": p_url,
            }
            self.log(f"找到视频：{title}")
            result_list.append(item)

    try:
        token = contents[1]['continuationItemRenderer']['continuationEndpoint']['continuationCommand']['token']
    except:
        pass
    if result_list:
        self.save_data(self.saveFileName, result_list)

    return token

3.主逻辑与分页爬取

最后，我们实现了run方法和main方法。run方法用于控制爬虫的运行逻辑，包括发送搜索请求、解析响应数据、存储数据以及分页爬取等功能。main方法则用于读取关键词文件，并依次对每个关键词启动爬虫。

 

def run(self, keyword, token="-1"):
    self.current_token = token
    self.saveFileName = keyword

    while self.is_running and self.current_token:
        try:
            # 检查页数限制
            if self.max_pages and self.current_page >= self.max_pages:
                self.log(f"已达到设定的{self.max_pages}页限制，停止爬取")
                break

            self.log(f"正在爬取第 {self.current_page + 1} 页")
            dataJson = self.get(keyword, self.current_token)
            if self.current_token == "-1":
                contents = dataJson["contents"]["twoColumnSearchResultsRenderer"]["primaryContents"]["sectionListRenderer"]["contents"]
            else:
                contents = dataJson["onResponseReceivedCommands"][0]["appendContinuationItemsAction"]["continuationItems"]
            self.current_token = self.parse_data(keyword, contents)
            self.current_page += 1
        except Exception as e:
            self.log(f"发生错误：{str(e)}")
            break

def main(self):
    keyword_list = [k.strip() for k in open('关键词.txt', encoding='utf-8').readlines() if k.strip() != ""]
    xuhao = 0
    for index, keyword in enumerate(keyword_list[xuhao:], xuhao):
        print((index, keyword))
        self.run(keyword)

 

四、总结

通过以上代码的实现，我们成功地开发了一个能够自动搜索并提取YouTube视频信息的爬虫工具。它可以帮助我们快速获取特定关键词相关的视频数据，并将其存储到CSV文件中，方便后续的分析和使用。在实际应用中，我们还可以根据需求对爬虫进行进一步的优化和扩展，例如增加代理支持、设置爬取频率等，以提高爬虫的稳定性和效率。

希望这篇文章能够帮助你更好地理解和实现YouTube视频搜索爬虫。如果有任何问题或建议，欢迎在评论区留言交流！

 

相关文章：

  • 【Spring】Spring MVC入门（二）
  • Linux第107步_Linux之PCF8563实验
  • java05(类、泛型、JVM、线程)---java八股
  • 前端与浏览器安全知识详解
  • 程序员升级进阶之路
  • spring security 超详细使用教程（接入springboot、前后端分离）
  • [创业之路-299]：图解金融体系结构
  • Linux 文件系统：恢复已删除文件的挑战
  • 【大模型】阿里云百炼平台对接DeepSeek-R1大模型使用详解
  • 【深度强化学习】Actor-Critic 算法
  • 一个根据输入内容过滤下拉选的组件
  • 网络编程-
  • 设计模式Python版 命令模式（下）
  • Keysight E5071C (Agilent) 网络分析仪的特性和规格
  • DeepSeek 本地部署(电脑安装)
  • 笔试题笔记#6 模拟三道题和总结知识
  • CTF-web:java-h2 堆叠注入rce -- N1ctf Junior EasyDB
  • 消息中间件深度剖析：以 RabbitMQ 和 Kafka 为核心
  • vue2和vue3响应式区别最通俗易懂的理解
  • 图文教程 | 2024年IDEA安装使用教程，JDK简易下载方法
  • 远洋渔船上的命案
  • 假冒政府机构账号卖假货？“假官号”为何屡禁不绝？媒体调查
  • 多图｜多款先进预警机亮相雷达展，专家：中国预警机已达世界先进水平
  • 信俗与共：清代新疆回疆儒释道庙宇的中华政教
  • 河南一县政府党组成员签订抵制违规吃喝问题承诺书，现场交给县长
  • 世界数字教育大会发布“数字教育研究全球十大热点”