当前位置: 首页 > news >正文

【python实用小脚本-128】基于 Python 的 Hacker News 爬虫工具:自动化抓取新闻数据

引言

在技术社区中,Hacker News 是一个汇聚最新技术文章和讨论的热门平台。许多开发者和技术爱好者依赖它来获取行业动态和前沿资讯。然而,手动浏览和筛选这些文章可能耗时且低效。本文将介绍一个基于 Python 的 Hacker News 爬虫工具,它能够自动化地从 Hacker News 网站抓取最新文章,并将结果保存为 CSV 文件。该工具主要利用了 Python 的 requestsBeautifulSoupcsv 库,结合了网络请求和网页解析技术,为用户提供了一个高效且便捷的新闻数据抓取解决方案。

总体功能概述

Hacker News 爬虫工具是一个 Python 脚本,其核心功能是从 Hacker News 网站抓取最新文章,并将文章标题和链接保存到 CSV 文件中。它通过调用 requests 库发送 HTTP 请求获取网页内容,利用 BeautifulSoup 库解析 HTML 数据,并使用 csv 库将结果保存为 CSV 文件。此外,工具还通过用户输入来灵活地指定需要抓取的文章数量。

网络请求与网页内容获取

工具首先需要从 Hacker News 网站获取网页内容。以下是网络请求与网页内容获取的代码片段及解析:

import requests
from bs4 import BeautifulSoup as bsbaseurl = "https://news.ycombinator.com/newest"
response = requests.get(baseurl)
soup = bs(response.content, 'html.parser')

在上述代码中,requests.get 方法用于发送 HTTP GET 请求到 Hacker News 的最新文章页面。response.content 包含了网页的 HTML 内容,随后通过 BeautifulSoup 对象 soup 来解析这些内容,以便后续提取所需数据。

用户输入与参数验证

为了使工具能够根据用户需求抓取指定数量的文章,工具通过命令行输入来接收用户指令,并对输入进行验证。以下是用户输入与参数验证的代码片段及解析:

try:number_of_articles = int(input('''Enter the number of articles you want from the hackernews website.
(1-30) : '''))
except ValueError:print("\nYou did not enter a number. Try again.\n")sys.exit(1)if not 1 <= number_of_articles <= 30:print("\nYour input was not in the given range!\n")sys.exit(1)

在上述代码中,input 函数用于提示用户输入所需文章的数量。通过 try-except 块捕获可能的 ValueError 异常,确保用户输入的是一个有效的整数。随后,通过条件判断验证输入值是否在允许的范围内(1 到 30),若不符合则提示用户并退出程序。

文章数据提取

工具通过解析网页内容来提取文章的标题和链接。以下是文章数据提取的代码片段及解析:

latest = soup.find_all('a', attrs={'class': 'storylink'})links = []
titles = []for article in latest:links.append(article['href'])titles.append(article.text)

在上述代码中,soup.find_all 方法用于查找所有具有特定类名(storylink)的 <a> 标签,这些标签包含了文章的链接和标题。通过遍历这些标签,分别提取 href 属性(链接)和文本内容(标题),并将它们存储到 linkstitles 列表中。

数据保存为 CSV 文件

最后,工具将提取到的文章数据保存为 CSV 文件,方便用户后续查看和使用。以下是数据保存为 CSV 文件的代码片段及解析:

import csvresult = []for title, link in zip(titles[:number_of_articles], links[:number_of_articles]):d = {}d["News Title"] = titled["Link to the News"] = linkresult.append(d)keys = ["News Title", "Link to the News"]with open("hackernews_latest.csv", "w") as hackernews:writer = csv.DictWriter(hackernews, fieldnames=keys)writer.writeheader()writer.writerows(result)

在上述代码中,通过 zip 函数将 titleslinks 列表中的元素配对,并根据用户指定的文章数量进行切片。随后,将每篇文章的标题和链接封装为字典,并添加到 result 列表中。通过 csv.DictWriter 创建一个 CSV 写入器,指定字段名并写入表头和数据行。最终,将结果保存到名为 hackernews_latest.csv 的文件中。

总结

本文介绍了一个基于 Python 的 Hacker News 爬虫工具,它通过结合 requests 库的网络请求功能、BeautifulSoup 库的网页解析功能和 csv 库的数据保存功能,实现了从 Hacker News 网站自动化抓取最新文章并保存为 CSV 文件的功能。该工具具有简单易用、功能实用的特点,适用于需要快速获取技术新闻数据的各种场景。通过本文的介绍,读者可以了解到如何利用 Python 相关技术栈实现网页爬虫工具的开发,为数据收集和信息整理提供了有益的参考。

源码获取

完整代码已开源,包含详细的注释文档:
🔗 [GitCode仓库] https://gitcode.com/laonong-1024/python-automation-scripts
📥 [备用下载] https://pan.quark.cn/s/654cf649e5a6 提取码:f5VG

http://www.dtcms.com/a/266881.html

相关文章:

  • [数据结构]详解红黑树
  • 小架构step系列04:springboot提供的依赖
  • mobaxterm终端sqlplus乱码问题解决
  • 使用循环抵消算法求解最小费用流问题
  • opencv的颜色通道问题 rgb bgr
  • 智绅科技:以科技为翼,构建养老安全守护网
  • Vue中对象赋值问题:对象引用被保留,仅部分属性被覆盖
  • 八股学习(三)---MySQL
  • 高流量发布会,保障支付系统稳定运行感想
  • Flink-05学习 接上节,将FlinkJedisPoolConfig 从Kafka写入Redis
  • 关于python
  • Javaweb - 10.2 Servlet
  • 【51单片机倒计时选位最右侧2位显示秒钟后最左侧1位显示8两秒后复位初始状态2个外部中断组合按键功能】2022-7-5
  • 数据库位函数:原理、应用与性能优化
  • Nuxt 3 面试题合集(中高级)
  • 在 C++ 中,判断 `std::string` 是否为空字符串
  • 【贪心】P2660 zzc 种田
  • Rust 中的返回类型
  • 指数分布的Python计算与分析
  • 微服务架构下的抉择:Consul vs. Eureka,服务发现该如何选型?
  • 简单 Python 爬虫程序设计
  • 递推|递归|分治
  • Python 办公实战:用 python-docx 自动生成 Word 文档
  • 【ROS2 自动驾驶学习】01-工具链的安装
  • 过滤器应用
  • MySQL分布式ID冲突详解:场景、原因与解决方案
  • Hive UDF 开发实战:MD5 哈希函数实现
  • 每周资讯 | Krafton斥资750亿日元收购日本动画公司ADK;《崩坏:星穹铁道》新版本首日登顶iOS畅销榜
  • 只出现一次的数字2
  • 暴雨服务器成功中标华中科技大学集成电路学院服务器采购项目