包头住房与城乡建设局网站成年学校培训班

你可以使用 BeautifulSoup 库来提取 HTML 网页上的所有文本信息。以下是一个示例脚本：

步骤

1. 安装 beautifulsoup4 和 requests（如果尚未安装）：

   pip install beautifulsoup4 requests
   

2. Python 脚本：

   import requests
   from bs4 import BeautifulSoupdef extract_text_from_url(url):# 发送 HTTP 请求获取网页内容response = requests.get(url)response.encoding = response.apparent_encoding  # 处理编码问题# 确保请求成功if response.status_code != 200:print(f"无法获取网页: {response.status_code}")return None# 解析 HTML 内容soup = BeautifulSoup(response.text, 'html.parser')# 提取所有可见文本for script in soup(["script", "style"]):  # 移除 JavaScript 和 CSSscript.extract()text = soup.get_text(separator="\n", strip=True)  # 获取所有文本，按换行符分隔return textif __name__ == "__main__":url = "https://example.com"  # 替换为你要爬取的网页text = extract_text_from_url(url)if text:print(text)
   

脚本说明

• requests.get(url): 发送 HTTP 请求获取网页内容。
• BeautifulSoup(response.text, 'html.parser'): 解析 HTML。
• soup.get_text(separator="\n", strip=True): 提取所有文本并清理格式。
• 移除 <script> 和 <style> 标签，避免获取无关代码。

示例输出

对于 https://example.com，可能输出：

Example Domain
This domain is for use in illustrative examples in documents.
...

如果你要提取特定元素的文本，比如 <p> 标签，可以使用：

paragraphs = [p.get_text(strip=True) for p in soup.find_all("p")]

需要处理复杂页面或防止反爬机制，可以考虑 selenium 或 scrapy。