平面设计大赛网站长沙网动网络科技有限公司

Python爬虫是一种自动化的数据采集工具，它可以模拟浏览器行为，访问网页并提取所需信息。Python爬虫的实现通常涉及以下几个步骤：发送网页请求、获取网页内容、解析HTML、数据存储。本文将通过实战案例，展示如何使用Python爬虫技术从多个网站采集数据，并进行清洗、去重和可视化分析，最终构建一个房价分析系统。

1. 多网站数据联合采集

在进行多网站数据联合采集时，我们需要针对每个目标网站编写相应的爬虫程序。以下是一个示例，展示如何采集两个不同网站的房价数据。

示例代码：采集两个不同网站的房价数据

import requests
from bs4 import BeautifulSoup
import pandas as pddef fetch_house_prices_from_site1(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:soup = BeautifulSoup(response.text, 'lxml')# 假设网站1的数据结构items = soup.select('.house-item')data = []for item in items:title = item.select('.title')[0].text.strip()price = item.select('.price')[0].text.strip()data.append({'标题': title, '价格': price})return pd.DataFrame(data)else:print(f'Error fetching data from {url}')return Nonedef fetch_house_prices_from_site2(url):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'}response = requests.get(url, headers=headers)if response.status_code == 200:soup = BeautifulSoup(response.text, 'lxml')# 假设网站2的数据结构items = soup.select('.property-item')data = []for item in items:title = item.select('.title')[0].text.strip()price = item.select('.price')[0].text.strip()data.append({'标题': title, '价格': price})return pd.DataFrame(data)else:print(f'Error fetching data from {url}')return None# 示例调用
df1 = fetch_house_prices_from_site1('https://example.com/houses')
df2 = fetch_house_prices_from_site2('https://another-example.com/properties')# 合并数据
combined_df = pd.concat([df1, df2], ignore_index=True)
print(combined_df.head())

2. 数据清洗与去重策略

在数据采集过程中，由于各种原因（如网页结构变化、数据缺失等），采集到的数据往往需要进行清洗和去重。以下是一些常用的数据清洗和去重策略。

数据清洗

• 去除空值：使用Pandas的dropna()方法去除数据中的空值。
• 处理缺失值：根据业务逻辑，使用填充值（如均值、中位数、众数等）或删除缺失值。
• 数据类型转换：将字符串类型的数字转换为数值类型，便于后续分析。

数据去重

• 基于单列去重：使用Pandas的drop_duplicates()方法，根据某一列的值去重。
• 基于多列组合去重：根据多列的组合值去重，确保数据的唯一性。

示例代码：数据清洗与去重

# 假设combined_df为合并后的数据框# 去除空值
cleaned_df = combined_df.dropna()# 处理缺失值（示例：填充均值）
cleaned_df['价格'] = cleaned_df['价格'].fillna(cleaned_df['价格'].mean())# 数据类型转换
cleaned_df['价格'] = cleaned_df['价格'].astype(float)# 基于标题去重
deduplicated_df = cleaned_df.drop_duplicates(subset=['标题'])print(deduplicated_df.head())

3. 使用Matplotlib生成图表

Matplotlib是Python中常用的数据可视化库，可以生成各种类型的图表，如柱形图、折线图、散点图等。以下是如何使用Matplotlib生成房价分布直方图的示例。

示例代码：生成房价分布直方图

import matplotlib.pyplot as plt# 绘制房价分布直方图
plt.figure(figsize=(10, 6))
plt.hist(deduplicated_df['价格'], bins=30, color='skyblue', edgecolor='black')
plt.xlabel('房价(万元)')
plt.ylabel('数量')
plt.title('房价分布直方图')
plt.grid(True)
plt.show()

4. 完整项目：房价分析系统

以下是一个完整的房价分析系统示例，包括数据采集、数据清洗、数据去重和数据可视化。

项目结构

├── 房价分析系统├── data_collection.py # 数据采集模块├── data_cleaning.py # 数据清洗模块├── data_visualization.py # 数据可视化模块├── main.py # 主程序└── requirements.txt # 项目依赖文件

main.py

from data_collection import fetch_house_prices_from_site1, fetch_house_prices_from_site2
from data_cleaning import clean_and_deduplicate_data
from data_visualization import plot_house_price_histogramdef main():# 采集数据df1 = fetch_house_prices_from_site1('https://example.com/houses')df2 = fetch_house_prices_from_site2('https://another-example.com/properties')# 合并数据combined_df = pd.concat([df1, df2], ignore_index=True)# 清洗和去重数据cleaned_df = clean_and_deduplicate_data(combined_df)# 可视化数据plot_house_price_histogram(cleaned_df)if __name__ == '__main__':main()

data_collection.py

import requests
from bs4 import BeautifulSoup
import pandas as pddef fetch_house_prices_from_site1(url):# ...（与前面示例代码相同）def fetch_house_prices_from_site2(url):# ...（与前面示例代码相同）

data_cleaning.py

import pandas as pddef clean_and_deduplicate_data(df):# 去除空值cleaned_df = df.dropna()# 处理缺失值（示例：填充均值）cleaned_df['价格'] = cleaned_df['价格'].fillna(cleaned_df['价格'].mean())# 数据类型转换cleaned_df['价格'] = cleaned_df['价格'].astype(float)# 基于标题去重deduplicated_df = cleaned_df.drop_duplicates(subset=['标题'])return deduplicated_df

data_visualization.py

import matplotlib.pyplot as pltdef plot_house_price_histogram(df):# 绘制房价分布直方图plt.figure(figsize=(10, 6))plt.hist(df['价格'], bins=30, color='skyblue', edgecolor='black')plt.xlabel('房价(万元)')plt.ylabel('数量')plt.title('房价分布直方图')plt.grid(True)plt.show()

requirements.txt

requests==2.25.1
beautifulsoup4==4.9.3
pandas==1.3.3
matplotlib==3.4.3

结论

通过本文的介绍和实践案例，我们可以看到Python爬虫技术与数据可视化工具的强大功能。从数据采集到分析，再到可视化展示，Python提供了一套完整的解决方案。这不仅能够帮助我们高效地获取和处理数据，还能够使我们更直观地理解数据背后的信息。随着技术的不断发展，Python在数据采集与可视化领域的应用将更加广泛。

关注我！！🫵 持续为你带来Python相关内容。