小伙伴们，做爬虫最头疼的不是抓数据，而是抓回来那一堆乱七八糟的内容！价格里混着符号、日期格式千奇百怪、还有重复和缺失的值，看着就头大。别慌，咱们用Python几招就能搞定。Pandas处理表格数据是真香，正则表达式专门治各种不服，再加上BeautifulSoup清标签，保准让原始数据改头换面！
在Python爬虫项目中，数据清洗是确保数据质量的关键步骤。以下是系统化的方法和常用工具，帮助你高效完成数据清洗：
一、数据清洗常见问题及应对策略
1、重复数据
import pandas as pd
df = pd.DataFrame(data_list)
df.drop_duplicates(subset=['url'], keep='first', inplace=True) # 根据URL去重
2、缺失值处理
df.dropna(subset=['price']) # 删除关键字段缺失的行
df['price'].fillna(0, inplace=True) # 数值型填充0
df['desc'].fillna('未知', inplace=True) # 文本型填充默认值
3、格式标准化
-
日期格式化：
from datetime import datetime df['date'] = pd.to_datetime(df['raw_date']).dt.strftime('%Y-%m-%d') -
文本去除空格：
df['title'] = df['title'].str.strip()
4、异常值处理
# 删除价格超过10000的异常值
df = df[df['price'] < 10000]
# 使用分位数过滤
q_low = df['price'].quantile(0.01)
q_hi = df['price'].quantile(0.99)
df = df[(df['price'] > q_low) & (df['price'] < q_hi)]
5、HTML标签清理
from bs4 import BeautifulSoup
def remove_html(text):return BeautifulSoup(text, "html.parser").get_text() if text else ""df['desc'] = df['desc'].apply(remove_html)
二、专用数据清洗工具库
1、Pandas（结构化数据）
# 类型转换
df['price'] = pd.to_numeric(df['price'], errors='coerce')# 字符串处理
df['name'] = df['name'].str.lower().str.replace('[^\w\s]', '', regex=True)
2、Re（正则表达式）
import re
# 提取文本中的数字
df['phone'] = df['raw_text'].str.extract(r'(\d{3}-\d{8})')
3、自定义函数处理复杂场景
def clean_price(price_str):if isinstance(price_str, str):return re.sub(r'[^\d.]', '', price_str) # 去除货币符号等return price_strdf['price'] = df['price'].apply(clean_price).astype(float)
三、完整数据清洗流程示例
以爬取的电商商品数据为例：
import pandas as pd
import redef clean_data(raw_data):# 1. 转DataFramedf = pd.DataFrame(raw_data)# 2. 去重df = df.drop_duplicates(subset=['product_id'])# 3. 处理价格df['price'] = (df['price'].str.replace('¥', '').str.replace(',', '').astype(float))df = df[df['price'] > 0] # 过滤无效价格# 4. 处理日期df['release_date'] = pd.to_datetime(df['release_date'], errors='coerce')df = df[df['release_date'].notna()]# 5. 清理描述文本df['description'] = (df['description'].str.strip().str.replace('\n', ' ').str.replace(r'\s+', ' ', regex=True))return df.to_dict('records')# 应用清洗函数
cleaned_data = clean_data(scraped_data)
四、最佳实践建议
1、逐层清洗：先处理缺失值，再格式化，最后处理逻辑异常
2、保留原始数据：始终保留未经修改的原始数据，便于回溯
3、单元测试：对清洗函数编写测试用例，验证边界情况
4、日志记录：记录被清洗掉的数据数量和原因
print(f"原始数据量: {len(raw_data)}")
print(f"清洗后数据量: {len(cleaned_data)}")
print(f"删除重复值: {len(raw_data) - len(cleaned_data)}")
五、常用工具包推荐
- Pandas：主流数据处理库
- NumPy：数值计算支持
- Re：正则表达式处理
- BeautifulSoup：HTML/XML解析
- Pyjanitor：提供链式方法调用（类似R语言的dplyr）
通过结合这些方法和工具，你可以构建健壮的数据清洗流程，确保爬虫数据可直接用于分析或入库。
搞定数据清洗后，你会发现自己爬的数据顿时清爽多了！记得清洗时要保留原始数据备份，每步操作都记好日志。整理干净的数据不管是存数据库还是做分析都特别省心，整个项目档次都提升了。其实熟练了之后，这些清洗流程就会变成肌肉记忆，赶紧动手试试吧！
)
)
