一、先搞懂：电商爬虫的 3 大核心挑战（比普通爬虫更复杂的原因）

做电商爬虫前，必须先明确「为什么难」—— 淘宝、京东、拼多多的反爬体系是「多层级、动态化、行为导向」的，绝非简单的 UA 验证或 IP 封禁：

动态参数加密（最核心痛点）

三大平台的商品列表页 / 详情页接口，几乎都有「动态生成的签名参数」，且参数规则会定期更新：

- 淘宝：sign「tk_trace」参数，依赖 cookie 中的tb_token「cookie2」，且与请求时间戳、用户行为（如浏览轨迹）绑定；

- 京东：sign「venderId」参数，需逆向 JS 中的md5加密逻辑，且同一 IP 下频繁请求会导致 sign 失效；

- 拼多多：anti_content参数（俗称「防爬内容」），需模拟 APP 端的设备指纹（如imei「android_id」），PC 端几乎无法爬取详情页。

行为反爬（比参数更难对抗）

平台会通过「用户行为特征」识别爬虫，而非仅看请求头：

- 无浏览轨迹：直接请求商品详情页，未先访问首页→分类页→列表页，会被判定为「异常请求」；

- 请求频率刚性：同一 IP / 账号 1 秒内请求 > 5 次，或分页爬取时跳过中间页（如从第 1 页直接到第 10 页），会触发临时封禁；

- 设备指纹不一致：PC 端爬虫用固定 UA + 固定分辨率，或 APP 端爬虫未模拟真实设备的「传感器数据」（如加速度、陀螺仪），会被标记为「机器账号」。

数据动态性（爬取到的可能是「无效数据」）

电商商品数据有「实时性 + 地域性 + 账号相关性」：

- 价格：同一商品，不同地区（如北京 vs 上海）、不同账号（新用户 vs 老用户）、不同时段（大促 vs 日常）价格可能不同；

- 库存：秒杀商品库存每秒更新，爬取延迟 10 秒就可能导致数据失效；

- 评价：平台会对评价列表做「分页动态加载 + 内容屏蔽」，直接爬取前 10 页可能漏掉 80% 的真实评价。

二、分平台实战：淘宝 / 京东 / 拼多多的差异化爬虫方案

三大平台的反爬重点不同，不能用一套代码通吃，需针对性设计方案 —— 以下是经过验证的「低成本有效策略」（非黑产手段，聚焦合规爬取）：

1. 淘宝：优先用「PC 端模拟真实用户 + cookie 池维护」

淘宝 PC 端的反爬强度低于 APP 端，适合中小规模数据爬取（如单品类商品监测）：

核心步骤：解决 cookie 鲜活度问题

① 初始 cookie 获取：用「无头浏览器（Playwright 优于 Selenium，资源占用低）」模拟真实用户登录（扫码登录，避免账号密码登录被风控），获取包含tb_token「cookie2」「uc1」的完整 cookie；

② cookie 池维护：每个 cookie 绑定 1 个 IP，每天用「低频率行为（如浏览 3 个商品 + 收藏 1 个）」激活，避免 cookie 过期（淘宝 cookie 默认有效期 7-15 天，不激活会提前失效）；

③ 接口选择：优先爬取「m 端（手机淘宝网页版，https://m.tmall.com）」接口，参数加密比 PC 端简单（如sign参数仅依赖时间戳 + cookie，无需逆向复杂 JS）。

避坑点：价格数据爬取

淘宝商品详情页的「原价」在 HTML 中可见，但「优惠价」需请求「https://mdskip.taobao.com/core/price/price.htm」接口，且需携带「商品 ID（itemId）+ 店铺 ID（sellerId）+cookie」，否则返回「-1」（未登录状态）。

2. 京东：逆向「sign 参数」+ 模拟 APP 端请求

京东 PC 端反爬极严（频繁触发滑块验证码），但 APP 端接口（通过 Charles 抓包获取）的参数逻辑更固定，适合大规模数据爬取：

核心步骤：破解 sign 参数加密

① 抓包分析：用「夜神模拟器 + Charles」抓取京东 APP 的商品列表接口（如「https://api.m.jd.com/api?functionId=search&...」），发现sign参数是关键；

② 逆向 JS：在 APP 安装目录中找到「jdmall.js」（或通过 FridaHook Hook 加密函数），拆解出sign的生成逻辑：sign = md5(secretKey + 拼接参数（functionId+timestamp+appid+参数） + secretKey)，其中「secretKey」是固定值（不同 APP 版本可能变化，需定期更新）；

③ 设备指纹模拟：APP 端接口需携带「deviceId」「uuid」「imei」，用 Python 的faker库生成符合京东格式的假设备信息（避免用固定值，否则会被识别为爬虫设备）。