本文将深入讲解两大主流短视频平台（抖音、B站）的爬虫实战技术，提供可直接运行的代码解决方案，并分享突破反爬机制的核心技巧。

一、平台特性与爬虫难点对比

平台	数据价值	主要反爬措施	推荐抓取方式
抖音	视频数据、用户画像、热榜	签名验证、TLS指纹、滑块验证	Web接口+签名破解
B站	弹幕、评论、视频元数据	Referer校验、Cookie验证、频率限制	API接口+模拟登录

二、抖音爬虫实战：获取用户视频数据

核心原理：破解X-Bogus签名

抖音通过X-Bogus参数保护接口，需使用JavaScript逆向技术生成签名。

python

import requests
import execjs  # 执行JS代码
import json# 加载本地JS签名生成脚本（需提前保存）
with open('douyin_xbogus.js', 'r') as f:js_code = f.read()
ctx = execjs.compile(js_code)def get_douyin_user_videos(user_id):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','Cookie': '你的抖音Cookie'  # 通过浏览器获取}# 构造原始URLbase_url = f"https://www.douyin.com/aweme/v1/web/aweme/post/?device_platform=webapp&user_id={user_id}"# 通过JS生成X-Bogus签名xbogus = ctx.call('generateXbogus', base_url)signed_url = base_url + "&X-Bogus=" + xbogustry:response = requests.get(signed_url, headers=headers)data = response.json()# 解析视频数据videos = []for aweme in data['aweme_list']:video_info = {'id': aweme['aweme_id'],'desc': aweme['desc'],'create_time': aweme['create_time'],'duration': aweme['duration'] // 1000,  # 转为秒'likes': aweme['statistics']['digg_count'],'comments': aweme['statistics']['comment_count'],'url': aweme['video']['play_addr']['url_list'][0]}videos.append(video_info)return videosexcept Exception as e:print(f"抓取失败: {str(e)}")return []# 使用示例
if __name__ == "__main__":user_id = "123456789"  # 替换为目标用户IDvideo_data = get_douyin_user_videos(user_id)print(f"获取到{len(video_data)}个视频")for video in video_data[:3]:print(video['desc'])

关键技术点：

X-Bogus签名生成：
- 需要逆向抖音官方JavaScript生成算法
- 使用PyExecJS执行JS代码生成有效签名
关键参数获取：
- user_id：通过分享链接获取（需URL解码）
- Cookie：登录后从浏览器开发者工具获取
数据解析技巧：
- 视频真实地址在play_addr.url_list
- 时间戳需要转换格式

注：完整X-Bogus生成JS代码需单独获取（因篇幅限制未展示）

三、B站爬虫实战：获取视频弹幕与评论

方案1：直接获取弹幕数据（无需登录）

python

import requests
import re
import xml.etree.ElementTree as ETdef get_bilibili_danmaku(cid):""" 通过视频CID获取弹幕 """url = f"https://api.bilibili.com/x/v1/dm/list.so?oid={cid}"response = requests.get(url)response.encoding = 'utf-8'# 解析XML弹幕数据danmaku = []root = ET.fromstring(response.text)for d in root.findall('d'):attrs = d.attrib['p'].split(',')danmaku.append({'time': float(attrs[0]),'type': int(attrs[1]),'size': int(attrs[2]),'color': f"#{int(attrs[3]):06X}",'timestamp': int(attrs[4]),'text': d.text})return danmaku# 使用示例
cid = "45678901"  # 通过视频API获取
danmaku_data = get_bilibili_danmaku(cid)
print(f"获取到{len(danmaku_data)}条弹幕")

方案2：获取视频评论（需模拟登录）

python

import requests
import time
import randomdef get_bilibili_comments(bvid):headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','Referer': f'https://www.bilibili.com/video/{bvid}','Cookie': '你的B站Cookie'}comments = []page = 1while True:url = f"https://api.bilibili.com/x/v2/reply?jsonp=jsonp&pn={page}&type=1&oid={get_aid(bvid)}&sort=2"try:response = requests.get(url, headers=headers)data = response.json()if data['code'] != 0:print(f"错误: {data['message']}")break# 解析评论数据for reply in data['data']['replies']:comments.append({'user': reply['member']['uname'],'content': reply['content']['message'],'like': reply['like'],'time': time.strftime("%Y-%m-%d %H:%M", time.localtime(reply['ctime']))})print(f"已获取第{page}页评论")page += 1# 随机延迟防止封禁time.sleep(random.uniform(1.5, 3))# 检查是否还有下一页if page > data['data']['page']['count'] // 20:breakexcept Exception as e:print(f"抓取出错: {str(e)}")breakreturn commentsdef get_aid(bvid):""" 将BV号转换为AV号 """table = 'fZodR9XQDSUm21yCkr6zBqiveYah8bt4xsWpHnJE7jL5VG3guMTKNPAwcF'tr = {table[i]: i for i in range(58)}s = [11, 10, 3, 8, 4, 6]xor = 177451812add = 8728348608r = 0for i in range(6):r += tr[bvid[s[i]]] * 58 ** ireturn (r - add) ^ xor# 使用示例
if __name__ == "__main__":bvid = "BV1gK4y1N7Jb"  # 替换为目标视频BV号comment_data = get_bilibili_comments(bvid)print(f"获取到{len(comment_data)}条评论")

关键技术点：

CID/AID获取：
- 弹幕需要CID参数（通过视频API获取）
- 评论需要AID（BV号需转换为AV号）
反爬突破技巧：
- 必须携带Referer请求头
- Cookie需定期更新（有效期约1天）
- 请求间隔需随机化（1-3秒）
数据解析：
- 弹幕为XML格式，属性包含位置/颜色/时间
- 评论API返回分页JSON数据

四、高级反爬对抗方案

反爬类型	解决方案	工具推荐
签名验证	JavaScript逆向	PyExecJS/Frida
TLS指纹	修改客户端指纹	curl_cffi/requests_toolbelt
滑块验证	打码平台/OCR识别	ddddocr/第三方打码API
IP限制	代理IP轮换	快代理/站大爷

代理IP示例代码：

python

from itertools import cycleproxies = cycle(['http://user:pass@192.168.1.1:8080','http://user:pass@192.168.1.2:8080'
])def make_request(url):proxy = next(proxies)try:return requests.get(url, proxies={"http": proxy}, timeout=10)except:return make_request(url)  # 自动切换下一个代理

五、法律合规边界

允许操作：
- 抓取公开视频信息（非隐私内容）
- 个人学习研究目的
- 遵守robots.txt限制
禁止行为：
- 破解付费内容
- 抓取用户私信/手机号等隐私
- 商业用途未经授权
- 高频请求影响服务（>1次/秒）

建议：商业项目使用官方API（抖音开放平台/B站开放接口），个人学习控制请求频率

六、最佳实践建议

数据存储优化：
- 使用消息队列（RabbitMQ）缓冲请求
- 分布式存储（MongoDB分片集群）

错误处理机制：

python

# 重试装饰器示例
from tenacity import retry, stop_after_attempt, wait_random@retry(stop=stop_after_attempt(3), wait=wait_random(min=2, max=5))
def safe_request(url):response = requests.get(url)response.raise_for_status()return response