《Python 自动化上传豆瓣电影到飞书：十个真实踩坑记录与避坑指南》
这次项目目标很简单：
用 Python 从豆瓣爬取热门电影 Top 100，然后一键上传到 飞书多维表格。
结果呢？光这两个动作，前前后后踩了十几个坑。下面全程复盘。
🎬 一、豆瓣爬虫部分的坑
| 问题 | 表现 | 原因 | 解决 |
|---|---|---|---|
| 抓不到电影 | 状态码 200 但数据为 0 条 | 豆瓣反爬或页面结构变 | 加完整 headers 并换 Top250 页面 |
| 页面结构失效 | 原 .indent table 全无 | 新结构改成 .item | 用 div.item > span.title 抓取 |
| 中文乱码 | CSV 中出现 ?? | 网页编码不同步 | res.encoding="utf-8" 并 utf-8-sig 保存 |
| 被封 | 抓几次就 403 或验证码页 | 请求太快 | 每页 time.sleep(1) 延时 |
| 数据异常 | 电影名缺失或拼接错误 | 抓取标签混乱 | split('/') 仅取第一项 |
| 空页面 | 只有 | 豆瓣返回简版页 | 添加 Referer 和 Accept-Language |
经验：
- 调试时打印
res.text[:500]确认抓到的 HTML 是什么。 - 不打印 HTML = 永远不知道自己在抓什么。
- 遇到反爬时，最有效的是延迟 + 随机 UA。
🚀 二、飞书上传部分的坑
| 问题 | 报错 / 现象 | 原因 | 解决 |
|---|---|---|---|
| 403 Forbidden | {"code":91403,"msg":"Forbidden"} | 权限没开或没发布 | 勾选三项 bitable 权限后重新发布安装 |
| 上传成功但空表 | HTTP 200 无数据 | 字段名不匹配 | 表头名与代码字段完全一致 |
| 数字字段报错 | NumberFieldConvFail | 上传了字符串 | 转 float ：float(row["评分"]) |
| 多选字段报错 | MultiSelectFieldConvFail | 飞书列是多选 | 改列为多行文本或传 list |
| 链接字段报错 | URLFieldConvFail | 传了纯字符串 | 用对象格式 {"link": url, "text": "豆瓣页面"} |
| 主列不显示 | 无报错但空 | 主列锁定 | 新建普通文本列写入 |
| 上传无效 | json="{...}" | 参数写成字符串 | 改成 json={...} |
| 权限仍403 | 全部配置正确仍错 | 未重新发布 | 发布上线后再安装 |
飞书表格严格匹配规则：
- 数字列 → 数字
- 超链接列 →
{"link": url, "text": text} - 多选列 → 数组
["选项1","选项2"] - 主列不可写入
📘 调试建议
1️⃣ 先本地 CSV 验证爬虫结果：
print(df.head())
2️⃣ 上传前统一类型：
"评分": float(row["评分"]),
"电影名称": str(row["电影名称"]),
"详情": str(row["详情"])
3️⃣ 打印接口返回内容：
print(res.status_code, res.text[:200])
HTTP 200 不代表成功，要看到 "code":0 才是成功写入。
4️⃣ 不要信“上传成功”提示太早。
飞书很多逻辑错误（字段类型不符）都返回 200。
🧱 最终成功经验
| 阶段 | 经验 |
|---|---|
| 爬虫 | 一定先确认网页结构，打印 HTML 看实际内容 |
| 网络 | 豆瓣反爬 → 加 User-Agent + Referer + 延时 |
| 上传 | 飞书字段一一对应，类型要严格 |
| 调试 | CSV 先行，API 后测 |
| 编码 | 全程 UTF-8-SIG |
| 权限 | 改权限必须发布上线，否则不生效 |
💡 心得
“爬虫最怕页面变，API 最怕类型错。”
写自动化的过程，其实就是一场和细节的对抗。
代码不复杂，坑才是老师。
✅ 延伸阅读建议：
- 《requests 常见错误与重试机制》
- 《BeautifulSoup 选择器速查表》
- 《飞书 Bitable API 字段类型对照手册》