采集前置:登录态与环境探测
为什么复用登录态,以及多店隔离的目录约定。
为什么要复用登录态
京东商智、京准通都要求登录,且带风控。两种做法:
| 做法 | 优点 | 缺点 |
|---|---|---|
| 账号密码登录 | 可无人值守 | 需要存密码,触发风控概率高 |
| 复用浏览器登录态 | 不碰密码,与人工操作无异 | 需要本机有一个已登录的浏览器 |
本系统采用第二种。cookie / storage 只在浏览器内存里,不写库、不落盘。
环境探测
下发任务前先跑一次探测,确认:
- 采集服务在线(本地控制台可访问)
- 浏览器扩展已连接
- 目标站点会话有效(打开商智首页不跳登录页)
探测不通过就不要下发批量任务,否则会拿到一堆空文件。
多店隔离
十几个店铺不要共用一个浏览器 Profile:
- 每个店铺一个浏览器 Profile
- 每个 Profile 各装一次扩展(扩展按 Profile 隔离,不共享)
- 采集任务里带上店铺标识,落盘时按店铺分目录
采集目录约定
data/<店铺>/<采集源>/<日期>/<文件>.xlsx
按店铺分目录的好处是:一个店铺的登录态失效,不会污染其他店铺的归档。