530 lines
18 KiB
Markdown
530 lines
18 KiB
Markdown
# 竞品系统数据导出脚本说明文档
|
||
|
||
## 目录说明
|
||
|
||
本目录包含多个竞品系统的数据导出脚本，用于从不同竞品系统中导出客户信息、车辆信息、会员卡信息、历史维修记录等数据。
|
||
|
||
---
|
||
|
||
## 系统列表
|
||
|
||
### 1. i店系统
|
||
- **文件**: `i.py`, `i店.ipynb`, `i店客户车辆导出.ipynb`
|
||
- **功能**:
|
||
- 材料信息导出
|
||
- 客户信息导出
|
||
- 客户车辆信息导出
|
||
- 根据车牌查询fid
|
||
- 根据fid查询卡信息
|
||
- 储值卡信息导出
|
||
- 套餐卡信息导出
|
||
- **接口**: `http://www.idsz.xin:7070/posapi_invoke`
|
||
- **主要API**:
|
||
- `goodscommon_list`: 材料列表
|
||
- `kpi_customerDetailQuery_new`: 客户详情查询
|
||
- `member_customer_query_v1`: 根据车牌查询客户
|
||
- `member_person_query_by_id_v1`: 根据fid查询客户信息
|
||
- `kpi_memberVerifiAndSurplusQuery`: 会员卡信息查询
|
||
|
||
### 2. 京东云修系统
|
||
- **文件**: `京东云修.py`, `京东云修客户信息排序.ipynb`, `京东云修工单子表单.ipynb`, `京东云修系统导出.ipynb`
|
||
- **功能**:
|
||
- 客户信息导出（支持排序）
|
||
- 车辆信息导出
|
||
- 工单信息导出
|
||
- 工单子表单数据导出（服务项目、配件项目）
|
||
- **接口**: `https://www.yunxiu.com`, `https://jch1.yunxiu.com`
|
||
- **特点**:
|
||
- 支持按时间范围查询（可回溯10年）
|
||
- 支持多种排序方式
|
||
- 支持子单数据提取
|
||
|
||
### 3. 优米系统
|
||
- **文件**: `优米系统导出.ipynb`
|
||
- **功能**: 会员卡明细导出
|
||
- **接口**: `https://www.aibiyme.com`
|
||
- **特点**: 需要先导出会员表，之后做处理
|
||
|
||
### 4. 全智通系统
|
||
- **文件**: `全智通系统数据导出.ipynb`
|
||
- **功能**: 数据导出
|
||
|
||
### 5. 华胜云系统
|
||
- **文件**: `华胜云.py`
|
||
- **功能**: 使用Selenium自动化操作导出数据
|
||
- **特点**: 需要登录，使用浏览器自动化
|
||
|
||
### 6. 大唛云系统
|
||
- **文件**: `大唛云.py`, `大唛云历史维修记录.ipynb`, `大唛云管理平台.ipynb`, `新大唛云历史维修记录导出.ipynb`
|
||
- **功能**:
|
||
- 订单明细导出
|
||
- 历史维修记录导出
|
||
- 销售明细导出
|
||
- 库存查询
|
||
- **接口**: `http://rp.chezizhu.com`, `http://sp.chezizhu.com`
|
||
- **特点**:
|
||
- 使用FineReport报表系统
|
||
- 需要提取SessionID
|
||
- 支持订单明细的消费项目拆分
|
||
|
||
### 7. 大大汽修系统
|
||
- **文件**: `大大汽修token登录(1).ipynb`, `大大汽修点击导出(1).ipynb`
|
||
- **功能**:
|
||
- Token登录
|
||
- 导出维修历史单据里程、备注
|
||
- 导出维修历史明细
|
||
- 导出客户车辆信息
|
||
- 导出套餐卡信息
|
||
- **接口**: `https://api-qixiu.dada365.com`
|
||
- **特点**: 使用Token认证，支持批量导出
|
||
|
||
### 8. 好店长系统
|
||
- **文件**: `好店长.ipynb`
|
||
- **功能**:
|
||
- 消费流水导出
|
||
- 剩余套餐导出
|
||
- **接口**: `https://api.365hdz.com`
|
||
- **特点**: 需要配置storeid和authorization
|
||
|
||
### 9. 客户无忧系统
|
||
- **文件**: `客户无忧.ipynb`
|
||
- **功能**: 客户信息导出
|
||
- **接口**: `https://s19.kehu51.com`
|
||
- **特点**: 使用BeautifulSoup解析HTML表格
|
||
|
||
### 10. 客管家系统
|
||
- **文件**: `客管家数据导出(1).ipynb`
|
||
- **功能**:
|
||
- 客户车辆信息导出
|
||
- 储值卡导出
|
||
- 套餐卡导出（注意：不能翻页，需要一页导出）
|
||
- 库存查询
|
||
- 维修历史导出
|
||
- **接口**: `https://apicrm.kgjsoft.com`
|
||
- **特点**: 使用Bearer Token认证
|
||
|
||
### 11. 快修哥系统
|
||
- **文件**: `快修哥脚本.ipynb`
|
||
- **功能**: 客户信息导出
|
||
- **接口**: `http://www.kuaixiuge.com`
|
||
- **特点**: 使用ASP.NET ViewState机制，需要处理分页
|
||
|
||
### 12. 快录系统
|
||
- **文件**: `快录.ipynb`
|
||
- **功能**: 数据导出
|
||
|
||
### 13. 快维系统
|
||
- **文件**: `快维系统导出.ipynb`, `快维辅助程序.ipynb`
|
||
- **功能**: 系统数据导出
|
||
|
||
### 14. 掌上车店系统
|
||
- **文件**: `掌上车店.py`
|
||
- **功能**: 数据导出
|
||
- **接口**: `https://qfy.lycjh.com`
|
||
|
||
### 15. 财神驾到系统
|
||
- **文件**: `接口抓取数据_财神驾到.ipynb`
|
||
- **功能**: 通过接口抓取数据
|
||
|
||
### 16. 普盛系统
|
||
- **文件**: `普盛系统导出.ipynb`
|
||
- **功能**: 会员卡明细导出
|
||
- **接口**: `https://www.600vip.cn`
|
||
- **特点**: 需要先导出会员表，对会员卡号进行处理
|
||
|
||
### 17. 有礼云系统
|
||
- **文件**: `有礼云数据导出.ipynb`
|
||
- **功能**:
|
||
- 车辆信息导出
|
||
- 客户信息导出（含详情）
|
||
- 历史维修记录导出
|
||
- 历史维修记录数据处理（解析PHP序列化数据）
|
||
- **接口**: `https://www.4008778515.com`
|
||
- **特点**:
|
||
- 支持DataTables分页
|
||
- 需要处理PHP序列化的OthersList、PartsList、Carmaintainget字段
|
||
|
||
### 18. 枫车系统
|
||
- **文件**: `枫车系统导出.ipynb`
|
||
- **功能**:
|
||
- 车辆信息导出
|
||
- 会员卡信息导出（储值卡、套餐卡）
|
||
- 历史维修记录导出
|
||
- **接口**: `https://ssapp-api.carisok.com`, `https://cms.carisok.com`
|
||
- **特点**:
|
||
- 使用Token认证
|
||
- 支持重试机制
|
||
- 支持断点续传
|
||
|
||
### 19. 汽服云系统
|
||
- **文件**: `汽服云.py`
|
||
- **功能**: 车辆信息导出
|
||
- **接口**: `https://qfy.lycjh.com/applet.php`
|
||
|
||
### 20. 瀚都系统
|
||
- **文件**: `瀚都系统会员信息导出.ipynb`
|
||
- **功能**: 会员信息导出
|
||
|
||
### 21. 爱车店系统
|
||
- **文件**: `爱车店.ipynb`, `爱车店.py`, `爱车店导出数据处理.py`, `爱车店应收账款数据导出.py`, `爱车店新.ipynb`, `爱车店新版.py`
|
||
- **功能**:
|
||
- 订单数据导出（使用Selenium）
|
||
- 应收账款数据导出
|
||
- 数据拆分处理（服务项目、销售产品、支付记录）
|
||
- **特点**:
|
||
- 使用Selenium自动化浏览器操作
|
||
- 需要登录和选择门店
|
||
- 支持按日期范围查询
|
||
- 数据需要拆分处理
|
||
|
||
### 22. 特价轮胎经销商系统
|
||
- **文件**: `特价轮胎经销商系统.ipynb`, `特价轮胎经销商系统1.ipynb`
|
||
- **功能**: 经销商系统数据导出
|
||
|
||
### 23. 百少侠系统
|
||
- **文件**: `百少侠.ipynb`
|
||
- **功能**: 历史维修记录导出
|
||
- **接口**: `https://erp.byjy168.cn`
|
||
- **特点**: 请求过于频繁会挂掉，需要控制请求频率
|
||
|
||
### 24. 神汽链系统
|
||
- **文件**: `神汽链导出.ipynb`
|
||
- **功能**: 历史维修记录导出
|
||
- **接口**: `https://www.sqzone.com`
|
||
- **特点**: 支持按月范围查询，可回溯多年数据
|
||
|
||
### 25. 程浩美车系统
|
||
- **文件**: `程浩美车数据导出.ipynb`
|
||
- **功能**: 会员卡明细导出
|
||
- **接口**: `http://yqhm.vip5968.com`
|
||
- **特点**: 需要提取CustCardID，然后逐个查询明细
|
||
|
||
### 26. 稻田系统
|
||
- **文件**: `稻田系统导出.ipynb`
|
||
- **功能**:
|
||
- 车辆信息导出
|
||
- 工单信息导出
|
||
- 工单明细导出
|
||
- **接口**: `https://api.shuidao.com`
|
||
- **特点**: 使用Bearer Token认证
|
||
|
||
### 27. 米其林驰加系统
|
||
- **文件**: `米其林驰加系统导出.ipynb`
|
||
- **功能**:
|
||
- 车辆信息导出
|
||
- 历史维修记录列表（结算单）
|
||
- 历史维修记录明细（结算单明细）
|
||
- **接口**: `https://teds.tyreplus.com.cn`
|
||
- **特点**:
|
||
- 支持多门店查询
|
||
- 明细数据分为服务明细、产品明细、支付方式
|
||
|
||
### 28. 美孚（孚创）系统
|
||
- **文件**: `美孚（孚创）导出.ipynb`
|
||
- **功能**:
|
||
- 客户信息导出（含解密手机号）
|
||
- 客户明细导出
|
||
- **接口**: `https://store.fuchuang.com`
|
||
- **特点**: 手机号需要解密
|
||
|
||
### 29. 谷涂（黑谷前身）系统
|
||
- **文件**: `谷涂（黑谷前身）系统数据导出.ipynb`, `谷涂会员卡消费记录导出.py`
|
||
- **功能**:
|
||
- 有效会员卡导出
|
||
- 会员卡消费记录导出
|
||
- **接口**: `http://crm.zhongtukj.com`
|
||
- **特点**: 使用Playwright进行浏览器自动化
|
||
|
||
### 30. 车仆系统
|
||
- **文件**: `车仆.ipynb`
|
||
- **功能**: 数据导出
|
||
|
||
### 31. 车好了系统
|
||
- **文件**: `车好了.ipynb`
|
||
- **功能**: 会员信息导出
|
||
- **接口**: `http://www.chezhanggui.com:92`
|
||
- **特点**: 支持一次性导出大量数据（pageSize=5000）
|
||
|
||
### 32. 车工坊系统
|
||
- **文件**: `车工坊.ipynb`
|
||
- **功能**: 历史维修记录导出
|
||
- **接口**: `https://caremore.saic-gm.com`
|
||
- **特点**:
|
||
- 按30天间隔下载数据
|
||
- 自动下载Excel文件
|
||
- 支持合并多个Excel文件
|
||
|
||
### 33. 车店无忧（车店通）系统
|
||
- **文件**: `车店无忧(车店通)会员卡明细.py`, `车店通.ipynb`
|
||
- **功能**: 会员卡明细导出
|
||
- **接口**: `https://auto.51autoshop.com`, `https://autoexpert.pli-petronas.com.cn`
|
||
- **特点**:
|
||
- 需要提取CustCardID
|
||
- 逐个查询会员卡明细
|
||
- 使用lxml解析HTML
|
||
|
||
### 35. H1车店系统
|
||
- **文件**: `H1车店数据导出.ipynb`, `H1会员卡.py`
|
||
- **功能**:
|
||
- 车辆信息导出
|
||
- 库存信息导出
|
||
- 历史维修记录导出
|
||
- 开单管理数据导出
|
||
- 会员卡信息导出（储值卡、套餐卡等）
|
||
- **接口**: `https://scrm.h1cd.com`
|
||
- **特点**:
|
||
- 使用Cookie认证，需要定期更新
|
||
- HTML表格解析，分页URL模式为 `cards_{page}.html`
|
||
- **数据格式不规范**：导出的原始数据中姓名和手机号可能混在同一字段、操作列包含按钮文本、数值字段含非数字字符等，脚本内置了数据规范化处理（拆分合并列、清理按钮文本、数值标准化、去重等）
|
||
|
||
### 36. 途虎养车系统
|
||
- **文件**: `途虎养车脚本导出.ipynb`
|
||
- **功能**:
|
||
- 客户信息导出
|
||
- 客户手机号解密
|
||
- 历史维修记录导出
|
||
- 供应商信息导出（含图片下载）
|
||
- **接口**: `https://shop-gateway.tuhu.cn`
|
||
- **特点**:
|
||
- 使用Bearer Token认证
|
||
- Token存在过期时间，需要经常更换
|
||
- 支持图片下载和超链接生成
|
||
- 订单号需要正则处理（TH前缀）
|
||
|
||
---
|
||
|
||
## 通用技术栈
|
||
|
||
### 主要使用的库
|
||
- **requests**: HTTP请求
|
||
- **pandas**: 数据处理和Excel导出
|
||
- **selenium**: 浏览器自动化（部分系统）
|
||
- **BeautifulSoup/lxml**: HTML解析
|
||
- **tqdm**: 进度条显示
|
||
- **openpyxl**: Excel文件操作
|
||
- **phpserialize**: PHP序列化数据解析（有礼云系统）
|
||
|
||
### 常见功能模式
|
||
|
||
1. **API接口调用**
|
||
- 大部分系统通过HTTP API获取数据
|
||
- 需要配置cookies、headers、token等认证信息
|
||
- 支持分页查询
|
||
|
||
2. **浏览器自动化**
|
||
- 部分系统使用Selenium或Playwright
|
||
- 需要处理登录、选择门店等操作
|
||
- 适合无法直接调用API的系统
|
||
|
||
3. **数据导出格式**
|
||
- 主要导出为Excel文件（.xlsx）
|
||
- 部分导出为CSV文件
|
||
- 保存路径通常在`文件输出`目录
|
||
|
||
4. **错误处理**
|
||
- 大部分脚本包含重试机制
|
||
- 使用try-except处理异常
|
||
- 记录失败订单/记录
|
||
|
||
---
|
||
|
||
## 使用注意事项
|
||
|
||
### 1. 认证信息
|
||
- **Token/Cookie**: 大部分脚本中的token和cookie会过期，需要定期更新
|
||
- **登录状态**: 使用浏览器自动化的脚本需要保持登录状态
|
||
- **权限**: 确保账号有相应的数据导出权限
|
||
|
||
### 2. 请求频率控制
|
||
- 大部分脚本包含`time.sleep()`延迟，避免请求过于频繁
|
||
- 部分系统（如百少侠）明确标注"请求过于频繁会挂掉"
|
||
- 建议根据实际情况调整延迟时间
|
||
|
||
### 3. 数据量处理
|
||
- 大量数据导出时建议分批处理
|
||
- 部分脚本支持断点续传（如枫车系统）
|
||
- 注意内存占用，及时保存中间结果
|
||
|
||
### 4. 特殊处理
|
||
- **有礼云系统**: 需要解析PHP序列化数据（OthersList、PartsList、Carmaintainget）
|
||
- **爱车店系统**: 数据需要拆分处理（服务项目、销售产品、支付记录）
|
||
- **大唛云系统**: 需要提取SessionID，使用FineReport报表系统
|
||
- **车工坊系统**: 按时间段下载多个Excel文件，需要合并
|
||
|
||
### 5. 文件路径
|
||
- 输出文件路径通常使用绝对路径
|
||
- 注意路径中的反斜杠需要使用原始字符串（r''）或双反斜杠
|
||
|
||
---
|
||
|
||
## 脚本分类
|
||
|
||
### 按技术实现分类
|
||
|
||
#### API接口调用类
|
||
- i店系统
|
||
- 京东云修
|
||
- 优米系统
|
||
- 客管家
|
||
- 有礼云
|
||
- 枫车系统
|
||
- 稻田系统
|
||
- 米其林驰加
|
||
- 美孚（孚创）
|
||
- 车好了
|
||
- 途虎养车
|
||
- 等大部分系统
|
||
|
||
#### 浏览器自动化类
|
||
- 华胜云（Selenium）
|
||
- 大大汽修（部分功能）
|
||
- 爱车店（Selenium）
|
||
- 谷涂系统（Playwright）
|
||
- 车工坊（部分功能）
|
||
|
||
#### HTML解析类
|
||
- 客户无忧（BeautifulSoup）
|
||
- 快修哥（BeautifulSoup + ViewState）
|
||
- 车店无忧（lxml）
|
||
|
||
---
|
||
|
||
## 数据导出类型
|
||
|
||
### 1. 客户信息
|
||
- 客户姓名、手机号、车牌号、车型等基本信息
|
||
- 部分系统支持客户详情导出
|
||
|
||
### 2. 车辆信息
|
||
- 车牌号、品牌、型号、VIN码、里程等
|
||
|
||
### 3. 会员卡信息
|
||
- **储值卡**: 余额、开卡时间、到期时间等
|
||
- **套餐卡**: 套餐内容、剩余次数、使用记录等
|
||
- **会员卡明细**: 消费记录、充值记录等
|
||
|
||
### 4. 历史维修记录
|
||
- 工单基本信息
|
||
- 服务项目明细
|
||
- 配件/产品明细
|
||
- 支付信息
|
||
- 部分系统支持子单数据导出
|
||
|
||
### 5. 其他数据
|
||
- 库存信息
|
||
- 销售明细
|
||
- 供应商信息
|
||
- 材料信息
|
||
|
||
---
|
||
|
||
## 常见问题
|
||
|
||
### 1. Token过期
|
||
**解决方案**: 重新登录获取新的token，更新脚本中的authorization字段
|
||
|
||
### 2. Cookie失效
|
||
**解决方案**: 重新登录获取新的cookie，更新脚本中的cookies字典
|
||
|
||
### 3. 请求失败/超时
|
||
**解决方案**:
|
||
- 增加重试机制
|
||
- 增加请求间隔时间
|
||
- 检查网络连接
|
||
|
||
### 4. 数据不完整
|
||
**解决方案**:
|
||
- 检查分页逻辑是否正确
|
||
- 确认总页数计算
|
||
- 检查数据过滤条件
|
||
|
||
### 5. 编码问题
|
||
**解决方案**:
|
||
- 使用UTF-8编码
|
||
- Excel导出时使用`encoding='utf-8-sig'`（CSV文件）
|
||
|
||
---
|
||
|
||
## 维护建议
|
||
|
||
1. **定期更新认证信息**: Token和Cookie会过期，需要定期更新
|
||
2. **监控脚本运行**: 大量数据导出时注意监控进度和错误
|
||
3. **备份重要数据**: 导出前确认输出路径，避免覆盖重要数据
|
||
4. **版本控制**: 系统更新可能导致脚本失效，需要及时调整
|
||
5. **文档更新**: 系统变更时及时更新脚本和文档
|
||
|
||
---
|
||
|
||
## 文件结构
|
||
|
||
```
|
||
竞品系统数据导出/
|
||
├── i.py # i店系统 - 简单测试脚本
|
||
├── i店.ipynb # i店系统 - 完整导出脚本
|
||
├── i店客户车辆导出.ipynb # i店系统 - 客户车辆导出
|
||
├── 京东云修.py # 京东云修 - Python脚本
|
||
├── 京东云修客户信息排序.ipynb # 京东云修 - 客户信息排序导出
|
||
├── 京东云修工单子表单.ipynb # 京东云修 - 工单子表单导出
|
||
├── 京东云修系统导出.ipynb # 京东云修 - 系统导出
|
||
├── 优米系统导出.ipynb # 优米系统导出
|
||
├── 全智通系统数据导出.ipynb # 全智通系统导出
|
||
├── 华胜云.py # 华胜云系统（Selenium）
|
||
├── 大唛云.py # 大唛云系统
|
||
├── 大唛云历史维修记录.ipynb # 大唛云历史维修记录
|
||
├── 大唛云管理平台.ipynb # 大唛云管理平台
|
||
├── 大大汽修token登录(1).ipynb # 大大汽修Token登录
|
||
├── 大大汽修点击导出(1).ipynb # 大大汽修点击导出
|
||
├── H1车店数据导出.ipynb # H1车店系统 - 车辆/库存/维修记录/会员卡导出
|
||
├── H1会员卡.py # H1车店系统 - 会员卡信息导出（独立脚本）
|
||
├── 好店长.ipynb # 好店长系统
|
||
├── 客户无忧.ipynb # 客户无忧系统
|
||
├── 客管家数据导出(1).ipynb # 客管家数据导出
|
||
├── 快修哥脚本.ipynb # 快修哥脚本
|
||
├── 快录.ipynb # 快录系统
|
||
├── 快维系统导出.ipynb # 快维系统导出
|
||
├── 快维辅助程序.ipynb # 快维辅助程序
|
||
├── 掌上车店.py # 掌上车店系统
|
||
├── 接口抓取数据_财神驾到.ipynb # 财神驾到接口抓取
|
||
├── 新大唛云历史维修记录导出.ipynb # 新大唛云历史维修记录
|
||
├── 普盛系统导出.ipynb # 普盛系统导出
|
||
├── 有礼云数据导出.ipynb # 有礼云数据导出
|
||
├── 枫车系统导出.ipynb # 枫车系统导出
|
||
├── 汽服云.py # 汽服云系统
|
||
├── 测试.ipynb # 测试脚本
|
||
├── 瀚都系统会员信息导出.ipynb # 瀚都系统会员信息
|
||
├── 爱车店.ipynb # 爱车店系统（旧版）
|
||
├── 爱车店.py # 爱车店系统（Python版）
|
||
├── 爱车店导出数据处理.py # 爱车店数据拆分处理
|
||
├── 爱车店应收账款数据导出.py # 爱车店应收账款导出
|
||
├── 爱车店新.ipynb # 爱车店系统（新版）
|
||
├── 爱车店新版.py # 爱车店系统（新版Python）
|
||
├── 特价轮胎经销商系统.ipynb # 特价轮胎经销商系统
|
||
├── 特价轮胎经销商系统1.ipynb # 特价轮胎经销商系统（版本1）
|
||
├── 百少侠.ipynb # 百少侠系统
|
||
├── 神汽链导出.ipynb # 神汽链导出
|
||
├── 程浩美车数据导出.ipynb # 程浩美车数据导出
|
||
├── 稻田系统导出.ipynb # 稻田系统导出
|
||
├── 米其林驰加系统导出.ipynb # 米其林驰加系统导出
|
||
├── 美孚（孚创）导出.ipynb # 美孚（孚创）导出
|
||
├── 谷涂（黑谷前身）系统数据导出.ipynb # 谷涂系统导出
|
||
├── 谷涂会员卡消费记录导出.py # 谷涂会员卡消费记录
|
||
├── 车仆.ipynb # 车仆系统
|
||
├── 车好了.ipynb # 车好了系统
|
||
├── 车工坊.ipynb # 车工坊系统
|
||
├── 车店无忧(车店通)会员卡明细.py # 车店无忧会员卡明细
|
||
├── 车店通.ipynb # 车店通系统
|
||
└── 途虎养车脚本导出.ipynb # 途虎养车脚本导出
|
||
```
|
||
|
||
---
|
||
|
||
## 更新日志
|
||
|
||
- 2025-01-27: 创建说明文档，整理所有脚本功能
|
||
|
||
---
|
||
|
||
## 联系方式
|
||
|
||
如有问题或需要更新脚本，请联系脚本维护人员。
|