|
|
5acb847bc1
|
优化爬虫:增量爬取、API参数优化、Excel兼容
主要变更:
1. 重命名 ygp_crawler.py -> main.py
2. API参数优化:
- tradingProcess 固定传 "513,2C52,3C52" 精准筛选中标结果
- pageSize 固定为 50 提高抓取效率
- 通过 publishStartTime/publishEndTime 传入时间范围
3. 默认查询最近3个月(原为当天)
4. 增量爬取改为默认开启(移除 -i 参数)
5. CSV文件添加 UTF-8 BOM,Excel可直接打开
6. 更新 README.md 文档
7. 添加前端 JS 代码参考文件到 assets/ 目录
使用方法:
- 增量更新:python main.py
- 全量查询:rm results.csv && python main.py
Co-Authored-By: Claude Sonnet 4.5 <noreply@anthropic.com>
|
2026-02-05 00:37:07 +08:00 |
|