总结
在抓数据的时候 尤其是数据多的时候 几百页的上万条数据
先抓主数据列表数据在根据主表抓详情
1.要有日志记录 记录总条数 log日志表
第一页记录总条数写入日志表，确定循环多少次
2.回来的数据入库的时候做好把页数page也带上 万一数据抓取过程中中断的时候接着抓 就没必要抓取全部了
3.详情数据回来改主记录 标记那些抓取过的
4.抓完之后验证！！！！
根据log表的数据 看主记录条数够不够，不够看页数够不够少哪页的数据
详情页一样看条数和主记录能不能对应上
数据抓取的
猜你喜欢
转载自blog.csdn.net/weixin_44180173/article/details/114274655
今日推荐
周排行