#爬取时

scrapy 爬取时很多重复 及日志输出

日志输出参考:https://blog.csdn.net/weixin_41666747/article/details/82716688 首先item要设置循环外第二,request要设置下dont_filter=true ,告诉爬取不要拒绝最后一步,返回用yielditem ...