爬某网站数据

写爬虫爬点东西，最开始单个网页都要20多秒，中途有几次突然速度很快，单个网页0.5秒，然后我扩大爬的范围的时候，访问太频繁被封了，隔了会儿去爬，又变回20s每个页面，线程池，协程都不管用，如果说是网速的问题，但直接在web上打开网址速度是很快的，

有大佬能给点建议嘛

2024-11-22 13:23广告

所以我现在都是用drissionpage下小说

爬虫都有反爬虫机制的，所以正确的方法就是web自动化，多线程和协程只有爬图片的小网站或者爬视频才用。

试试webdriver？直接web自动化。

下载贴吧APP
看高清直播、视频！

分享到: