电脑模拟器吧 关注:245贴子:284
  • 0回复贴,共1

小白入门级:如何使用HTTP代理ip躲避反爬虫限制?

只看楼主收藏回复

使用爬虫不可避免的就会遇到网站的各种封ip操作,因此就需要我们找寻代理,通过代理进行操作,屏蔽自己真实ip。
结果,绝大部分都是不可用的,少量能用上:在使用HTTP代理时,一定要选择高匿名、可用率高的付费代理ip,免费送10000个IP测试:http://t.cn/A6cl9CLG
改成多进程,本来想将多进程的函数也写进类里面,但是不知道怎么回事main函数调用就没反应了,无奈只能在class之外重写了一个check_ip函数


1楼2021-06-10 17:19回复