|
小的最近一直在准备比赛，不断地在各大招聘网站上薅羊毛，然而现在爬虫很不受待见啊，想爬得快一点就会被封。(+_+)? 最尴尬的是，我在爬赶集网上的招聘信息的时候，爬上150条一定会把我封掉，每次都是这个数字 真是丧心病狂的设定(╯‵□′)╯︵┻━┻ 被逼无奈，只能临时先搭建一个简陋的ip池这样子，才能维持的了生活。ε=ε=ε=(~￣▽￣)~ 首先我们找一家ip代理网站来薅羊毛（注意不要爬太多了，大家都是要吃饭的嘛，做人留一面，日♂后好相见(・∀・(・∀・(・∀・*)，这是俺最近被别人告♂诫的） 国内高匿免费HTTP代理IP__第1页国内高匿www.xicidaili.com 爬取ip地址，端口和类型三个就行了 用selenium比较方便和直观U•ェ•*U 思路 1.我们先把爬取到的ip保存下来，然后在挨个验证是否可用 2.把验证完可用的IP存入数据库 3.在scrapy 中使用代理ip 上代码 from selenium import webdriverimport timefrom ip_test.__init__ import *import pymysqlimport randomimport requestsfrom multipro...
 内容已隐藏,请关注公众号输入验证码查看
本帖支持关注公众号查看
【无套路 无套路 无套路 扫描二维码关注公众号发送【验证码】收到验证码 在上面输入点击提交查看即可显示隐藏内容】
| 
发表于 2019-10-30 01:05:54
发表于 2019-10-30 01:05:58