很多网站都有反爬措施，最常见的就是封ip，请求次数过多服务器会拒绝连接，如图；
在程序中设置一个代理ip，可有效的解决这种问题，代码如下；
# 需要的库import requestsimport refrom multiprocessing import Pool# 设置代理ipproxy = {'https':'111.231.140.109:8888'}# 请求头headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'}# 主函数def get_character(url):# 请求网页，里面加入代理ipresponse = requests.get(url,headers,proxies=proxy)# 正则提取内容（作者昵称，内容，好笑数量，评论数量）data = re.findall('<h2>(.*?)</h2>.*?<div class="content">.*?<span>(.*?)</span>.*?</div>.*?<span class="stats-vote">.*?' '<i class="number">(.*?)</i>(.*?)</span>.*?<i class="number">(.*?)</i>(.*?)</a>',response.text,re.S)# 遍历获取到的数据for i in data:# 以追加方式写入当前文件加下的qiubai.txtwith open('qiubai.txt','a+',encoding='utf8') as f:# 转换为字符串格式，去空格，替换掉多余内容每条内容加换行f.write(str(i).strip().replace(r'n','')+'n')# 控制台打印查看爬取过程print(str(i).strip().replace(r'n','')+'n')# 程序入口if __name__ == '__main__':# 构造所有urlurls = ['https://www.qiushibaike.com/text/page/{}/'.format(i) for i in range(1,14)]# 开启多进程pool = Pool()# 启动程序 pool.map(get_character,urls)print('爬取完毕')
控制台输出；
打开文件夹查看是否下载成功；
0% (0)
0% (0)