ip代理
爬虫去爬取网站数据的数据的时候,如果单位时间内爬取频次过高,或者其他的原因,被对方识别出来,ip可能会被封禁。这种情况下,通过使用代理ip来解决,作为反爬的策略。
ip代理匿名度:
1.透明的:
服务器知道了你使用代理ip,也知道你真实的ip
2.匿名代理:
知道使用了代理ip,不知道真实的ip
3.高匿代理:
不知道使用了代理ip,也不知道真实的ip(最好的选择)
查看ip 的方法:
1.在cmd输入命令行:
ipconfig(内网的ip——私有的地址)
2.浏览器访问:
ipip.net (外网,上网的ip)
如果设置代理ip,可以通过httpbin.org/ip来查看。不设置代理ip查看则显示我们的真实ip。即上边的外网ip,上网的ip。
代理可以从快代理或豌豆代理处付费获得。(也有可以免费试用的的几个)
查看我们的真实ip的代码:
1| import requests
2| url = "http://httpbin.org/ip"
3| res = requests.get(url)
4| print(res.text)
输出结果显示真实ip。
设置ip代理:
1| # 设置一个代理ip,以字典形式呈现,代理ip写在字典值中
2| proxy = {
3| 'http': 'xxx.xx.xxx.xxx:xxxx'
4| }
5| res = requests.get(url, proxies=proxy)
6| print(res.text)
输出结果显示设置的代理ip。
选出5个ip为例,从中随机选择一个试用,选5次,且出现异常时避免报错。时间间隔设置为1。
1| '''
2| 36.6.149.154:xxx
3| 114.233.125.55:xxxxx
4| 117.26.229.24:xxx
5| 122.241.27.24:xxxxx
6| 61.132.171.215:xxx
7| '''
8| import random
9|ips=[('36.6.149.154:xxx'),('114.233.125.55:xxxxx'),('117.26.229.24:xxx'),('122.241.27.24:xxxxx'),('61.132.171.215:xxx'),]
10| url = 'http://httpbin.org/ip'
11| for i in range(5):
12| try:
13| ip = random.choice(ips)
14| res = requests.get(url, proxies={'http':ip}, timeout=1)
15| print(res.text)
16| except Exception as e:
17| print('出现异常', e)
本文来源转载
原文链接:python爬虫代理ip_爬虫ip下载-CSDN博客