搭建代理服务器（爬虫神技 ）

什么是隧道代理？我们来看下面这张截图：

所谓隧道代理，就是一个能帮你自动更换代理 IP 的代理服务。在你的代码里面，你只需要把一个入口代理地址写死，然后正常发起请求，而目标服务器接收到的请求，每一次都是不同的代理地址。

在某代理网站上，隧道代理50并发每秒的价格是4000元/月：

而常规的，先请求接口拿到一批代理 IP，再选一个发起请求的原始代理服务器，一个月价格才600多元：

所以，如果我们能自己做一个隧道代理，将会省下很多钱！

隧道代理的原理，跟常规代理的不同之处，用下面这两张图就能说清楚：

传统代理服务

隧道代理

要自己开发一个这样的隧道代理，我们需要做两步：

构建代理池

假设你从代理供应商手上买到的便宜代理地址为：http://xxx.com/ips，直接在浏览器上面请求，页面效果如下图所示：

现在，你需要做的就是写一个程序，周期性访问这个url，拉取当前最新可用的IP地址，然后把它放到Redis中。

这里，我们使用Redis的Hash这个数据结构，其中Hash的字段名就是IP:端口，里面的值就是跟每个IP相关的一些信息。

你这个程序需要确保，当前在Redis里面的代理地址，全部都是可用的。这里，我给出了一个示例程序：

""" ProxyManager.py ~~~~~~~~~~~~~~~~~~~~~ 简易代理池管理工具，直接从URL中读取所有 最新的代理，并写入Redis。 """ import yaml import time import json import redis import datetime import requests class ProxyManager: def __init__(self): self.config = self.read_config() self.redis_config = self.config['redis'] self.client = redis.Redis(host=self.redis_config['host'], password=self.redis_config['password'], port=self.redis_config['port']) self.instance_dict = {} def read_config(self): with open('config.yaml') as f: config = yaml.safe_load(f.read()) return config def read_ip(self): resp = requests.get(self.config['proxy']).text if '{' in resp: return [] proxy_list = resp.split() return proxy_list def delete_ip(self, live_ips, pool_ips): ip_to_removed = set(pool_ips) - set(live_ips) if ip_to_removed: print('ip to be removed:', ip_to_removed) self.client.hdel(self.redis_config['key'], *list(ip_to_removed)) def add_new_ips(self, live_ips, pool_ips): ip_to_add = set(live_ips) - set(pool_ips) if ip_to_add: print('ip to add:', ip_to_add) ips = {} for ip in ip_to_add: ips[ip] = json.dumps({'private_ip': ip, 'ts': datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')}) self.client.hset(self.redis_config['key'], mapping=ips) def run(self): while True: live_ips = self.read_ip() pool_ips = [x.decode() for x in self.client.hgetall(self.redis_config['key'])] self.delete_ip(live_ips, pool_ips) self.add_new_ips(live_ips, pool_ips) time.sleep(40) if __name__ == '__main__': manager = ProxyManager() manager.run()

其中，我把Redis相关的配置、代理供应商的URL写到了一个yaml配置文件中，防止被你们看到。配置文件的格式如下图所示：

由于我这个代理供应商提供的IP，有效期是1-5分钟，所以保险起见，我每40秒更换一次IP。更换的时候，采用了增量更换的方式。把当前拉取的IP和Redis里面的已有IP进行对比。不在这次拉取的IP全部从Redis移除，然后把新增的IP加到Redis中。

大家在实际过程中，还可以加一些代理校验的逻辑，确保从URL拉下来的代理也进行有效性检查，发现无效的立刻移除。

实现自动转发

要实现自动转发，我们可以使用OpenResty[1]。这是一个基于Nginx和Lua实现的高性能Web平台。通过它，我们可以使用Lua语言实现一些逻辑，例如从Redis读取数据，把来源请求转发到上游代理服务器……

因此，我们使用OpenResty搭建一个转发服务。并把这个转发服务所在服务器的IP地址作为我们的入口IP地址。在使用Requests等等网络请求客户端发送请求的时候，只需要把这个入口IP地址设置为代理。那么，当客户端发送请求的时候，请求首先到了OpenResty。然后它从Redis中随机选一个代理IP来作为上游代理，并把刚刚发来的请求转发到上游代理。从而实现隧道代理的效果。

Lua是一门非常老的语言，它的语法不少地方跟Python不太一样。不过你不用担心，这个配置文件我已经写好了。大家拿过来改一改就能用。

对应的配置文件如下图所示：

worker_processes 16; #nginx worker 数量 error_log /usr/local/openresty/nginx/logs/error.log; #指定错误日志文件路径 events { worker_connections 1024; } stream { ## TCP 代理日志格式定义 log_format tcp_proxy '$remote_addr [$time_local] ' '$protocol $status $bytes_sent $bytes_received ' '$session_time "$upstream_addr" ' '"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"'; ## TCP 代理日志配置 access_log /usr/local/openresty/nginx/logs/access.log tcp_proxy; open_log_file_cache off; ## TCP 代理配置 upstream backend{ server 127.0.0.2:1101;# 爱写啥写啥 反正下面的代码也给你改了 balancer_by_lua_block { -- 初始化balancer local balancer = require "ngx.balancer" local host = "" local port = 0 host = ngx.ctx.proxy_host port = ngx.ctx.proxy_port -- 设置 balancer local ok, err = balancer.set_current_peer(host, port) if not ok then ngx.log(ngx.ERR, "failed to set the peer: ", err) end } } server { preread_by_lua_block{ local redis = require("resty.redis") --创建实例 local redis_instance = redis:new() --设置超时（毫秒） redis_instance:set_timeout(3000) --建立连接，请在这里配置Redis 的 IP 地址、端口号、密码和用到的 Key local rhost = "123.45.67.89" local rport = 6739 local rpass = "abcdefg" local rkey = "proxy:pool" local ok, err = redis_instance:connect(rhost, rport) ngx.log(ngx.ERR, "1111111 ", ok, " ", err) -- 如果没有密码，移除下面这一行 local res, err = redis_instance:auth(rpass) local res, err = redis_instance:hkeys(rkey) if not res then ngx.log(ngx.ERR,"res num error : ", err) return redis_instance:close() end math.randomseed(tostring(ngx.now()):reverse():sub(1, 6)) local proxy = res[math.random(#res)] local colon_index = string.find(proxy, ":") local proxy_ip = string.sub(proxy, 1, colon_index - 1) local proxy_port = string.sub(proxy, colon_index + 1) ngx.log(ngx.ERR,"redis data = ", proxy_ip, ":", proxy_port); ngx.ctx.proxy_host = proxy_ip ngx.ctx.proxy_port = proxy_port redis_instance:close() } # 下面是本机的端口，也就是爬虫固定写死的端口 listen 0.0.0.0:9976; #监听本机地址和端口，当使用keeplived的情况下使用keeplived VIP proxy_connect_timeout 3s; proxy_timeout 10s; proxy_pass backend; #这里填写对端的地址 } }

需要修改的地方，我在配置文件里面已经做好的注释。具体而言，需要修改地方包含：

设置好了这些配置以后，我们就可以使用Docker来启动它。Docker的配置文件极其简单：

from openresty/openresty:centos copy nginx_redis.conf /usr/local/openresty/nginx/conf/nginx.conf

然后，执行命令构建和运行：

docker build --network host -t tunnel_proxy:0.01 . docker run --name tunnel_proxy --network host -it tunnel_proxy:0.01

运行以后，你会看到Docker的命令行似乎卡住了。这是正常请求。因为需要你有了请求，它才会输出内容。

现在，你可以用Requests赶快写一段代码来进行验证：

import requests import time proxies = {'http': 'http://13.88.220.207:9976'} for _ in range(10): resp = requests.get('http://httpbin.org/ip', proxies=proxies).text print(resp) time.sleep(1)

运行效果如下图所示。

说明隧道代理搭建成功。目前隧道代理我已经稳定运行了半年，从来没有出过问题，大家可以放心使用。

参考资料

[1]

OpenResty: https://openresty.org/cn/