与c相比,python中的套接字编程(Socket)非常用户友好。程序员不必担心有关套接字的详细信息。在python中,用户有更多机会专注于应用程序层而不是网络层。在本教程中,我们将开发一个能够处理HTTP流量的简单多线程代理服务器。它将主要基于基本的套接字编程思想。
这是代理服务器的简单实现。在接下来的教程中,我们将逐步将其开发为一个非常有用的服务器。
首先,我们将通过3个简单的步骤来完成该过程
1. 创建一个传入套接字(socket)
我们在服务器类的__init__方法中创建一个套接字serverSocket。这将为传入的连接创建一个套接字。然后,我们绑定套接字,然后等待客户端连接。
def __init__(self, config): # Shutdown on Ctrl+C signal.signal(signal.SIGINT, self.shutdown) # Create a TCP socket self.serverSocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM) # Re-use the socket self.serverSocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) # bind the socket to a public host, and a port self.serverSocket.bind((config[HOST_NAME], config[BIND_PORT])) self.serverSocket.listen(10) # become a server socket self.__clients = {}2. 接受客户端连接和处理
这是所有步骤中最简单但最重要的步骤。 我们等待客户的连接请求,一旦建立成功连接,我们就将请求分派到一个单独的线程中,使自己可用于下一个请求。 这使我们可以同时处理多个请求,从而将服务器的性能提高了数倍。
while True: # Establish the connection (clientSocket, client_address) = self.serverSocket.accept() d = threading.Thread(name=self._getClientName(client_address), target = self.proxy_thread, args=(clientSocket, client_address)) d.setDaemon(True) d.start()3. 重定向流量
代理服务器的主要功能是充当源和目标之间的中介。在这里,我们将从源中获取数据,然后将其传递给客户端。
1)首先,我们从接收到的请求数据中提取URL。
# get the request from browser request = conn.recv(config[MAX_REQUEST_LEN]) # parse the first line first_line = request.split(\n)[0] # get url url = first_line.split( )[1]2)然后,我们找到请求的目标地址。地址是(destination_ip_address,destination_port_no)的元组。我们将从该地址接收数据。
http_pos = url.find("://") # find pos of :// if (http_pos==-1): temp = url else: temp = url[(http_pos+3):] # get the rest of url port_pos = temp.find(":") # find the port pos (if any) # find end of web server webserver_pos = temp.find("/") if webserver_pos == -1: webserver_pos = len(temp) webserver = "" port = -1 if (port_pos==-1 or webserver_pos < port_pos): # default port port = 80 webserver = temp[:webserver_pos] else: # specific port port = int((temp[(port_pos+1):])[:webserver_pos-port_pos-1]) webserver = temp[:port_pos]3)现在,我们设置到目标服务器(或远程服务器)的新连接,然后将原始请求的副本发送到服务器。然后,服务器将用一个响应来响应。所有响应消息都使用RFC 822的通用消息格式。
s = socket.socket(socket.AF_INET, socket.SOCK_STREAM) s.settimeout(config[CONNECTION_TIMEOUT]) s.connect((webserver, port)) s.sendall(request)4)然后,我们将服务器的响应重定向到客户端。conn是与客户端的原始连接。 该响应可能大于我们在一个调用中收到的MAX_REQUEST_LEN,因此,空响应表示响应结束。
while 1: # receive data from web server data = s.recv(config[MAX_REQUEST_LEN]) if (len(data) > 0): conn.send(data) # send to browser/client else: break然后,我们适当地关闭服务器连接并进行错误处理,以确保服务器按预期工作。
如何测试服务器?
1. 在终端上运行服务器。 使其保持运行并切换到您喜欢的浏览器。
2. 转到浏览器的代理设置,然后将代理服务器更改为“ localhost”,并将端口更改为“12345”。
3. 现在打开任何HTTP网站(非HTTPS),您应该能够访问浏览器上的内容。
服务器运行后,我们可以监视到客户端的请求。我们可以使用这些数据来监视正在运行的内容,也可以基于该内容开发统计信息。
我们甚至可以限制对网站的访问或将IP地址列入黑名单。在接下来的教程中,我们将在代理服务器中添加以下功能。
1. 添加域名黑名单
比如google.com,facebook.com。在我们的配置指令中创建一个黑名单域列表。现在,只需忽略/删除收到的黑名单域请求。(理想情况下,我们必须以禁止的回应来回应。)
# Check if the host:port is blacklisted for i in range(0, len(config[BLACKLIST_DOMAINS])): if config[BLACKLIST_DOMAINS][i] in url: conn.close() return2. 添加主机阻止
假设您可能需要允许来自特定子网的连接或特定人的连接。要添加此内容,请创建所有允许的主机的列表。由于主机也可以是子网,因此添加正则表达式以匹配IP地址,尤其是IPV4地址。“ IPv4地址以点十进制表示法规范表示,该点由四个十进制数字组成,每个数字的范围从0到255,由点分隔,例如172.16.254.1。每个部分代表一组8位(八位字节)的地址。”