传统拷贝跟零拷贝技术流程

传统的拷贝过程可以总结如下：

• 应用调用read函数，向操作系统发起IO调用，上下文从用户态切换到内核态
• DMA 控制器将数据从磁盘读取到内核缓冲区
• CPU读取内核缓冲区并将数据复制到用户应用程序缓冲区，上下文从内核态切换到用户态，read函数返回
• 用户应用进程通过write函数发起IO调用，上下文从用户态切换到内核态
  ，将数据拷贝到socket缓冲区
• DMA控制器将数据从socket缓冲区复制到网卡设备，上下文从内核态切换到用户态，此时write函数返回

传统的拷贝机制通常有 4 个上下文切换，4 个拷贝数据（两个 CPU 拷贝和两个 DMA 拷贝）。

零拷贝技术的流程如下：

• 用户进程发起sendfile系统调用，上下文从用户态切换到内核态
• DMA 控制器将数据从硬盘复制到内核缓冲区
• CPU 将读缓冲区中的数据复制到套接字缓冲区
• DMA 控制器将数据从套接字缓冲区异步复制到网卡
• 上下文从内核模式切换到用户模式，并且 sendfile 函数返回

sendfile 实现的零拷贝只有 2 个上下文切换和 3 个拷贝（2 个 DMA 拷贝 + 1 个 CPU 拷贝）。

Python 实现文件零拷贝

我们先实现一个简单的文件接收服务器（zerocopy_server.py）：

import socket
import hashlib
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM) 
server_port = 8082 
server_addr = ("0.0.0.0", server_port) 
print(f"Start server on port {server_port}") 
sock.bind(server_addr) 
sock.listen(1)
while True:
    print("Waiting for connection") 
    connection, client_addr = sock.accept() 
    size = 0 
    try: 
        i = 0 
        while True: 
            data = connection.recv(65536) 
            i += 1 
            if data: 
                size += len(data)
            else: 
                print("完成接收数据") 
                break 
        print(f"总大小: {size}") 
    finally: 
        connection.close()

• 传统拷贝客户端

import socket
import time

sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_port = 8082
server_address = ('127.0.0.1', server_port)
sock.connect(server_address)

start = time.time()
try:
    with open(r'test.tar.gz', 'rb') as f:
        message = f.read()
        sock.sendall(message)
finally:
    sock.close()

end = time.time()
print('总时间: ', end-start)

运行一下传统拷贝客户端的代码看看。

• 零拷贝客户端

import os
import socket
import time
sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
server_port = 8082
server_address = ("127.0.0.1", server_port)
sock.connect(server_address)
start = time.time()
try:
    with open(r"test.tar.gz", "rb") as f:
        ret = 0
        offset = 0
        while True:
            ret = os.sendfile(sock.fileno(), f.fileno(), offset,65535)
            offset += ret
            if ret == 0:
                break
finally:
    sock.close()
end = time.time()
print("Total time: ", end - start)

运行一下零拷贝客户端的代码看看。

结论

对比结果可以看到，本地传输一个1.2GB 的文件，零拷贝只需要 0.16 秒，而传统拷贝需要 0.51 秒。

客户端使用零拷贝技术所消耗的传输时间比传统拷贝方式要快。由于是本地测试，所以没有物理网卡。如果是通过网卡，总的传输时间会受到网卡传输速度的限制。