使用Python websockets库send方法发送大文件时如何避免内存溢出？

更新时间 2025-11-07

问题现象与根本原因

当开发者使用websockets.send()方法传输超过100MB的大文件时，经常遇到MemoryError异常。这是由于websocket协议默认尝试将整个消息体加载到内存中进行发送，当文件尺寸超过可用内存时就会崩溃。

WebSocket协议的消息分帧机制（Message Fragmentation）原本支持数据分块传输，但Python的websockets库实现中：

async with aiofiles.open('large_file.bin', 'rb') as f:
    while chunk := await f.read(8192):
        await websocket.send(chunk)

优点：内存占用恒定
缺点：需要自定义消息边界协议

async with websockets.connect(
    uri, compression="deflate"
) as websocket:

可减少40-70%传输量，但会增加CPU负载

通过tempfile.SpooledTemporaryFile实现磁盘缓冲：

with SpooledTemporaryFile(max_size=10*1024*1024) as temp:
    temp.write(file_data)
    temp.seek(0)
    await websocket.send(temp.read())

修改SO_SNDBUF套接字选项：

sock = websocket.ws_client.socket
sock.setsockopt(socket.SOL_SOCKET, socket.SO_SNDBUF, 65536)

实现基于RFC 6455的扩展协议，添加：