1. 内存不足问题的根源
在使用sentence-transformers库的embed_sentences方法时，内存不足（Out of Memory, OOM）错误通常由以下因素引发：
- 批量大小（batch_size）设置过高：默认批量可能超出GPU显存或系统RAM容量。
- 模型参数量庞大：如BERT-large等模型需占用数GB内存。
- 输入文本长度不均：长文本会触发动态计算图扩展，增加内存压力。
- 未启用FP16混合精度：FP32计算会消耗2倍于FP16的内存。
2. 解决方案与优化策略
2.1 调整批量处理参数
通过分批次处理降低瞬时内存需求：
from sentence_transformers import SentenceTransformer
model = SentenceTransformer('all-MiniLM-L6-v2')
sentences = ["text1", "text2", ...] # 大规模文本列表
# 手动分批处理
batch_size = 32
embeddings = []
for i in range(0, len(sentences), batch_size):
batch = sentences[i:i + batch_size]
embeddings.extend(model.encode(batch))
2.2 启用混合精度计算
通过FP16减少显存占用：
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2', device='cuda')
model.half() # 转换为FP16
2.3 选择轻量级模型
优先选用参数量较小的预训练模型：
| 模型名称 | 参数量 | 内存占用 |
|---|---|---|
| all-MiniLM-L6-v2 | 22M | ~300MB |
| paraphrase-MiniLM-L3-v2 | 17M | ~250MB |
2.4 文本长度截断与填充
统一文本长度避免动态内存分配：
model.encode(sentences, truncate=True, max_length=256)
3. 高级优化技巧
- 使用内存映射文件：通过
numpy.memmap处理超大规模数据集。 - 梯度检查点技术：牺牲部分速度换取内存节省（需修改模型底层）。
- 分布式计算：采用DDP或Horovod框架实现多GPU并行。
4. 监控与诊断工具
实时监控资源使用情况：
# Linux系统监控
nvidia-smi --loop=1 # GPU显存
htop # CPU和内存