如何解决loguru库中logger.add()方法导致的日志文件重复写入问题？

问题现象与背景

在使用Python的loguru库进行日志记录时，开发者经常通过logger.add()方法添加日志处理器。一个典型场景是：

from loguru import logger
logger.add("app.log", rotation="10 MB")

当这段代码在模块重载或多进程环境中多次执行时，会导致日志文件出现重复记录，每条消息被写入多次。这种问题在Flask应用、Jupyter Notebook或单元测试场景中尤为常见。

根本原因分析

造成该问题的核心机制包含三个层面：

处理器堆叠：每次调用add()都会在内部_handlers字典中添加新条目
缺乏唯一标识：默认情况下相同配置的处理器会被视为不同实例
生命周期管理：Python模块导入机制可能导致代码重复执行

五种解决方案对比

方法	适用场景	优点	缺点
ID参数法	简单应用	代码改动最小	需维护ID字符串
单例模式	复杂项目	全局控制	增加架构复杂度
装饰器封装	多次调用场景	复用性强	学习曲线较高
环境检测法	多进程环境	自动适应	可靠性依赖检测逻辑
配置中心化	企业级应用	统一管理	需要额外基础设施

1. ID参数解决方案

最直接的解决方案是使用add()方法的filter参数：

logger.add("app.log", rotation="10 MB", filter=lambda record: record["extra"].get("unique_id") == "main")

2. 高级上下文管理方案

对于需要精细控制的场景，可以实现上下文管理器：

from contextlib import contextmanager

@contextmanager
def managed_logger(sink, **kwargs):
    handler_id = logger.add(sink, **kwargs)
    try:
        yield
    finally:
        logger.remove(handler_id)

性能优化建议

使用enqueue=True参数实现异步日志处理
对于高频日志，考虑内存缓冲策略
合理设置rotation和retention参数

多进程环境特殊处理

在多进程环境下需要额外注意：

import multiprocessing

def worker():
    with managed_logger("app.log"):
        logger.info("Process-safe logging")

pool = multiprocessing.Pool()
pool.map(worker, range(5))

最佳实践总结

始终明确处理器的生命周期管理
生产环境添加异常处理逻辑
定期检查日志文件完整性
建立日志监控告警机制