[python] 역 추적 로그 예외

내 직업은 최근 응용 프로그램에서 모든 역 추적 / 예외를 기록하는 작업을 맡았습니다. 위와 같은 다른 사람들이 온라인에 게시 한 수많은 기술을 시도했지만 다른 방법으로 해결했습니다. 재정의 traceback.print_exception.

나는 http://www.bbarrows.com/에 글을 썼다. 훨씬 더 읽기 쉽지만 여기에 붙여 넣을 것이다.

우리 소프트웨어가 야생에서 발생할 수있는 모든 예외를 기록하는 작업을 할 때 파이썬 예외 추적을 기록하기 위해 여러 가지 다른 기술을 시도했습니다. 처음에는 파이썬 시스템 예외 후크, sys.excepthook이 로깅 코드를 삽입하기에 완벽한 장소라고 생각했습니다. 나는 비슷한 것을 시도하고 있었다 :

import traceback
import StringIO
import logging
import os, sys

def my_excepthook(excType, excValue, traceback, logger=logger):
    logger.error("Logging an uncaught exception",
                 exc_info=(excType, excValue, traceback))

sys.excepthook = my_excepthook  

이것은 메인 스레드에서 작동했지만 곧 내 sys.excepthook이 프로세스가 시작한 새 스레드에 존재하지 않는다는 것을 알았습니다. 대부분의 모든 것이이 프로젝트의 스레드에서 발생하기 때문에 이것은 큰 문제입니다.

인터넷 검색 및 많은 문서를 읽은 후 가장 유용한 정보는 Python Issue tracker에서 얻은 것입니다.

스레드의 첫 번째 게시물은 스레드 sys.excepthook간에 NOT 지속 의 실제 예를 보여줍니다 (아래 참조). 분명히 이것은 예상 된 동작입니다.

import sys, threading

def log_exception(*args):
    print 'got exception %s' % (args,)
sys.excepthook = log_exception

def foo():
    a = 1 / 0

threading.Thread(target=foo).start()

이 Python Issue 스레드의 메시지는 실제로 2 개의 제안 된 핵을 생성합니다. Thread예외를 잡아서 기록하기 위해 서브 클래스 와 run 메소드를 자체 try except 블록으로 랩핑하거나 예외를 차단하고 예외를 로그하기 위해 원숭이 패치 threading.Thread.run를 시도하십시오.

서브 클래 싱의 첫 번째 방법은 Thread사용자 정의 Thread클래스 를 가져오고 사용해야 할 때마다 로깅 스레드를 원했기 때문에 코드에서 우아하지 않은 것 같습니다 . 전체 코드베이스를 검색하고 모든 노멀 Threads을이 커스텀으로 바꿔야했기 때문에 이것은 번거 로움이되었습니다 Thread. 그러나 이것이 무엇 Thread을하고 있는지는 분명 했으며 사용자 지정 로깅 코드에 문제가있는 경우 누군가 진단하고 디버그하기가 더 쉬울 것입니다. 사용자 정의 로깅 스레드는 다음과 같습니다.

class TracebackLoggingThread(threading.Thread):
    def run(self):
        try:
            super(TracebackLoggingThread, self).run()
        except (KeyboardInterrupt, SystemExit):
            raise
        except Exception, e:
            logger = logging.getLogger('')
            logger.exception("Logging an uncaught exception")

원숭이 패치의 두 번째 방법은 threading.Thread.run바로 한 번만 실행하고 __main__모든 예외에서 로깅 코드를 계측 할 수 있기 때문에 좋습니다 . Monkey patching은 무언가의 예상되는 기능을 변경함에 따라 디버깅하기가 성 가실 수 있습니다. 파이썬 이슈 트래커에서 제안 된 패치는 다음과 같습니다.

def installThreadExcepthook():
    """
    Workaround for sys.excepthook thread bug
    From
http://spyced.blogspot.com/2007/06/workaround-for-sysexcepthook-bug.html

(https://sourceforge.net/tracker/?func=detail&atid=105470&aid=1230540&group_id=5470).
    Call once from __main__ before creating any threads.
    If using psyco, call psyco.cannotcompile(threading.Thread.run)
    since this replaces a new-style class method.
    """
    init_old = threading.Thread.__init__
    def init(self, *args, **kwargs):
        init_old(self, *args, **kwargs)
        run_old = self.run
        def run_with_except_hook(*args, **kw):
            try:
                run_old(*args, **kw)
            except (KeyboardInterrupt, SystemExit):
                raise
            except:
                sys.excepthook(*sys.exc_info())
        self.run = run_with_except_hook
    threading.Thread.__init__ = init

예외 로깅 테스트를 시작하기 전까지는 모든 것이 잘못되었다는 것을 깨달았습니다.

테스트하기 위해

raise Exception("Test")

내 코드 어딘가에. 그러나이 메소드를 호출 한 메소드는 랩백을 인쇄하고 예외를 삼킨 블록을 제외하고 시도했습니다. 역 추적 가져 오기가 STDOUT에 인쇄되었지만 기록되지 않았기 때문에 매우 실망 스럽습니다. 그런 다음 트레이스 백을 기록하는 훨씬 쉬운 방법은 모든 파이썬 코드가 트레이스 백 자체를 인쇄하는 데 사용하는 방법 인 traceback.print_exception을 원숭이 패치하는 것입니다. 나는 다음과 비슷한 결과를 얻었습니다.

def add_custom_print_exception():
    old_print_exception = traceback.print_exception
    def custom_print_exception(etype, value, tb, limit=None, file=None):
        tb_output = StringIO.StringIO()
        traceback.print_tb(tb, limit, tb_output)
        logger = logging.getLogger('customLogger')
        logger.error(tb_output.getvalue())
        tb_output.close()
        old_print_exception(etype, value, tb, limit=None, file=None)
    traceback.print_exception = custom_print_exception

이 코드는 트레이스 백을 문자열 버퍼에 기록하고 ERROR 로깅에 기록합니다. 사용자 지정 로깅 처리기가 오류 수준 로그를 가져 와서 분석을 위해 집으로 보내는 ‘customLogger’로거를 설정했습니다.

답변

import sys
import logging

logging.basicConfig(filename='/tmp/foobar.log')

def exception_hook(exc_type, exc_value, exc_traceback):
    logging.error(
        "Uncaught exception",
        exc_info=(exc_type, exc_value, exc_traceback)
    )

sys.excepthook = exception_hook

raise Exception('Boom')

./test.py 2>> mylog.log

./test.py &> mylog.log

import sys
import traceback

exc_type, exc_value, exc_traceback = sys.exc_info()
traceback_in_var = traceback.format_tb(exc_traceback)

# test_app.py
import sys
import logging

logging.basicConfig(level="DEBUG")

def do_something():
    raise ValueError(":(")

try:
    do_something()
except Exception:
    logging.debug("Something went wrong", exc_info=sys.exc_info())

DEBUG:root:Something went wrong
Traceback (most recent call last):
  File "test_app.py", line 10, in <module>
    do_something()
  File "test_app.py", line 7, in do_something
    raise ValueError(":(")
ValueError: :(

logging.debug("Something went wrong", exc_info=True)