네트워크 프로토콜 디버깅을위한 스크립트 또는 애플리케이션의 하위 시스템이있는 경우 효과적인 URL, 헤더, 페이로드 및 상태를 포함하여 정확히 어떤 요청-응답 쌍인지 확인하는 것이 좋습니다. 그리고 일반적으로 모든 곳에서 개별 요청을 구성하는 것은 비현실적입니다. 동시에 단일 (또는 소수의 전문화) 사용을 제안하는 성능 고려 사항이 requests.Session있으므로 다음은 제안 사항 을 따른 다고 가정합니다 .

requests소위 이벤트 후크를 지원합니다 (2.23부터 실제로 response후크 만 있음 ). 기본적으로 이벤트 리스너이며에서 제어를 반환하기 전에 이벤트가 발생 requests.request합니다. 이 시점에서 요청과 응답이 모두 완전히 정의되었으므로 기록 할 수 있습니다.

import logging

import requests


logger = logging.getLogger('httplogger')

def logRoundtrip(response, *args, **kwargs):
    extra = {'req': response.request, 'res': response}
    logger.debug('HTTP roundtrip', extra=extra)

session = requests.Session()
session.hooks['response'].append(logRoundtrip)

기본적으로 세션의 모든 HTTP 왕복을 기록하는 방법입니다.

HTTP 왕복 로그 레코드 형식 지정

위의 로깅이 유용하려면 로깅 레코드 를 이해 하고 추가 하는 특수 로깅 포맷터 가 있을 수 있습니다 . 다음과 같이 보일 수 있습니다.reqres

import textwrap

class HttpFormatter(logging.Formatter):

    def _formatHeaders(self, d):
        return '\n'.join(f'{k}: {v}' for k, v in d.items())

    def formatMessage(self, record):
        result = super().formatMessage(record)
        if record.name == 'httplogger':
            result += textwrap.dedent('''
                ---------------- request ----------------
                {req.method} {req.url}
                {reqhdrs}

                {req.body}
                ---------------- response ----------------
                {res.status_code} {res.reason} {res.url}
                {reshdrs}

                {res.text}
            ''').format(
                req=record.req,
                res=record.res,
                reqhdrs=self._formatHeaders(record.req.headers),
                reshdrs=self._formatHeaders(record.res.headers),
            )

        return result

formatter = HttpFormatter('{asctime} {levelname} {name} {message}', style='{')
handler = logging.StreamHandler()
handler.setFormatter(formatter)
logging.basicConfig(level=logging.DEBUG, handlers=[handler])

이제 다음 session과 같이을 사용하여 몇 가지 요청을 수행하면

session.get('https://httpbin.org/user-agent')
session.get('https://httpbin.org/status/200')

의 출력 stderr은 다음과 같습니다.

2020-05-14 22:10:13,224 DEBUG urllib3.connectionpool Starting new HTTPS connection (1): httpbin.org:443
2020-05-14 22:10:13,695 DEBUG urllib3.connectionpool https://httpbin.org:443 "GET /user-agent HTTP/1.1" 200 45
2020-05-14 22:10:13,698 DEBUG httplogger HTTP roundtrip
---------------- request ----------------
GET https://httpbin.org/user-agent
User-Agent: python-requests/2.23.0
Accept-Encoding: gzip, deflate
Accept: */*
Connection: keep-alive

None
---------------- response ----------------
200 OK https://httpbin.org/user-agent
Date: Thu, 14 May 2020 20:10:13 GMT
Content-Type: application/json
Content-Length: 45
Connection: keep-alive
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

{
  "user-agent": "python-requests/2.23.0"
}


2020-05-14 22:10:13,814 DEBUG urllib3.connectionpool https://httpbin.org:443 "GET /status/200 HTTP/1.1" 200 0
2020-05-14 22:10:13,818 DEBUG httplogger HTTP roundtrip
---------------- request ----------------
GET https://httpbin.org/status/200
User-Agent: python-requests/2.23.0
Accept-Encoding: gzip, deflate
Accept: */*
Connection: keep-alive

None
---------------- response ----------------
200 OK https://httpbin.org/status/200
Date: Thu, 14 May 2020 20:10:13 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 0
Connection: keep-alive
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true

GUI 방식

쿼리가 많을 때 간단한 UI와 레코드를 필터링하는 방법이 있으면 편리합니다. Chronologer 사용 방법을 보여 드리겠습니다. 하는 것을 입니다 (내가 저자입니다).

첫째, logging유선으로 전송할 때 직렬화 할 수있는 레코드를 생성하도록 후크를 다시 작성했습니다 . 다음과 같이 보일 수 있습니다.

def logRoundtrip(response, *args, **kwargs):
    extra = {
        'req': {
            'method': response.request.method,
            'url': response.request.url,
            'headers': response.request.headers,
            'body': response.request.body,
        },
        'res': {
            'code': response.status_code,
            'reason': response.reason,
            'url': response.url,
            'headers': response.headers,
            'body': response.text
        },
    }
    logger.debug('HTTP roundtrip', extra=extra)

session = requests.Session()
session.hooks['response'].append(logRoundtrip)

둘째, 로깅 구성은 사용에 맞게 조정되어야합니다 logging.handlers.HTTPHandler(Chronologer가 이해함).

import logging.handlers

chrono = logging.handlers.HTTPHandler(
  'localhost:8080', '/api/v1/record', 'POST', credentials=('logger', ''))
handlers = [logging.StreamHandler(), chrono]
logging.basicConfig(level=logging.DEBUG, handlers=handlers)

마지막으로 Chronologer 인스턴스를 실행합니다. 예 : Docker 사용 :

docker run --rm -it -p 8080:8080 -v /tmp/db \
    -e CHRONOLOGER_STORAGE_DSN=sqlite:////tmp/db/chrono.sqlite \
    -e CHRONOLOGER_SECRET=example \
    -e CHRONOLOGER_ROLES="basic-reader query-reader writer" \
    saaj/chronologer \
    python -m chronologer -e production serve -u www-data -g www-data -m

그리고 요청을 다시 실행하십시오.

session.get('https://httpbin.org/user-agent')
session.get('https://httpbin.org/status/200')

스트림 핸들러는 다음을 생성합니다.

DEBUG:urllib3.connectionpool:Starting new HTTPS connection (1): httpbin.org:443
DEBUG:urllib3.connectionpool:https://httpbin.org:443 "GET /user-agent HTTP/1.1" 200 45
DEBUG:httplogger:HTTP roundtrip
DEBUG:urllib3.connectionpool:https://httpbin.org:443 "GET /status/200 HTTP/1.1" 200 0
DEBUG:httplogger:HTTP roundtrip

이제 http : // localhost : 8080 / (사용자 이름에는 “logger”사용, 기본 인증 팝업에는 빈 암호 사용)을 열고 “열기”버튼을 클릭하면 다음과 같은 내용이 표시됩니다.

답변