requests모듈을 사용하는 동안 원시 HTTP 요청을 인쇄하는 방법이 있습니까?
헤더 만 원하지 않고 요청 줄, 헤더 및 내용 인쇄물을 원합니다. 궁극적으로 HTTP 요청으로 구성되는 것을 볼 수 있습니까?
답변
v1.2.3부터 요청에 PreparedRequest 오브젝트가 추가되었습니다. 문서에 따라 “서버로 전송 될 정확한 바이트를 포함합니다”.
이것을 사용하여 요청을 예쁘게 인쇄 할 수 있습니다.
import requests
req = requests.Request('POST','http://stackoverflow.com',headers={'X-Custom':'Test'},data='a=1&b=2')
prepared = req.prepare()
def pretty_print_POST(req):
"""
At this point it is completely built and ready
to be fired; it is "prepared".
However pay attention at the formatting used in
this function because it is programmed to be pretty
printed and may differ from the actual request.
"""
print('{}\n{}\r\n{}\r\n\r\n{}'.format(
'-----------START-----------',
req.method + ' ' + req.url,
'\r\n'.join('{}: {}'.format(k, v) for k, v in req.headers.items()),
req.body,
))
pretty_print_POST(prepared)어떤 생산 :
-----------START-----------
POST http://stackoverflow.com/
Content-Length: 7
X-Custom: Test
a=1&b=2그런 다음 실제 요청을 다음과 같이 보낼 수 있습니다.
s = requests.Session()
s.send(prepared)이 링크는 사용 가능한 최신 문서로 연결되므로 컨텐츠가 변경 될 수 있습니다.
고급-준비된 요청 및 API-하위 레벨 클래스
답변
import requests
response = requests.post('http://httpbin.org/post', data={'key1':'value1'})
print(response.request.body)
print(response.request.headers)내가 사용하고 요청 버전 2.18.4 파이썬 3
답변
참고 :이 답변은 구식입니다. 최신 버전의 requests 직접적 요청 내용을지고 지원, AntonioHerraizS의 응답 문서 .
헤더 및 메소드 유형 과 같은 상위 레벨 오브젝트 만 처리하므로 요청 의 실제 원시 컨텐츠 를 가져올 수 없습니다 . 용도는 요청을 보내지 만합니다 또한 원시 데이터를 처리하지 않습니다 – 그것은 사용합니다 . 요청의 대표적인 스택 추적은 다음과 같습니다.requestsrequestsurllib3urllib3 httplib
-> r= requests.get("http://google.com")
/usr/local/lib/python2.7/dist-packages/requests/api.py(55)get()
-> return request('get', url, **kwargs)
/usr/local/lib/python2.7/dist-packages/requests/api.py(44)request()
-> return session.request(method=method, url=url, **kwargs)
/usr/local/lib/python2.7/dist-packages/requests/sessions.py(382)request()
-> resp = self.send(prep, **send_kwargs)
/usr/local/lib/python2.7/dist-packages/requests/sessions.py(485)send()
-> r = adapter.send(request, **kwargs)
/usr/local/lib/python2.7/dist-packages/requests/adapters.py(324)send()
-> timeout=timeout
/usr/local/lib/python2.7/dist-packages/requests/packages/urllib3/connectionpool.py(478)urlopen()
-> body=body, headers=headers)
/usr/local/lib/python2.7/dist-packages/requests/packages/urllib3/connectionpool.py(285)_make_request()
-> conn.request(method, url, **httplib_request_kw)
/usr/lib/python2.7/httplib.py(958)request()
-> self._send_request(method, url, body, headers)httplib기계 내부에서 우리는 HTTPConnection._send_request간접적으로 uses을 볼 수 있으며 HTTPConnection._send_output, 이는 최종적으로 원시 요청 과 본문을 작성하고 (있는 경우) HTTPConnection.send개별적으로 전송하는 데 사용 됩니다. send마침내 소켓에 도달합니다.
원하는 것을 수행하기위한 후크가 없기 때문에 마지막 수단으로 원숭이 패치 httplib를 사용하여 내용을 얻을 수 있습니다. 깨지기 쉬운 솔루션 httplib이므로 변경 하면 수정해야 할 수도 있습니다 . 이 솔루션을 사용하여 소프트웨어를 배포하려는 경우 httplib순수한 파이썬 모듈이므로 시스템을 사용하는 대신 패키징을 고려할 수 있습니다 .
아아, 더 이상 고민하지 않고 해결책 :
import requests
import httplib
def patch_send():
old_send= httplib.HTTPConnection.send
def new_send( self, data ):
print data
return old_send(self, data) #return is not necessary, but never hurts, in case the library is changed
httplib.HTTPConnection.send= new_send
patch_send()
requests.get("http://www.python.org")출력을 산출합니다.
GET / HTTP/1.1
Host: www.python.org
Accept-Encoding: gzip, deflate, compress
Accept: */*
User-Agent: python-requests/2.1.0 CPython/2.7.3 Linux/3.2.0-23-generic-pae답변
더 나은 아이디어는 requests_toolbelt 라이브러리를 사용하는 것입니다.이 라이브러리는 요청과 응답을 모두 문자열로 덤프하여 콘솔에 인쇄 할 수 있습니다. 위의 솔루션이 제대로 처리하지 못하는 파일 및 인코딩으로 까다로운 모든 경우를 처리합니다.
다음과 같이 쉽습니다.
import requests
from requests_toolbelt.utils import dump
resp = requests.get('https://httpbin.org/redirect/5')
data = dump.dump_all(resp)
print(data.decode('utf-8'))출처 : https://toolbelt.readthedocs.org/en/latest/dumputils.html
다음을 입력하여 간단히 설치할 수 있습니다.
pip install requests_toolbelt답변
다음은 동일하지만 응답 헤더가있는 코드입니다.
import socket
def patch_requests():
old_readline = socket._fileobject.readline
if not hasattr(old_readline, 'patched'):
def new_readline(self, size=-1):
res = old_readline(self, size)
print res,
return res
new_readline.patched = True
socket._fileobject.readline = new_readline
patch_requests()나는 이것을 찾기 위해 많은 시간을 보냈으므로 누군가가 필요하다면 여기에 남겨두고 있습니다.
답변
다음 함수를 사용하여 요청을 형식화합니다. 본문에 JSON 객체를 예쁘게 인쇄하고 요청의 모든 부분에 레이블을 지정한다는 점을 제외하면 @AntonioHerraizS와 같습니다.
format_json = functools.partial(json.dumps, indent=2, sort_keys=True)
indent = functools.partial(textwrap.indent, prefix=' ')
def format_prepared_request(req):
"""Pretty-format 'requests.PreparedRequest'
Example:
res = requests.post(...)
print(format_prepared_request(res.request))
req = requests.Request(...)
req = req.prepare()
print(format_prepared_request(res.request))
"""
headers = '\n'.join(f'{k}: {v}' for k, v in req.headers.items())
content_type = req.headers.get('Content-Type', '')
if 'application/json' in content_type:
try:
body = format_json(json.loads(req.body))
except json.JSONDecodeError:
body = req.body
else:
body = req.body
s = textwrap.dedent("""
REQUEST
=======
endpoint: {method} {url}
headers:
{headers}
body:
{body}
=======
""").strip()
s = s.format(
method=req.method,
url=req.url,
headers=indent(headers),
body=indent(body),
)
return s그리고 응답의 형식을 지정하는 비슷한 기능이 있습니다.
def format_response(resp):
"""Pretty-format 'requests.Response'"""
headers = '\n'.join(f'{k}: {v}' for k, v in resp.headers.items())
content_type = resp.headers.get('Content-Type', '')
if 'application/json' in content_type:
try:
body = format_json(resp.json())
except json.JSONDecodeError:
body = resp.text
else:
body = resp.text
s = textwrap.dedent("""
RESPONSE
========
status_code: {status_code}
headers:
{headers}
body:
{body}
========
""").strip()
s = s.format(
status_code=resp.status_code,
headers=indent(headers),
body=indent(body),
)
return s답변
requests소위 이벤트 훅을 지원합니다 (2.23 현재 response훅 만 있습니다 ). 후크는 요청에 유효 URL, 헤더 및 본문을 포함하여 전체 요청-응답 쌍의 데이터를 인쇄하는 데 사용할 수 있습니다.
import textwrap
import requests
def print_roundtrip(response, *args, **kwargs):
format_headers = lambda d: '\n'.join(f'{k}: {v}' for k, v in d.items())
print(textwrap.dedent('''
---------------- request ----------------
{req.method} {req.url}
{reqhdrs}
{req.body}
---------------- response ----------------
{res.status_code} {res.reason} {res.url}
{reshdrs}
{res.text}
''').format(
req=response.request,
res=response,
reqhdrs=format_headers(response.request.headers),
reshdrs=format_headers(response.headers),
))
requests.get('https://httpbin.org/', hooks={'response': print_roundtrip})실행하면 다음이 인쇄됩니다.
---------------- request ----------------
GET https://httpbin.org/
User-Agent: python-requests/2.23.0
Accept-Encoding: gzip, deflate
Accept: */*
Connection: keep-alive
None
---------------- response ----------------
200 OK https://httpbin.org/
Date: Thu, 14 May 2020 17:16:13 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 9593
Connection: keep-alive
Server: gunicorn/19.9.0
Access-Control-Allow-Origin: *
Access-Control-Allow-Credentials: true
<!DOCTYPE html>
<html lang="en">
...
</html>당신은 변경할 수 있습니다 res.text에 res.content응답이 진 경우.