$0.00
A

Блог Proxyvizr

Как использовать прокси в Python (requests и httpx)

В Python прокси подключается в одну строку: библиотеки requests и httpx принимают адрес прокси вместе с логином и паролем. Разберём HTTP и SOCKS5, проверку подключения и работу со списком прокси.

Где взять данные прокси

Купите прокси в каталоге или едином поиске Proxyvizr и откройте «Мои прокси». Там у каждой прокси есть строка host:port:логин:пароль, а для пакетов трафика список нужной страны генерируется на той же странице. Если программе нужен другой формат, переведите список в бесплатном конвертере прокси Proxyvizr.

HTTP-прокси в requests

Передайте прокси для обеих схем, http и https, иначе запросы к HTTPS-сайтам пойдут напрямую:

import requests
proxy = "http://LOGIN:PASSWORD@HOST:PORT"
proxies = {"http": proxy, "https": proxy}
r = requests.get("https://proxyvizr.com/api/my-ip", proxies=proxies, timeout=20)
print(r.json())

Для проверки удобно запросить https://proxyvizr.com/api/my-ip: в ответе будут IP и страна, которые видят сайты.

SOCKS5 в requests

Для SOCKS5 нужна дополнительная зависимость. Используйте схему socks5h: с ней домены разрешает прокси, и DNS-запросы не утекают мимо него:

pip install "requests[socks]"
proxy = "socks5h://LOGIN:PASSWORD@HOST:PORT"
proxies = {"http": proxy, "https": proxy}

httpx

В httpx прокси задаётся при создании клиента. В новых версиях параметр называется proxy, в старых proxies:

import httpx
with httpx.Client(proxy="http://LOGIN:PASSWORD@HOST:PORT", timeout=20) as client:
    print(client.get("https://proxyvizr.com/api/my-ip").json())

Для SOCKS5 в httpx установите пакет httpx[socks].

Список прокси и ротация

Если прокси много, храните их в файле по одной строке и выбирайте адрес на каждый запрос или на каждую сессию. Для аккаунтов держите один прокси на сессию, для парсинга можно менять на каждый запрос. Пакеты резидентного трафика обычно дают один адрес шлюза, который сам меняет IP, тогда список не нужен.

Частые ошибки

Прокси указан только для http, и HTTPS-запросы идут напрямую. В логине или пароле есть спецсимволы, и их нужно закодировать (urllib.parse.quote). Схема socks5 вместо socks5h, и DNS идёт мимо прокси. Нет таймаута, и скрипт висит на мёртвом прокси.

Вывод

В requests и httpx прокси подключается одной строкой. Указывайте прокси для http и https, для SOCKS5 используйте socks5h и всегда ставьте таймаут.

Готовы подобрать прокси?

Создайте аккаунт за минуту и подберите прокси под вашу задачу — резидентные, мобильные, ISP, дата-центровые и SOCKS5 от проверенных провайдеров.