Cách cấu hình proxy HTTP(S) trong Python Requests chuẩn kỹ thuật

Cú pháp khai báo từ điển proxies và tái sử dụng requests.Session()

Khi gọi requests.get(url, proxies=proxies), mỗi lệnh gọi đơn lẻ sẽ phải mở lại kết nối TCP và bắt tay TLS từ đầu. Trong thực tế sản xuất, bạn nên khởi tạo đối tượng s = requests.Session() rồi gán s.proxies.update(proxies) để tận dụng kết nối HTTP Keep-Alive, giúp giảm một nửa độ trễ phản hồi.

Xử lý các ngoại lệ thường gặp trong urllib3 / requests

• Nếu mật khẩu chứa ký tự đặc biệt (@, :, #), hãy dùng urllib.parse.quote(password, safe='') trước khi ghép vào chuỗi URL proxy
• Lỗi requests.exceptions.ProxyError: 407 Proxy Authentication Required báo hiệu sai Username hoặc Password
• Không đặt tiền tố https:// ở đầu địa chỉ máy chủ proxy nếu cổng proxy là cổng HTTP CONNECT tiêu chuẩn—hãy luôn viết 'https': 'http://user:pass@ip:port'
• Dùng HTTPAdapter(pool_connections=20, pool_maxsize=50) khi chạy đa luồng với concurrent.futures.ThreadPoolExecutor

Các bước thực hiện

1. 1

   Chuyển đổi danh sách ip:port:user:pass sang dạng URL

   Dán danh sách proxy VinaProxy vào công cụ đổi định dạng proxy để nhận ngay chuỗi http://user:pass@ip:port.

2. 2

   Khai báo dict proxies cho cả http và https

   Tạo biến proxies = {'http': 'http://user:pass@ip:port', 'https': 'http://user:pass@ip:port'} trong script Python.

3. 3

   Gắn vào đối tượng requests.Session()

   Khởi tạo session = requests.Session(), gọi session.proxies.update(proxies) và thiết lập header User-Agent hợp lệ.

4. 4

   Kiểm tra IP đầu ra bằng lệnh GET thử nghiệm

   Gọi r = session.get('https://vinaproxy.com/api/my-ip', timeout=10) và in r.json() để xác nhận địa chỉ IPv4 đã đổi.

Câu hỏi thường gặp