Website chặn proxy: hiểu lý do và xử lý đúng cách
Cập nhật:
Website chặn proxy vì một trong ba lý do: IP thuộc dải datacenter mà website đó không muốn phục vụ, IP gửi quá nhiều yêu cầu trong thời gian ngắn, hoặc các tín hiệu khác trong trình duyệt và hành vi trông bất thường. Cách xử lý phụ thuộc vào lý do: đổi sang loại IP mà website kỳ vọng (ví dụ proxy ISP thay cho IPv4 datacenter), giảm tần suất và số luồng, và sửa cấu hình trình duyệt cho nhất quán. Điều quan trọng không kém là tôn trọng điều khoản của website; nếu website không cho phép truy cập tự động, proxy không phải là cách để lách. Bài này giúp bạn xác định lý do và chọn hướng xử lý phù hợp.
Website nhận ra proxy bằng cách nào
Website không đọc được suy nghĩ của bạn, nhưng thấy được nhiều tín hiệu. IP nào cũng thuộc về một tổ chức, gọi là ASN, và ai cũng tra được IP đó thuộc công ty hạ tầng máy chủ hay nhà mạng dân dụng. Website còn thấy tần suất yêu cầu từ mỗi IP, lịch sử của IP trong các danh sách chặn, và vân tay trình duyệt như user agent, ngôn ngữ, múi giờ.
Phần giải thích chi tiết các kỹ thuật này có trong bài website phát hiện proxy như thế nào. Ở đây ta tập trung vào chẩn đoán: website đang chặn bạn vì tín hiệu nào.
Chẩn đoán theo kiểu bị chặn
| Hiện tượng | Lý do có khả năng nhất | Hướng xử lý |
|---|---|---|
| Bị chặn ngay từ yêu cầu đầu tiên, mọi IP datacenter đều vậy | Website chặn cả dải IP datacenter | Thử proxy ISP tĩnh nếu có ở quốc gia đó |
| Lúc đầu vào được, sau vài phút bị chặn hoặc báo 429 | Quá nhiều yêu cầu trên một IP | Giảm tần suất, giảm luồng, chia tải ra nhiều IP |
| Một IP bị chặn, IP khác cùng loại vẫn vào được | IP đó có lịch sử xấu hoặc từng bị dùng sai | Kiểm tra danh sách đen, báo nhà cung cấp |
| Chỉ bị chặn trên trình duyệt tự động, tay thì không | Vân tay trình duyệt tự động bị nhận ra | Xem lại cấu hình công cụ và điều khoản của website |
| Bị chặn vì sai quốc gia | Website chỉ phục vụ một số nước | Dùng proxy đúng quốc gia website phục vụ |
Khi nào nên đổi loại proxy
Proxy IPv4 datacenter nhanh, rẻ và phù hợp phần lớn công việc, nhưng một số website, đặc biệt là dịch vụ phát video, ngân hàng, vé máy bay và một số sàn thương mại điện tử, đối xử khắt khe hơn với IP từ hạ tầng máy chủ. Nếu mọi IP datacenter đều bị chặn ngay từ đầu dù bạn chỉ truy cập vài lần, đổi sang proxy ISP tĩnh là bước hợp lý. Proxy ISP dùng IP đăng ký dưới tên nhà mạng nhưng vẫn cố định, hiện có ở Việt Nam và Mỹ.
Ngược lại, nếu bạn bị chặn vì gửi quá nhiều yêu cầu, đổi sang ISP không giải quyết được gốc rễ và chỉ làm tăng chi phí. So sánh chi tiết hai loại có trong bài nên dùng IPv4 riêng hay ISP cho việc gì. Proxy dân cư xoay hiện chưa được bán nên không nằm trong lựa chọn ở đây.
Giảm tần suất: cách sửa hiệu quả nhất
Phần lớn trường hợp bị chặn khi theo dõi giá, kiểm tra thứ hạng hay thu thập dữ liệu công khai đến từ tốc độ quá nhanh. Website bảo vệ máy chủ của họ, và một IP gửi hàng chục yêu cầu mỗi giây trông giống tấn công hơn là người dùng.
- Thêm thời gian nghỉ ngẫu nhiên giữa các yêu cầu thay vì gửi liên tục.
- Giới hạn số luồng đồng thời trên mỗi IP, tăng số IP nếu cần thêm tốc độ tổng.
- Tôn trọng mã lỗi 429 và tiêu đề
Retry-After: dừng lại, chờ, rồi giảm tốc độ. - Lưu bộ nhớ đệm để không tải lại trang chưa thay đổi.
- Đọc
robots.txtvà điều khoản dịch vụ; nếu website có API chính thức, ưu tiên dùng API.
Làm cho trình duyệt nhất quán với IP
Với công việc thủ công trên trình duyệt, website thường chặn khi các tín hiệu mâu thuẫn: IP Nhật nhưng ngôn ngữ tiếng Việt, múi giờ Việt Nam, WebRTC để lộ IP thật. Kiểm tra bằng kiểm tra rò rỉ WebRTC, đặt múi giờ và ngôn ngữ khớp quốc gia proxy, và giữ cookie ổn định cho từng profile. Điều này không làm bạn vô hình, nhưng loại bỏ những dấu hiệu bất thường không cần thiết.
Kiểm tra IP có nằm trong danh sách đen không
Nếu chỉ một IP bị chặn trong khi IP khác cùng loại vẫn vào được, tra IP đó bằng công cụ kiểm tra IP blacklist. Mỗi IP của VinaProxy chỉ cấp cho một khách và giữ suốt thời gian thuê, nên uy tín IP phụ thuộc phần lớn vào cách bạn dùng. Nếu IP mới nhận đã nằm trong danh sách chặn ảnh hưởng tới công việc của bạn, gửi ticket kèm kết quả tra cứu và website bị chặn.
Những gì proxy không nên được dùng để làm
Proxy là công cụ để truy cập từ một vị trí và IP cố định, không phải chìa khoá vượt mọi rào cản. Đừng dùng proxy để vượt CAPTCHA trái phép, lách lệnh cấm tài khoản, gian lận khuyến mãi hay truy cập khi điều khoản website không cho phép. Website có quyền từ chối phục vụ, và không loại proxy nào đảm bảo không bị chặn. Nếu công việc của bạn là thu thập dữ liệu, bài CAPTCHA và proxy giải thích vì sao CAPTCHA xuất hiện và cách giảm nó bằng hành vi hợp lý.
Câu hỏi thường gặp
Vì sao website chặn proxy nhưng không chặn mạng nhà tôi?
Mạng nhà bạn là IP nhà mạng dân dụng với lưu lượng một người. Proxy datacenter thuộc dải IP máy chủ, nên một số website xét kỹ hơn, nhất là khi kèm tần suất cao.
Đổi sang proxy ISP có chắc chắn không bị chặn không?
Không. Proxy ISP giúp với website chặn dải datacenter, nhưng nếu bạn gửi quá nhiều yêu cầu hoặc vi phạm điều khoản, website vẫn có thể chặn.
Bị lỗi 403 qua proxy có phải proxy hỏng không?
Thường không. Mã 403 nghĩa là website từ chối yêu cầu. Kiểm tra proxy bằng một trang khác; nếu trang khác vào được, proxy vẫn hoạt động.
Có nên đổi IP liên tục để tránh bị chặn không?
Với việc truy cập tài khoản thì không, vì đổi IP liên tục cũng là tín hiệu bất thường. Với thu thập dữ liệu, chia tải ra nhiều IP cố định và giảm tần suất thường hiệu quả hơn.
Website chỉ phục vụ một nước thì làm sao?
Dùng proxy đúng quốc gia đó nếu có trong danh sách. IPv4 riêng có ở 7 nước, ISP tĩnh có ở Việt Nam và Mỹ.
Chọn đúng loại IP cho website đích
IPv4 riêng ở 7 nước cho tốc độ và số lượng, ISP tĩnh ở Việt Nam và Mỹ cho website khắt khe với IP máy chủ.
Xem bảng giá