Scrapy hay Playwright: chọn đúng công cụ cho từng kiểu trang

Kiểm tra trang đích trước khi chọn công cụ

Sai lầm phổ biến là mặc định dùng trình duyệt cho mọi thứ vì nó luôn "thấy" được trang, rồi trả giá bằng tốc độ chậm và máy chủ tốn tài nguyên. Hãy dành vài phút kiểm tra trang đích trước.

Cách nhanh nhất là tải trang bằng curl hoặc xem nguồn trang (Ctrl+U) và tìm dữ liệu bạn cần, ví dụ tên sản phẩm hay giá. Nếu nó có trong HTML, trang là dạng tĩnh hoặc render phía máy chủ, Scrapy làm được. Nếu HTML gần như trống và dữ liệu chỉ hiện trong trình duyệt, mở tab Network của DevTools, lọc Fetch/XHR và xem trang gọi API nào. Rất nhiều trang hiện đại lấy dữ liệu từ một endpoint JSON; nếu endpoint đó công khai và bạn được phép dùng, gọi thẳng nó bằng Scrapy còn nhanh hơn render cả trang.

So sánh Scrapy và Playwright

Khi nào Scrapy là lựa chọn đúng

Scrapy mạnh ở khối lượng. Bạn khai báo spider, Scrapy lo hàng đợi URL, chạy đồng thời, thử lại khi lỗi, loại URL trùng và xuất dữ liệu ra JSON hay CSV. Các thiết lập như CONCURRENT_REQUESTS_PER_DOMAIN, DOWNLOAD_DELAY và AutoThrottle giúp bạn giữ nhịp lịch sự với website đích mà không phải tự viết logic.

Chọn Scrapy khi dữ liệu nằm trong HTML hoặc trong một API JSON công khai, khi bạn cần cào hàng nghìn trang trở lên, và khi máy chạy có tài nguyên hạn chế. Nếu chỉ cần vài chục trang, thư viện requests kèm BeautifulSoup có khi còn đơn giản hơn.

Khi nào cần Playwright

Playwright cần thiết khi nội dung được dựng bằng JavaScript sau khi trang tải, khi dữ liệu chỉ hiện ra lúc cuộn hoặc bấm nút, hoặc khi bạn cần thao tác giống người dùng như chọn bộ lọc. Nó cũng hữu ích để kiểm tra trang hiển thị thế nào ở một quốc gia, ví dụ chụp màn hình trang qua proxy của nước đó.

Cái giá là tài nguyên. Mỗi context trình duyệt tốn bộ nhớ đáng kể, nên đừng mở hàng trăm tab cùng lúc. Chặn tải ảnh, font và video bằng page.route khi bạn chỉ cần dữ liệu, và đóng context ngay khi xong việc. Trình duyệt tự động hoá cũng có những dấu hiệu website có thể nhận ra; bài vì sao headless browser bị phát hiện giải thích các dấu hiệu đó.

Cấu hình proxy cho Scrapy

• Gắn proxy cho từng request: yield scrapy.Request(url, meta={'proxy': 'http://user:pass@ip:port'}). Middleware proxy có sẵn của Scrapy tự tách user, mật khẩu và gửi header xác thực.
• Nếu mật khẩu có ký tự đặc biệt, mã hoá URL trước khi ghép chuỗi để tránh lỗi 407.
• Muốn xoay IP, viết một downloader middleware nhỏ gán request.meta['proxy'] từ danh sách của bạn, hoặc gán theo tài khoản nếu cần giữ phiên.
• Chi tiết từng bước có tại hướng dẫn cài proxy cho Scrapy.

Cấu hình proxy cho Playwright

• Cho cả trình duyệt: browser = p.chromium.launch(proxy={'server': 'http://ip:port', 'username': 'user', 'password': 'pass'}).
• Cho từng context, mỗi context một IP: context = browser.new_context(proxy={'server': 'http://ip:port', 'username': 'user', 'password': 'pass'}). Cách này hợp khi chạy nhiều phiên song song trong một tiến trình.
• Khớp locale và timezone_id của context với quốc gia của proxy để trang hiển thị đúng ngôn ngữ, giờ địa phương.
• Kiểm tra IP thật sự đang dùng bằng cách mở một trang trả về IP trong chính context đó trước khi chạy job.
• Xem thêm hướng dẫn cài proxy cho Playwright; với Node.js có hướng dẫn cho Puppeteer theo cách tương tự.

Kết hợp cả hai và chọn proxy

Gói scrapy-playwright cho phép một spider Scrapy gửi đa số request bằng HTTP thường và chỉ chuyển những trang cần JavaScript sang trình duyệt. Bạn giữ được hàng đợi, retry và pipeline của Scrapy, đồng thời chỉ tốn tài nguyên trình duyệt ở nơi thật sự cần.

Với cả hai công cụ, proxy IPv4 datacenter riêng thường đủ cho cào dữ liệu công khai: nhanh, không giới hạn băng thông và chỉ mình bạn dùng. Chọn quốc gia theo nội dung cần xem; có IPv4 ở 7 nước như Việt Nam, Mỹ hay Nhật Bản. Dù dùng công cụ nào, hãy tôn trọng robots.txt, điều khoản website và giữ nhịp hợp lý như trong bài giới hạn tốc độ khi cào dữ liệu.

Câu hỏi thường gặp