Cào kết quả Google để theo dõi SERP: làm sao cho hợp lý

Bạn thực sự cần dữ liệu SERP để làm gì

Trước khi viết dòng code nào, hãy xác định câu hỏi. Theo dõi thứ hạng website của chính bạn cho vài trăm từ khoá là một bài toán; nghiên cứu đối thủ trên nhiều thị trường là bài toán khác; kiểm tra quảng cáo hay đoạn trích nổi bật hiển thị thế nào ở một nước lại là bài toán thứ ba. Mỗi bài toán hợp với một nguồn dữ liệu khác nhau.

Nhiều người lao vào cào Google hàng ngày cho hàng nghìn từ khoá, rồi mất thời gian xử lý CAPTCHA và chặn, trong khi phần lớn câu hỏi có thể trả lời từ dữ liệu chính thức hoặc kiểm tra thủ công định kỳ.

Các nguồn dữ liệu, xếp theo mức ưu tiên

Hãy đọc điều khoản và giới hạn của từng dịch vụ trước khi dùng; tính năng và chi phí của các nền tảng thay đổi theo thời gian.

Chọn quốc gia và ngôn ngữ cho đúng

Kết quả Google khác nhau theo vị trí, ngôn ngữ và thiết bị. Nếu bạn ngồi ở Việt Nam và tìm từ khoá tiếng Anh, bạn không thấy kết quả giống người ở Mỹ. Proxy theo quốc gia giải quyết phần vị trí: truy vấn đi ra từ IP ở nước đó.

Ngoài IP, URL tìm kiếm có tham số hl (ngôn ngữ giao diện) và gl (quốc gia ưu tiên), ví dụ hl=en&gl=us hoặc hl=vi&gl=vn. Dùng IP và tham số khớp nhau, cùng trình duyệt sạch không đăng nhập tài khoản Google, để tránh kết quả bị cá nhân hoá theo lịch sử của bạn. Bài xem kết quả Google theo quốc gia đi sâu vào phần kiểm tra thủ công này.

• Theo dõi thị trường Việt Nam: IP Việt Nam kèm hl=vi&gl=vn.
• Theo dõi thị trường Mỹ: IP Mỹ kèm hl=en&gl=us.
• Thị trường châu Á khác: IPv4 có ở Nhật, Hàn, Singapore, Hồng Kông; Anh cho thị trường Anh.
• Kết quả theo thành phố cụ thể không phụ thuộc hoàn toàn vào IP; proxy của VinaProxy không cho chọn thành phố hay bang.

Tần suất bao nhiêu là đủ

Thứ hạng tự nhiên hiếm khi thay đổi có ý nghĩa theo từng giờ. Với phần lớn dự án, kiểm tra hàng tuần là đủ để thấy xu hướng, hàng ngày cho nhóm từ khoá quan trọng nhất hoặc sau khi vừa cập nhật nội dung. Kiểm tra nhiều hơn mức đó chủ yếu tạo ra nhiễu và tăng nguy cơ bị chặn.

Nếu bạn chạy kiểm tra quy mô nhỏ qua proxy, giữ nhịp thấp: vài truy vấn, giãn cách đủ dài, không chạy song song nhiều luồng trên một IP, và dừng lại khi gặp trang xác minh thay vì cố thử tiếp. Xem giới hạn tốc độ khi cào dữ liệu và proxy và CAPTCHA để hiểu vì sao đi nhanh phản tác dụng.

Thiết lập kiểm tra SERP thủ công qua proxy

• Tạo một profile trình duyệt riêng cho mỗi quốc gia, không đăng nhập Google, gắn proxy của nước đó. Hướng dẫn cài có tại cài proxy cho Chrome hoặc SwitchyOmega.
• Đặt ngôn ngữ trình duyệt và múi giờ khớp với quốc gia của IP.
• Mở trang kiểm tra IP của tôi trong profile để xác nhận IP và quốc gia.
• Tìm từ khoá với hl và gl phù hợp, ghi lại vị trí, tính năng SERP (đoạn trích nổi bật, hộp hỏi đáp, bản đồ, mua sắm) và quảng cáo xuất hiện.
• Lưu ảnh chụp màn hình kèm ngày để so sánh qua các tuần.
• Khi danh sách từ khoá lớn dần, chuyển sang công cụ theo dõi thứ hạng hoặc API có cấp phép thay vì tăng tốc độ kiểm tra thủ công.

Proxy nào hợp cho theo dõi SERP

Theo dõi SERP không cần đăng nhập tài khoản, nên IPv4 datacenter riêng thường là đủ: nhanh, không giới hạn băng thông, đúng quốc gia và chỉ mình bạn dùng. IP riêng quan trọng vì proxy dùng chung hay miễn phí thường đã bị Google đánh dấu do người khác gửi truy vấn tự động, khiến bạn gặp xác minh ngay từ lần đầu.

Nếu bạn dùng công cụ theo dõi thứ hạng có hỗ trợ proxy riêng, IPv4 cố định giúp kết quả ổn định giữa các lần kiểm tra. Xem thêm proxy cho theo dõi thứ hạng SEO và kịch bản theo dõi SERP.

Câu hỏi thường gặp