Điều gì xảy ra nếu Googlebot không thể thu thập dữ liệu trang web của bạn?

Trong thế giới SEO, việc hiểu cách các công cụ tìm kiếm như Google thu thập dữ liệu và lập chỉ mục các trang web là rất quan trọng để đảm bảo khả năng hiển thị tối ưu và lưu lượng truy cập không phải trả tiền. Chuyên gia kỹ thuật SEO Kristina Azarenko gần đây đã tiến hành một thử nghiệm trong đó cô cố tình ngăn Googlebot thu thập dữ liệu trang web của mình trong vài tuần. Kết quả vừa đáng ngạc nhiên vừa làm sáng tỏ hậu quả của việc chặn quyền truy cập của Googlebot. Trong bài viết này, chúng ta sẽ khám phá những kết quả không mong đợi của thử nghiệm này và cách chúng có thể tác động đến hiệu suất trang web của bạn trong bảng xếp hạng tìm kiếm.

Thử nghiệm: Chặn quyền truy cập của Googlebot

Từ ngày 5 tháng 10 đến ngày 7 tháng 11, Kristina Azarenko đã ngăn Googlebot thu thập dữ liệu trang web của cô ấy. Trong thời gian này, cô đã quan sát thấy một số thay đổi đáng chú ý xảy ra do việc chặn quyền truy cập của Googlebot. Hãy cùng đi sâu vào từng kết quả đáng ngạc nhiên sau:

1. Favicon đã bị xóa khỏi kết quả tìm kiếm của Google

Một trong những hậu quả không mong đợi của việc ngăn Googlebot thu thập dữ liệu trang web của Azarenko là việc xóa favicon của trang web khỏi kết quả tìm kiếm của Google. Favicon là biểu tượng nhỏ hiển thị bên cạnh URL của trang web trong danh sách tìm kiếm. Thay đổi này nêu bật tầm quan trọng của khả năng Googlebot thu thập dữ liệu trang web nhằm thu thập thông tin cần thiết, chẳng hạn như biểu tượng yêu thích, để hiển thị kết quả tìm kiếm.

2. Từ chối kết quả tìm kiếm video

Azarenko nhận thấy kết quả tìm kiếm video giảm đáng kể trong quá trình thử nghiệm và ngay cả sau khi thử nghiệm kết thúc, thứ hạng tìm kiếm video vẫn chưa phục hồi hoàn toàn. Điều này cho thấy rằng khi Googlebot không thể thu thập dữ liệu trang web, nó có thể gặp khó khăn lập chỉ mục và xếp hạng nội dung video. Chủ sở hữu trang web phụ thuộc nhiều vào nội dung video nên lưu ý đến tác động tiềm tàng này đối với khả năng hiển thị tìm kiếm của họ.

3. Vị thế ổn định với ít biến động ở Canada

Mặc dù Googlebot không thể thu thập dữ liệu trang web của Azarenko nhưng vị trí tổng thể của các trang trên trang web của cô ấy vẫn tương đối ổn định. Tuy nhiên, cô ấy đã quan sát thấy có nhiều biến động hơn một chút trong bảng xếp hạng tìm kiếm, đặc biệt là ở Canada. Phát hiện này cho thấy các thuật toán của Google có thể xử lý việc thu thập dữ liệu bị chặn theo cách khác nhau ở một số khu vực nhất định, có khả năng ảnh hưởng đến thứ hạng tìm kiếm ở mức độ lớn hơn ở một số khu vực.

4. Lưu lượng truy cập giảm nhẹ

Điều thú vị là, mặc dù Googlebot không thể thu thập dữ liệu trang web nhưng Azarenko chỉ thấy lưu lượng truy cập giảm nhẹ trong quá trình thử nghiệm. Phát hiện này cho thấy rằng các yếu tố khác, chẳng hạn như khả năng hiển thị tìm kiếm hiện tại và hành vi của người dùng, có thể có tác động đáng kể hơn đến lưu lượng truy cập trang web so với việc chỉ thu thập dữ liệu của Googlebot. Tuy nhiên, điều quan trọng cần lưu ý là thử nghiệm được tiến hành trong thời gian tương đối ngắn và tác động lâu dài đến lưu lượng truy cập có thể khác nhau.

5. Tăng số lượng trang được lập chỉ mục được báo cáo

Một kết quả đáng ngạc nhiên của việc chặn quyền truy cập của Googlebot vào trang web của Azarenko là sự gia tăng số lượng các trang được lập chỉ mục được báo cáo trong Google Search Console. Điều này xảy ra vì các trang có thẻ meta robot “noindex”, nhằm mục đích ngăn chặn việc lập chỉ mục, cuối cùng lại được lập chỉ mục do Google không thể thu thập dữ liệu trang web và nhận ra các thẻ đó. Phát hiện này nhấn mạnh tầm quan trọng của việc giám sát và tối ưu hóa thường xuyên các thẻ meta để đảm bảo lập chỉ mục và kiểm soát chính xác khả năng hiển thị tìm kiếm.

6. Nhiều cảnh báo trong Google Search Console

Trong suốt quá trình thử nghiệm, Azarenko đã nhận được nhiều cảnh báo trong Google Search Console cho biết các vấn đề liên quan đến việc thu thập dữ liệu bị chặn. Những cảnh báo này bao gồm các thông báo như “Đã lập chỉ mục, mặc dù bị chặn bởi robots.txt” và “Bị chặn bởi robots.txt”. Điều này nhấn mạnh tầm quan trọng của việc thường xuyên theo dõi tình trạng và khả năng truy cập của một trang web trong Google Search Console, đặc biệt khi cố tình chặn hoặc hạn chế quyền truy cập của Googlebot.

Tại sao những phát hiện này lại quan trọng?

Hiểu được ý nghĩa của việc chặn quyền truy cập của Googlebot vào một trang web là rất quan trọng đối với những người thực hành SEO và chủ sở hữu trang web. Bằng cách tiến hành các thử nghiệm như của Azarenko, chúng tôi thu được những hiểu biết có giá trị về cách các công cụ tìm kiếm như Google phản ứng với việc thu thập thông tin bị hạn chế. Những phát hiện này giúp chúng tôi đưa ra quyết định sáng suốt về tối ưu hóa trang web và tránh những hậu quả không lường trước được.

Mặc dù hầu hết các công ty không thể tự mình tiến hành những thử nghiệm như vậy nhưng thông tin thu thập được từ những thử nghiệm này cung cấp kiến ​​thức có giá trị có thể áp dụng cho nhiều tình huống khác nhau. Nó củng cố tầm quan trọng của việc kiểm tra, giám sát và tối ưu hóa thường xuyên để đảm bảo khả năng hiển thị tìm kiếm, thứ hạng và lưu lượng truy cập không phải trả tiền tối ưu.

Thử nghiệm tương tự: Tác động lên thứ hạng và đoạn trích nổi bật

Trong một thử nghiệm tương tự của Patrick Stox của Ahrefs, hai trang xếp hạng cao đã bị robots.txt chặn thu thập dữ liệu trong 5 tháng. Tác động đến xếp hạng được phát hiện là rất nhỏ, nhưng cả hai trang đều mất tất cả các đoạn trích nổi bật. Điều này nhấn mạnh những hậu quả tiềm ẩn của việc chặn quyền truy cập của Googlebot vào các trang cụ thể và tác động của nó đối với các đoạn trích nổi bật, có giá trị để tăng khả năng hiển thị và tỷ lệ nhấp.

Câu hỏi thường gặp

Câu 1: Mục đích thí nghiệm của Kristina Azarenko là gì?

Trả lời 1: Mục đích của thử nghiệm là cố tình ngăn chặn Googlebot thu thập dữ liệu trang web của cô ấy để quan sát hậu quả của việc chặn quyền truy cập của Googlebot.

Câu hỏi 2: Một số kết quả không mong đợi của việc chặn quyền truy cập của Googlebot trong quá trình thử nghiệm là gì?

Câu trả lời 2: Các kết quả không mong đợi bao gồm việc xóa favicon của trang web khỏi kết quả tìm kiếm của Google, kết quả tìm kiếm video sụt giảm, vị trí ổn định với một chút biến động ở Canada, lưu lượng truy cập giảm nhẹ, số trang được lập chỉ mục được báo cáo có thẻ meta “noindex” tăng lên và nhiều cảnh báo trong Google Search Console cho biết các vấn đề liên quan đến việc thu thập thông tin bị chặn.

Câu hỏi 3: Tại sao điều quan trọng là phải hiểu ý nghĩa của việc chặn quyền truy cập của Googlebot vào một trang web?

Câu trả lời 3: Hiểu được những tác động này là rất quan trọng đối với những người thực hành SEO và chủ sở hữu trang web vì nó giúp đưa ra quyết định sáng suốt về việc tối ưu hóa trang web và tránh những hậu quả không lường trước được. Nó nhấn mạnh tầm quan trọng của việc kiểm tra, giám sát và tối ưu hóa thường xuyên để có được khả năng hiển thị tìm kiếm, thứ hạng và lưu lượng truy cập không phải trả tiền tối ưu.

Câu hỏi 4: Việc chặn quyền truy cập của Googlebot có thể gây ra tác động gì đối với đoạn trích nổi bật?

Câu trả lời 4: Việc chặn quyền truy cập của Googlebot vào các trang cụ thể có thể dẫn đến việc mất đoạn trích nổi bật cho các trang đó. Đoạn trích nổi bật có giá trị để tăng khả năng hiển thị và tỷ lệ nhấp.

Câu hỏi 5: Chủ sở hữu trang web và người thực hành SEO nên rút ra điều gì từ những thử nghiệm này?

Câu trả lời 5: Chủ sở hữu trang web và người thực hành SEO nên nhận ra tầm quan trọng của việc kiểm tra, giám sát và tối ưu hóa thường xuyên để đảm bảo khả năng hiển thị tìm kiếm tối ưu. Họ cũng nên nhận thức được những hậu quả tiềm ẩn của việc chặn quyền truy cập của Googlebot vào các trang cụ thể và sẵn sàng giải quyết mọi vấn đề có thể phát sinh.

Dịch từ bài viết của OLIVIA KING