Không nên chặn Google Bot thu thập file CSS và JavaScript

googlebot2Từ trước tới nay, chúng ta hiểu rằng Google Bot sẽ thu thập dữ liệu như một text browse, nghĩa là nó sẽ bỏ qua file CSS và JavaScript có trong website mà chỉ nhận các dữ liệu chữ và các liên kết trong đó. Đây là một bất lợi cho các website đang sử dụng JavaScript để tải nội dung như áp dụng kỹ thuật AJAX, sử dụng AngularJS, …

Tuy nhiên, mới đây Google đã chính thức cập nhật lại rằng Google Bot đã có thể nhận diện file CSS và JavaScript trong website và thực thi nó. Vì thế, nếu website của bạn đang chặn các file này để Google Bot crawl thì có thể sẽ ảnh hưởng đến kết quả tìm kiếm.

wp-css-js

Ví dụ trong WordPress, nếu bạn chặn thư mục /wp-content/ ở file robots.txt thì điều này sẽ ảnh hưởng.

Có thể nói rằng nếu như bây giờ trong file robots.txt của bạn có khai báo chặn Google Bot truy cập vào thư mục chứa dữ liệu của các file CSS và JavaScript trên theme thì hãy bỏ nó đi để bot có thể vào và thực thi các file trong đó để có thể crawl nội dung hoàn chỉnh hơn.

Bạn có thể sửa file robots.txt từ:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/themes
Disallow: /wp-content/plugins
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
Disallow: /forum/
Sitemap: http://nhatdesign.com/sitemap.xml

thành:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /search?q=*
Disallow: *?replytocom
Disallow: */attachment/*
Disallow: /images/
Disallow: /forum/
Sitemap: http://nhatdesign.com/sitemap.xml

Mặc dù khó có thể kiểm chứng được sự thay đổi này có mang lại lợi ích rõ ràng hay không nhưng một trong các thành công của chiến dịch SEO là hãy tôn trọng và áp dụng các quy tắc mà Google đưa ra để website thân thiện với SEO hơn.

Nguồn: thachpham.com


Leave a Reply

Your email address will not be published. Required fields are marked *

This site uses Akismet to reduce spam. Learn how your comment data is processed.

×