robots.txt là người gác cổng nói cho bot Google biết khu nào được vào web. Nhưng rất nhiều người hiểu sai công dụng. Bài giải thích cú pháp cơ bản, cách tạo/kiểm tra, và 2 hiểu lầm chết người: nó không phải công cụ bảo mật, và Disallow không đảm bảo gỡ trang khỏi Google.
File robots.txt hoạt động giống như một "người gác cổng" đứng ở cửa ngõ website. Nó có nhiệm vụ thông báo cho các bot của Google biết khu vực nào được phép vào thu thập dữ liệu, và khu vực nào miễn vào. Nghe thì có vẻ đơn giản, nhưng trên thực tế, rất nhiều quản trị viên web đang hiểu sai hoàn toàn công dụng thực sự của nó. Bài viết này sẽ giải thích rõ ràng về robots.txt, cú pháp cơ bản và 2 hiểu lầm cực kỳ nguy hiểm mà bạn buộc phải tránh.
Tóm tắt nhanh cho người bận: Robots.txt là một tệp văn bản đặt ở thư mục gốc của website để hướng dẫn bot tìm kiếm quét dữ liệu. Các lệnh cơ bản bao gồm User-agent, Disallow, Allow, và Sitemap. ⚠ Cảnh báo: File này KHÔNG có tác dụng bảo mật (bot xấu sẽ bỏ qua). Ngoài ra, lệnh Disallow KHÔNG đảm bảo trang web của bạn bị gỡ khỏi Google. Muốn bảo mật hãy dùng mật khẩu, muốn không lên Google hãy dùng thẻ noindex.
File robots.txt là gì? Ví như người gác cổng của website
Về mặt kỹ thuật, robots.txt đơn thuần là một tệp tin văn bản (text file). Nó luôn luôn được đặt ở thư mục gốc cao nhất của tên miền (ví dụ: tenmien.com/robots.txt). Nhiệm vụ của nó là cung cấp bộ quy tắc thu thập dữ liệu (crawl) cho các công cụ tìm kiếm.
Khi các "con bọ" (crawler) như Googlebot đi vào website của bạn, nơi đầu tiên chúng ghé thăm chính là file này. Chúng sẽ đọc các chỉ dẫn để biết đường dẫn nào được phép quét và đường dẫn nào bị cấm. Những bot "lịch sự" của các công cụ tìm kiếm lớn luôn tuân thủ nghiêm ngặt quy tắc này.
Các lệnh cơ bản trong tệp robots.txt
Một tệp robots.txt chuẩn thường bao gồm bốn loại câu lệnh chính yếu sau đây:
User-agent:Dùng để khai báo quy tắc này áp dụng cho loại bot nào. Ký tự*nghĩa là áp dụng cho mọi bot, hoặc bạn có thể chỉ định đích danhGooglebot.Disallow:Chỉ thị cấm bot quét dữ liệu tại một thư mục hoặc đường dẫn cụ thể (ví dụ:Disallow: /admin/).Allow:Chỉ thị cho phép bot quét dữ liệu. Lệnh này thường dùng để mở một thư mục con nằm trong một thư mục lớn đang bị cấm bởiDisallow.Sitemap:Khai báo vị trí tệp tin sitemap của website (ví dụ:Sitemap: https://tenmien.com/sitemap.xml) để bot dễ dàng tìm thấy toàn bộ cấu trúc bài viết.
⚠ Hiểu lầm chết người: robots.txt KHÔNG dùng để bảo mật
Đây là sai lầm phổ biến và nguy hiểm nhất. Robots.txt chỉ là một "lời đề nghị lịch sự". Các công cụ tìm kiếm chính thống như Google sẽ tuân theo, nhưng các loại bot xấu (bot dò mật khẩu, rà quét lỗ hổng) sẽ ngang nhiên bỏ qua lời đề nghị này.
Đáng sợ hơn, tệp robots.txt hoàn toàn công khai, bất kỳ ai cũng xem được. Nếu bạn cố tình ghi các thư mục chứa dữ liệu nhạy cảm vào lệnh Disallow, bạn đang vô tình vẽ đường chỉ điểm cho hacker. Do đó, nếu muốn ẩn hoặc bảo vệ một trang web thực sự, bạn phải thiết lập mật khẩu bảo vệ hoặc chặn quyền truy cập từ cấp độ máy chủ (server).
⚠ Disallow không chắc chắn gỡ trang khỏi Google
Hiểu nôm na thế này: chặn bot ĐỌC một trang không giống với việc XÓA trang đó khỏi Google. Đây là hai việc hoàn toàn khác nhau.
Rất nhiều người nhầm tưởng rằng: Cứ đưa đường dẫn vào Disallow thì đường dẫn đó sẽ biến mất khỏi kết quả tìm kiếm Google (Disallow bằng với noindex). Sự thật là không phải vậy.
Lệnh Disallow chỉ chặn bot đi vào quét nội dung. Tuy nhiên, nếu đường dẫn đó được một website khác đặt link trỏ tới, Google vẫn có thể ghi nhận và lập chỉ mục (index) URL đó. Nó sẽ hiện lên Google với dòng thông báo thiếu mô tả.
Nếu bạn muốn CHẮC CHẮN một trang không xuất hiện trên Google, bạn phải dùng thẻ meta noindex nhúng trực tiếp vào trong mã HTML của trang đó (như cách tối ưu meta description). Và nguyên tắc tối quan trọng: Bạn không được phép chặn thu thập dữ liệu bằng Disallow đối với trang đó. Google phải vào đọc được trang thì nó mới thấy thẻ noindex để gỡ bỏ nội dung.
Cách tạo, cấu hình và kiểm tra robots.txt
Tệp tin này bắt buộc phải viết thường toàn bộ (robots.txt), mỗi tên miền chỉ được phép có một file duy nhất đặt ở thư mục gốc.
Với các website dùng WordPress, những plugin SEO như Yoast hay Rank Math có thể tự động tạo ra một file robots ảo và cho phép bạn chỉnh sửa ngay trong trang quản trị. Với các website khác, bạn có thể tự tạo file text bằng Notepad, viết lệnh và tải lên qua thư mục gốc của hosting.
Thực tế, các website nhỏ không cần cấu hình quá phức tạp. Bạn chỉ nên dùng Disallow cho các khu vực nội bộ không cần lên top như: trang đăng nhập admin, trang giỏ hàng thanh toán, trang kết quả tìm kiếm nội bộ, hoặc các trang trùng lặp nội dung. Để kiểm tra hệ thống của mình, bạn có thể tự gõ tenmien.com/robots.txt lên trình duyệt, hoặc chạy thử công cụ SEO Audit tự động của cloudmoon.net để hệ thống kiểm tra sự hợp lệ của cú pháp nhé.
Câu hỏi thường gặp
Website nhỏ dạng blog cá nhân thì có bắt buộc phải tạo file robots.txt không?
Về mặt kỹ thuật là không bắt buộc. Nếu không có file này, Googlebot sẽ ngầm hiểu là nó được phép quét toàn bộ mọi ngóc ngách trên website của bạn. Tuy nhiên, việc có file này vẫn được khuyến khích để khai báo dòng lệnh Sitemap cho chuẩn chỉ.
Nếu tôi dùng lệnh Disallow chặn một bài viết cũ, thì bài viết đó có bị xóa khỏi Google ngay lập tức không?
Không hề. Như đã giải thích ở trên, Disallow chỉ chặn bot vào quét thêm dữ liệu mới. Google vẫn có thể giữ URL đó trên kết quả tìm kiếm thông qua các link liên kết từ ngoài trỏ vào.
Giữa việc cấu hình file robots.txt và dùng thẻ meta noindex thì chúng khác nhau cốt lõi ở điểm nào?
File robots.txt kiểm soát hành vi "quét dữ liệu" (Crawl) của bot để tiết kiệm tài nguyên máy chủ. Thẻ meta noindex kiểm soát hành vi "lưu trữ và hiển thị" (Index) trên trang kết quả tìm kiếm. Chúng có nhiệm vụ hoàn toàn khác nhau.
Tệp robots.txt và tệp sitemap.xml có phải là hai thứ giống hệt nhau không?
Không, chúng bổ trợ cho nhau nhưng khác nhau hoàn toàn. Robots.txt là "biển báo giao thông" chỉ định đường nào được đi và đường nào cấm. Sitemap là "tấm bản đồ" vẽ ra toàn bộ mạng lưới đường sá để bot đi nhanh hơn.
Nếu tôi vô tình gõ sai cú pháp (chẳng hạn như Disallow: /) thì hậu quả nghiêm trọng thế nào?
Chỉ một dấu gạch chéo sai chỗ (ví dụ Disallow: /) cũng sẽ ra lệnh cấm bot Google truy cập vào TOÀN BỘ website của bạn. Hậu quả là toàn bộ các trang của bạn sẽ dần dần rớt hạng và biến mất sạch khỏi kết quả tìm kiếm.
Nói gọn: Robots.txt là một tệp cấu hình nhỏ nhưng mang sức mạnh to lớn trong việc kiểm soát luồng thu thập dữ liệu của công cụ tìm kiếm. Hãy hiểu đúng bản chất của lệnh Disallow và thẻ noindex để có chiến lược điều hướng bot một cách an toàn và tối ưu nhất.
Chưa có bình luận nào. Hãy là người đầu tiên!