Hướng dẫn thêm, sửa file Robots.txt

File Robots.txt dùng để hướng dẫn các công cụ tìm kiếm (Google, Bing…) biết những khu vực được phép hoặc không được phép thu thập dữ liệu trên website. Việc thêm hoặc chỉnh sửa đúng file Robots.txt giúp website thân thiện hơn với SEO và tránh index các trang không cần thiết.

I. Robots.txt là gì?

Robots.txt là một file văn bản nằm ở thư mục gốc của website, có đường dẫn:

https://tenmiencuaban.com/robots.txt

File này cho phép:

Chặn bot truy cập các trang quản trị, đăng nhập
Cho phép bot thu thập nội dung quan trọng
Khai báo Sitemap cho Google

II. Truy cập cấu hình Robots.txt

Tại giao diện quản trị website, di chuyển chuột vào menu Bài viết → chọn SEO → nhấn Cài đặt.Cuộn xuống khu vực ROBOTS.TXT

III. Cách thêm file Robots.txt (trường hợp website chưa có)

Bước 1: Tải file robots.txt lên website

Nhấn nút Tải tệp robots

Chọn file robots.txt từ máy tính
Hệ thống sẽ tự động tải và áp dụng file robots.txt cho website

Lưu ý:

File phải có tên chính xác là robots.txt
Không đổi tên file hoặc thêm đuôi khác (ví dụ: .txt.txt)

Bước 2: Kiểm tra nội dung file robots.txt

Nhấn nút Xem tệp robots

Kiểm tra nội dung file robots.txt đang được sử dụng trên website
Có thể tải lại trang bằng Ctrl + Shift + R (Windows) hoặc Cmd + Shift + R (Mac) để đảm bảo dữ liệu mới nhất

Sau khi hoàn thành các bước trên, file robots.txt đã được thêm thành công và website sẽ áp dụng cấu hình mới cho các công cụ tìm kiếm.

IV. Chỉnh sửa file Robots.txt

Bước 1: Xem và tải file robots.txt hiện tại

Nhấn Xem tệp robots

Click chuột phải vào nội dung hiển thị → chọn Save as… / Lưu thành…

Lưu file về máy với tên robots.txt

Bước 2: Chỉnh sửa nội dung file robots.txt

Mở file robots.txt đã lưu bằng:

Notepad (Windows)
TextEdit (Mac – chế độ Plain Text / Văn bản thuần)

Thực hiện chỉnh sửa nội dung theo nhu cầu.

Lưu ý quan trọng:

Không đổi tên file
Không để sai định dạng (ví dụ: robots.txt.txt)
Không chỉnh sửa bằng Word hoặc trình soạn thảo có định dạng

Sau khi chỉnh sửa xong, lưu lại file.

Bước 3: Tải file robots.txt đã chỉnh sửa lên website

Quay lại trang Cài đặt SEO
Nhấn Tải tệp robots
Chọn file robots.txt vừa chỉnh sửa để tải lên

Bước 4: Kiểm tra sau khi chỉnh sửa

Nhấn Xem tệp robots
Làm mới trang bằng Ctrl + Shift + R (Windows) hoặc Cmd + Shift + R (Mac)
Kiểm tra nội dung file đã được cập nhật đúng hay chưa

V. Nội dung robots.txt mẫu (tham khảo)

User-agent: *
Disallow: /admin/
Disallow: /login/
Disallow: /search/

Allow: /

Sitemap: https://tenmiencuaban.com/sitemap.xml