Công cụ tạo & kiểm tra Robots.txt

Xây dựng các quy tắc thu thập thông tin và kiểm tra đường dẫn nào Googlebot có thể truy cập.

Quy tắc thu thập thông tin

Bắt đầu với trình thu thập thông tin (crawler) sẽ tuân theo các quy tắc này.

Sitemap

Robots.txt đã tạo

0
Sẵn sàng. Ví dụ mẫu chặn đường dẫn /admin đối với tất cả các trình thu thập.

Kiểm tra quy tắc

    Kiểm tra một đường dẫn

    Các quy tắc thu thập thông tin của bạn được tạo và kiểm tra ngay trong trình duyệt. Không có dữ liệu nào được tải lên BroBroGo.

    Hỏi đáp

    Công cụ tạo này có thể thêm những gì vào robots.txt?

    Thêm một nhóm user-agent, các đường dẫn Allow và Disallow, cùng một hoặc nhiều URL sitemap. Bản xem trước đã sẵn sàng để sao chép vào tệp robots.txt.

    Công cụ kiểm tra đường dẫn lựa chọn quy tắc như thế nào?

    Nó tuân theo thứ tự khớp của Google: đường dẫn khớp dài nhất sẽ thắng. Nếu các quy tắc Allow và Disallow khớp nhau có độ cụ thể bằng nhau, quy tắc Allow sẽ thắng.

    Quy tắc Disallow có xóa trang khỏi Google Tìm kiếm không?

    Không. Một trang bị chặn vẫn có thể xuất hiện trong kết quả tìm kiếm nếu có các trang khác liên kết đến nó. Hãy sử dụng thẻ noindex, kiểm soát quyền truy cập hoặc xóa trang khi bạn muốn giữ trang đó hoàn toàn không xuất hiện trên công cụ tìm kiếm.

    Định dạng & Xác thực XMLĐịnh dạng, nén và kiểm tra cấu trúc XML ngay trong trình duyệt của bạn.Bộ mã hóa/giải mã URL + Thực thể HTMLMã hóa URL, giải mã mã hóa phần trăm và escape thực thể HTML.Công cụ tạo URL SlugChuyển đổi tiêu đề trang thành các URL slug sạch sẽ, được nối bằng dấu gạch ngang.Công cụ tạo XML SitemapChuyển đổi các URL trang và siêu dữ liệu thu thập thông tin thành tệp sitemap.xml sẵn sàng sử dụng.Công cụ tạo thẻ HreflangThêm từng URL được bản địa hóa và nhận bộ hreflang hoàn chỉnh với x-default.Công cụ kiểm tra thẻ CanonicalNhập URL trang để tìm thẻ canonical và so sánh nó với địa chỉ trang.Công cụ tạo quy tắc chuyển hướngChuyển đổi các ánh xạ CSV nguồn và đích thành các quy tắc 301 hoặc 302 cho Nginx, Apache và Vercel.