Hướng dẫn tạo file robots.txt

File Robots.txt được sử dụng để hướng dẫn công cụ tìm kiếm tự động đến những trang nào mà bạn muốn nó tìm kiếm và sau đó thì index trang đó. Hầu hết trang web nào cũng có những thư mục và files không cần đến robot của công cụ tìm kiếm ghé thăm. Do vậy tạo ra file robots.txt có thể giúp bạn trong SEO.

File robots.txt có 3 mục chính

1. User-agent:* chỉ định và cho phép các công cụ tìm kiếm vào index website bạn. Nên để chế độ * để cho phép tất cả các công cụ vào web
2. Allow: cho phép công cụ tìm kiếm vào các thư mục đc chỉ định
3. Disallow: /folder : ngăn chặn công cụ tìm kiếm vào các thư mục quan trọng mà bạn cảm thấy không cần lên google  VD: tôi không muốn robots tìm kiếm vào thư mục image thì tôi sẽ đặt giá trị là : Disallow:/image/
4. Sitemap: bạn có thể để đường dẫn site map của bạn ở đây, cái này có cũng được không cũng đc, vì trong phần thiết lập của Google webmastertool có phần đẩy sitemap lên cho google rồi 

Nếu bạn sử dụng google webmaster thì họ cũng cho bạn tạo file robots.txt trên chính công cụ của họ, đó là cách nhanh chóng để google index web của bạn
Ngoài ra bạn có thể tạo file robots.txt tại đây :http://www.mcanerin.com/en/search-engine/robots-txt.asp