Cách tạo và sử dụng file Robots.txt

Robots.txt là gì? Nó là file dạng văn bản, nó giúp cho các bots hiểu được nên theo hay không theo, kiểu như nofollow và dofollow trong liên kế. Cách tạo và sử dụng file Robots.txt thế nào?, bài viết này sẽ giúp bạn điều đó.

​

Sử dụng file robots.txt​

Mã:

User-agent: *
Disallow: /wp-
Disallow: /feed/
Disallow: /trackback/

“User-agent” có nghĩa là tất cả những robot tìm kiếm từ Google, Yahoo và MSN nên sử dụng hướng dẫn này của bạn để tìm kiếm trang web.
“Disallow: /wp-“: dòng code này báo cho công cụ tìm kiếm biết nó không nên “lục lọi” ở những filé của WordPress bắt đầu bằng wp-.

Nếu bạn không sử dụng WordPress, bạn chỉ việc thay thế dòng Disallow với files và folders mà bạn không muốn nó “dòm ngó”, ví dụ:

Mã:

User-agent: *
Disallow: /images/
Disallow: /cgi-bin/

Mình có tìm được một trang tạo file robots.txt rất hay, mọi người có thể tham khảo tại đây: Robots.txt Generator

Copyright @ 2013 - www.vnseo.edu.vn
Ghi rõ nguồn "vnseo.edu.vn" khi phát hành lại nội dung này!​

 

Bài viết còn hơi đơn giản xíu, em xin chia sẻ robots.txt khá tốt cho Wordpress. Blog em chỉ cần 1p là index rồi

 

theo bác chủ top thì làm sao có thể chặn dc 1 link quảng cáo từ vatgia ads? Thật ra file robots.txt này thì khá đơn giản nhưng có gặp xíu rắc rồi về link động quảng cáo của vatgia?

 

google cũng có công cụ tạo file robots rồi

 

theo minh thì cứ allow tất thôi, mấy site lớn đều thế

của mình là
User-agent: *
Allow: /

 

bài này có rất nhiều người đề cập đến rồi, dù sao cũng thank bạn

 

theo mình thì rất đồng tính với ý kiến này

 

Tất nhiên là đơn giản và dễ dàng nhất. Nhưng nếu muốn bot "lục lọi" ở những nơi cần thiết và index nhanh hơn thì không nên bác à

 

Site mình xài drupal thì lên dùng file robots.txt như nào cho hợp lý nhỉ, mọi người chỉ giáo cái . thanks

 

Bạn thử xem

Mã:

Disallow: /admin/
Disallow: /aggregator
Disallow: /comment/reply/
Disallow: /contact
Disallow: /logout
Disallow: /node/add
Disallow: /search/
Disallow: /user/register
Disallow: /user/password
Disallow: /user/login