Nên và không nên đặt gì trong file Robots.txt?

Mọi người cho e hỏi nên đặt những gì trong File Robots.txt? Disallow những gì và Allow những gì?

 

thế còn phải xem bạn muốn google bot thu thập những gì ở site bạn, nếu muốn nó thu thập tất cả thì Allow tất cả, còn có những phần bạn không muốn thì Disallow phần đó

 

Những phần nào là ko nên cho GG đi vào hả bác?

 

Những thư mục quan trọng, tùy vào từng mã nguồn mà bác, bác hỏi chung chung thế em đường nào mà nói

 

Vậy bác vd hộ e từng trường hợp cụ thể vs. Đối với WP, Blogger, Joomla, VBB. Thank bác

 

Em ví dụ cho bác về wp thôi nhé , những cái khác áp dụng tương tự

 

THanks bác nhiều ạ