Hỏi về robot.txt

Các seoer cho em hỏi có khi nào mà robot của google chỉ cho index một page nào đó trong web mà không cho index ở page khác không nhỉ?

 

tùy bạn viết file robots như thế nào chứ bạn. bạn mà disallow 1 URL nào đó thì làm sao nó index dc

 

Nghĩa là nếu mình không disallow cho một URL nào thì nó sẽ cho phép index cho cả web đúng khoong bạn

 

ok đúng rồi bạn. nhưng bác nên disallow 1 số cái ko cần thiết

 

dis hết để làm gì chủ top, hoặc dùng thẻ meta để noindex