Nội dung web đã index rồi lại mất

robots.txt chỉ cần như bên dưới là được rồi thớt :

Mã:

User-agent: *
Allow: /
Sitemap: https://www.lekhuyenmobile.com/sitemap.xml

- Có nhiều bots khác (không phải của Google) nó không tuân theo robots.txt đâu.
- Cái Disallow dễ bị đụng với thẻ meta robots.
- Còn sitemap thì để Blogger cập nhât rồi, tự thêm post nếu có bài mới. Như cách của thớt thì đã cũ và nó sẽ không thêm nếu lượng post lớn hơn số lượng đã khai báo.

 

nếu mình không Disallow google sẽ index hết những label phân trang và
archive thì làm thế nào a