Mình mới làm site . File robots của mình như sau User-agent: * Allow: Sitemap: ..... Nhưng khi gửi sitemap thì bị cảnh báo url bị chặn bởi robots
Bạn xem mẫu: User-agent: * Sitemap: http://diachicuatoi.com/sitemap.xml xem thêm về giải thích và cách dùng robots.txt tại video sau Có các ví dụ sử dụng bạn xem mà làm theo. *Cái robots.txt này khá nguy hiểm nếu dùng sai, bạn phải hiểu rõ nó hãy làm, chưa rõ thì đừng làm theo người khác. k có nó cũng k tổn hại gì nhiều đâu.
Bạn này lười tìm kiếm quá .Sitemap bạn để 3 chấm là ko muốn show web ra hay là bạn cấu hình như thế .
Mã:User-agent: * Allow: / Sitemap: http://hinhhd.com/sitemap.xmlcủa mình như này, bình thường mà bạn, vẫn submit bình thường mà
link bị chặn của bạn nằm trong code, đoạn thẻ <head></head> thẻ meta robot content="noindex,....", bạn tìm nó và bỏ đi là được
