Hỏi về cách cấu hình tập tin robots.txt

Mình mới làm seo không biết tại sao web của mình đang seo cách đây hơn 1 tháng rồi, nhưng tìm không thấy nằm ở đâu hết và cái quan trọng là copy nguyên link bỏ google search thì nó báo nguyên dòng như thế này
Không có mô tả cho kết quả này do robsot txt của trang web này – tìm hiểu thêm

có bạn nào nằm trong diện mạo như thế này thì khắc phục được giúp mình với. Mình nghĩ đây là do host thì phải.
thanks nhiều

 

Cho cái hình ảnh nhìn đã ghét rồi.
File robot thường nằm ở thư mục root luôn, bạn vào đó tìm.
Ngoài ra có một số mã nguồn hoặc đơn vị thiết kế website họ tích hợp luôn ở trong bảng điều khiển để dễ quản lý hơn nên nhiều khi bạn cũng không thấy được. Nhưng sẽ có thẻ meta robot, noindex, nofollow gì đó.

 

cái này do file robots của bạn có vấn đề nha. 1 là lỗi ngay trong file (vào webmaster tools mà check). 2 là sitemap trong file có vấn đề. Mình cũng bị rồi khi chạy song song 2 tên miền. Bạn cho mình xem file robots cái

 

Web này mình dùng bằng wp. Nhưng tự nhiên dùng xml-sitemaps dot com tạo thì không được.

 

~.~ Thế thím đã check file robots.txt chưa? Đã kiểm tra mã HTML xem có hẻ Noindex không? Rồi còn chưa kể đến file .htaccess
Ba cái đó mà không vấn đề gì (thì thường là do bên cung cấp hosting/server họ chặn) tìm nạp lại lần cuối nếu vẫn thế thì liên hệ bên cung cấp hosting/server bảo người ta đổi.

 

Tìm file robots.txt sửa thành thế này :

Mã:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

Sửa xong thì vào đây submit lại url là được

Mã:

https://www.google.com/webmasters/tools/submit-url

 

lên gg search là ra ngay cách cấu hình robots thôi mà, quan trọng bạn phải hiểu cái file robot nó có ý nghĩa thế nào đã

 

Mình nghĩ file robots chẳng có gì đặc biệt, nhưng hiện tượng trên chắc có lẽ do hostting rồi.

 

cái này có cũng được không có cũng không sao