Website vẫn top 01 mặc dù đã disallow toàn bộ robots.txt

Chắc tên miền chứa từ khóa nên được top thôi chứ a.
Và top này em nghĩ cũng không bền vững được .

 

hay nhỉ . hay là xóa từng link bài viết ở google webmaster tool xong để lại mỗi trang chủ sau đó mới update lại file robots nhỉ .
Thỉnh thoảng khi tìm kiếm một số từ khóa thấy nhiều site cũng chặn robots toàn site mà vẫn còn url index .

 

Từ khóa đó thành thương hiệu riêng cho domain đó luôn rồi, chặn thì chặn thương hiệu nó vẫn hiện thôi

 

Theo mình hiểu file robots là tệp tin điều khiển bots truy cập website của mình. Nhưng ở đây người dùng đã cấm toàn bộ bots truy cập đồng nghĩa với việc không được index nhưng tại sao lại vẫn index nhỉ? cao nhân nào giải thích trường hợp này không ?

 

Đã tìm ra đáp án, lệnh trong file robot.txt chỉ chặn index các trang con chứ không chặn index trang chủ. Đây là mình kiểm tra index bằng lệnh site 2 link sau.

Link đầu tiên là một thư mục Advertiser, chỉ index sub domain chứ không index link đó còn link kiểm tra thì có dòng thông báo trong des là bị chặn bởi robot.txt



Link thứ hai là một bài viết trong mục tin tức được publish từ 24/09/2014 thì không index



Vì vậy kết luận là file robot.txt này chỉ chặn các mục con, không chặn trang chủ cùng với các subdomain nên vẫn top 1 là phải rồi

 

Mình nghĩ có khi nào chặn thì nó chặn gg index nội dung, nhưng còn yếu tố đó là domain, có khi nào domain chứa từ khóa nên được lên top chăng.

 

Theo mình nghĩ thì chặn tất cả sau cái dấu / này chứ không chặn cái trứớc dấu /, nên top vẫn xảy ra bình thường.

 

Có khả năng không cho cái này Allow: nên bot không được phép làm gì. Mình nghĩ thế chứ mấy cái này mình không học hành gì nên kiến thức hạn chế lắm.