Tình hình là e muốn xóa hết Index gg cũ nên đã ngăn google bot vào site " Disallow: / " Sau đó khi xóa xong Index thì e bỏ dòng đó đi trong robots.txt Như vậy googlebot có còn truy cập vào robots.txt để cập nhật lại googlebot không các bác ? Hiện tại thì e vẫn thấy 2-5 cái IP ở United States, California, Palo Alto truy cập vào site, khi " Disallow: / " đi thì k thấy IP đó truy cập
cái đó bác chặn trong file robots thôi , bác muốn xóa khỏi index thì vào google webmastertool tìm mục xóa index , paste url vào cho nó xóa rất nhanh
nếu lỡ chặn Disallow: / toàn bộ site, trong đó có luôn robots , vậy có cách nào sửa lại không các bác ?
Nhưng giờ lỡ chặn rồi , WMT cũng báo là "Googlebot bị chặn khỏi " . Vậy sửa file robots thì có được cập nhật lại trong WMT nữa không ?
hình như xóa file robots thì google vẫn vào index mà bác, chỉ khi nào mình disaloow trong file robot thì bot nó không vào thôi, còn không có thì nó mặc định là vào tất cả để index.
khoảng mấy bữa thì google cập nhật robots bác nhỉ ? google tool cập nhật sao chậm quá,chậm hơn 2-3 bữa lận
Config lại file robots.txt chặn những thư mục nào cần thiết thôi là được. Sau đó làm sao để google boot vào site bạn càng sớm càng tốt là được