Robots.txt có thực sự cần thiết cho SEO?

Bác ơi, thấy site về cỏ nhân tạo của bác chặn cả sitemap là sao bác hỉ? Không hiểu lắm. Em tưởng phải cho Bots cập nhật sitemap chứ?

 

VỚi File robots.txt bạn sẽ hết tác dụng của nó khi SEO từ khóa có độ cạnh tranh cực kỳ cao. còn đối với với mấy keywords trung bình và thấp thì sẽ k thấy đâu. Và lượt index sẽ rất là lộn xộn. SEO link này lên link khác.

 

Đang định hỏi về Robots.txt, sẵn có toppic này các pro cho mình hỏi với. File robots.txt này có bình thường ko vậy các pro

Mã:

http://sanphukhoahcm.com/robots.txt

 

Đợt vừa rồi mình có bỏ file robots.txt và cả sitemap, bài viết vẫn được index, từ khóa không có gì thay đổi nhiều.
Có điều với bài từ khóa với và từ khóa mới đẩy lên, khi search từ khóa, nó lại trả về kết quả là danh mục dịch vụ, chứ ko trả thẳng về bài viết đang làm. Có thể cho rằng ko có file robots.txt thì google index linh tinh

 

Rất cần. Đây là file bot google sẽ ghé thăm đầu tiên khi index site của bạn. Nó sẽ đọc để xem bước tiếp theo nó sẽ được craw mục nào và không được phép craw mục nào. ví dụ bạn có mục thông tin khách hàng thì hãy chặn không cho bot google craw. vì như thế mọi thông tin khách hàng của bạn sẽ bị phơi bày trên mạng. và tất nhiên đối thủ sẽ cươp trên giàn mướp luôn rồi.

 

nó rất cần cho wed. Có nó bọn google mới có thể vào tìm kiếm dữ liệu , Giúp web của bạn có thứ hạng trên bộ máy tìm kiếm của google

 

với người biết dùng thì nó có ích còn người không biết dùng thì cảm thấy nó không có ích. robots mình dùng để bot ko đi vào các link mình ko thích cho index

 

nó không cần thiết trong SEO đâu chủ topic ạ, vì không biết dùng thì có cũng như không thôi, hỏi trên đây là đủ biết rồi.

 

Điều hướng bots khi vào site, chặn những link, những bots không mong muốn.
Nói chung với cá nhân mình nó rất cần thiết cho bất kỳ dự án nào

 

nếu không có file robot.txt thì cái gì bọn bot nó cũng cawl hết, kể cả thư mục admin, thư mục linh tinh của host nó ảnh hưởng đến bảo mật và cũng chả có lợi gì cho seo.

Một số website mới, có rất nhiều thư mục, bạn muốn bot chỉ tập chung cawl những dữ liệu quan trọng để index trước thì tối ưu robot.txt là rất cần thiết