Anh em giúp khắc phục dùm lỗi robots.txt cái!

Tình hình là cái forum của mình nó bị lỗi robots.txt

mình chỉ chuyên về seo, ko rành mấy vụ code này như thế nào cả, ông IT thì bỏ của chạy lấy người rùi, cả tháng nay bị lỗi ấy mà ko biết cách khắc phục như thế nào cả, lên diễn đàn tim hiểu nhưng chung chung quá, không biết tạo file robot như thế nào, tạo bằng cái j ? và lưu đuôi như thế nào ? và up lên host ở vị trí nào ? hay up lên trong admincp của diễn đàn, hix hix
Mong anh em chỉ giáo dùm cái, pr đang 1 bay về 0 mất rồi :choang:

 

Bạn có thể tham khảo nội dung robots.txt của IDVS tại đây : https://forum.idichvuseo.com/robots.txt
Tạo robots.txt rất dễ dàng bằng cách mở notepad lên, gõ nội dung vào và lưu lại dưới cái tên robots, định dạng *.txt
Sau khi có file robots, bạn up lên host, ngang cấp với file index

 

file robots.txt của forum IDVS bị sai đường dẫn, /diendan/ làm gì có phải không? Phải loại nó google mới hiểu

 

[byg]seo làm văn thì dở lắm, viết thì dài dòng nên [byg]seo mạn phép xin được dịch nguyên tác của google về hướng dẫn tạo file robots.txt hy vọng sẽ giúp ích được bạn. Trình tiếng anh của [byg]seo có hạn nên đã cố gắng hết sức dịch cho bạn dễ hiểu, hihi...

robots.txt là file văn bản có cấu trúc, khi các spider (bot, crawler) của các SE (Search engine) vào website để thu thập dữ liệu thì sẽ vào file robots.txt để xem các chỉ dẫn trong file này.

robots.txt có thể quy định từng loại bot khác nhau của các SE khác nhau có thể vào website hay từng khu vực của website hay không?

Vài loại bot của các SE: Googlebot (Google), Googlebot-Image(Google), Yandex(SE của Nga), Bingbot(Bing)/Yahoo Slurp(Yahoo)...

Những cú pháp thông dụng trong file robots.txt

User-agent: đối tượng bot được chấp nhận
Disallow/Allow: URL muốn chặn/cho phép

*: Đại diện cho tất cả

Ví dụ: User-agent: * (Có nghĩa là chấp nhận tất cả các loại bot.)

Khóa toàn bộ site
Disallow: /

Chặn 1 thư mục và mọi thứ nằm trong nó
Disallow: /wp-admin/

Chặn 1 trang
Disallow: /private_file.html

Loại bỏ 1 hình từ Google Images
User-agent: Googlebot-Image
Disallow: /images/123.jpg

Bỏ tất cả các hình từ Google Images:
User-agent: Googlebot-Image
Disallow: /

Chặn 1 file hình bất kỳ, ví dụ .gif
User-agent: Googlebot
Disallow: /*.gif$

Những điều cần tránh trong file robots.txt

- Phân biệt chữ hoa chữ thường.

- Không được viết dư, thiếu khoảng trắng.

- Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.

- Mỗi một câu lệnh nên viết trên 1 dòng.

Cách tạo và vị trí đặt file robots.txt

- Dùng notepad tạo file, sau đó đổi tên file là robots.txt.

- Đặt ở thư mục gốc của website. (http://sitename.com/robots.txt)

 

Uhm, web mình mới tinh, pr0 thui ak, chưa có từ khóa nào vào top cả thì làm sao bạn thấy được, hehehe
Trang bạn đẹp nhỉ !

 

không biết bạn đã sửa được chưa?
Mình cũng bị lỗi này là sao bạn nhỉ?

 

thế mình vào host ném vào mục nào vậy bạn?

và cái file root trên phải sửa như thế nào cho đúng => site của mình là : raovattoanquoc.info

mong mọi người giúp cho: raovattoanquoc.info/robots.txt.

 

Bác đã up lên host đâu bác

Bên em thì đặt như sau:

PHP:

User-agent: *
Allow: /

Disallow: /Control/
Disallow: /App_Data
Disallow: /binDisallow: /js

Sitemap: http://asahoo.vn/sitemap.xml

Bác k cho Bot craw đến folder hay tập tin nào thì cho vào Disallow.

 

Thế mình làm i chang như của bác có được không?

PHP:

User-agent: *
Allow: /

Disallow: /Control/
Disallow: /App_Data
Disallow: /binDisallow: /js

Sitemap: http://raovattoanquoc.info/sitemap.xml  

 

Chắc chắn là k đc roif bác ơi, vì bên bác thì các folder nó khác bên em mà, làm sao mà để giống hệt em được.

Bác k muốn cho bot vào phần nào thì disallow nó lại là ok, ví dụ có folder là ajax mà bác k muốn bot vào thì disallow: /ajax