Nhờ hỗ trợ về robots.txt

Sao bạn biết hay thế, mình là thánh phán nổi tiếng cộng đồng mạng mà. Bạn đưa ra một file robot.txt cho web mình thiết kế .NET xem nào?

 

Bạn vào:

Mã:

http://radiantglobal.vn/admin

Sẽ biết được web này thuộc web hệ thống của haravan. Mà hệ thống của haravan là php nhé

 

Nói chung là hiện tại website của mình ổn đúng không và không có vấn đề gì.
Việc bên haravan chặn:

Mã:

Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkout
Disallow: /checkouts
Disallow: /account

Mình thấy cái này cũng được thôi mình có thể bỏ qua cái này
Còn theo cái dưới thì:

Mã:

Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /blogs/*+*
Disallow: /blogs/*%2B*
Disallow: /blogs/*%2b*

Mình hiểu là:
- Chặn các mục theo link là: "website/collections/..." với các dấu đặc biệt là "%,+"
- Với "blogs" cũng tương tự như vậy
Vậy bot nó có chặn "website/collections/abcsd" này không.
Mình kiểm tra thì link:

Mã:

http://radiantglobal.vn/collections/may-in-hoa-don-wincor

Vẫn được google index nhé.
Cảm ơn bạn đã chia sẽ

 

Hệ thống web Haravan tự động thêm cho bạn. Robots.txt như vậy là chuẩn rồi bạn nhé, khỏi lăn tăn chi cho mệt người.

 

Bỏ cái này đi nha bạn: Disallow: /
Vào phần quản trị của site bạn, xem có phần nào chỉnh sửa file robots.txt không? Nếu không có thì nếu bạn quản lý host thì vào file robots.txt trong root mà sửa, còn không thì nhờ bên thiết kế site - quản lý host bạn sửa