Nhờ hỗ trợ về robots.txt

Hi các bạn
Mình hiện tại đang quản lý website:

Mã:

http://radiantglobal.vn

Khi mình nhận website và vào web master tool thì nhận thấy file robots.txt như sau:

Mã:

# we use Haravan as our ecommerce platform

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkout
Disallow: /checkouts
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /blogs/*+*
Disallow: /blogs/*%2B*
Disallow: /blogs/*%2b*
Disallow: /*facebook_store_view*
Disallow: /*5giay_store_view*
Disallow: /*webtretho_store_view*
Sitemap: http://radiantglobal.vn/sitemap.xml

User-agent: Nutch
Disallow: /

Phần thắc mắc của mình:
- Sitemap: có trong này tức là sao?
- Chặn facebook, 5giay, webtretho như viết ở trên nghĩa là gì?
Mong mọi người giúp đỡ mình để biết thêm chi tiết. Trước giờ thì phần robots, sitemap thì không có care bởi có người khác nắm và hiểu hơn mình.Giờ thì tới lượt mình.Khổ quá nên nhờ anh em IDVS hỗ trợ giúp mình

 

Mong mọi người giúp đỡ. E đang hocj hỏi. Các bạn giúp đỡ đi ạ. Cảm ơn! Chúc bạn thành công

 

File này là file chặn bot index web khi trong quá trình thiết kế web, bác mới nhận site thì 1 là bảo họ bỏ disallow đi cho bác như trong wp sẽ có cái tick bỏ chọn còn trong haravans thì mình ko rõ có không, có thể bỏ thủ công
Có sitemap trong đó ko sao nhé, cấu trúc này bạn sẽ thấy trong blogspot google gợi ý file robots như vậy
Disallow:/ đang chặn bot vào tất cả các link sau dấu /
Nói chung là để web index thì bỏ cái Disallow: / đi, ko biết về code cứ bảo thằng code nó xử lý cho

 

Mình biết là robots.txt là chặn bot index.
Nếu được bạn thể giải thích hai câu hỏi trên của mình được không?
P/S: @Ganoipho6 trả lời giúp mình 2 câu hỏi được hem

 

Đường dẫn sitemap có trong robots.txt giúp bọ google nhận sitemap bạn, qua đó giúp index site bạn nhanh hơn, chặn index những url có dạng sitecủabạn.com/(ký tự bất kỳ)webtretho_store_view(ký tự bất kỳ)
Bạn làm SEO mà không quan tâm về sitemap và file robot là nguy hiểm lắm nha, cứ như file robot trên của bạn thì seo hoài không lên bởi vì chặn index của toàn trang rồi

 

Hi bạn như website của mình bị chặn như vậy thì nên bỏ cái nào ra.
Có phải những link dưới không

Mã:

Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /blogs/*+*
Disallow: /blogs/*%2B*
Disallow: /blogs/*%2b*

Nếu như mình edit lại thì có cần bên code họ hỗ trợ không bạn?
Hay chỉ cần mình edit trong web master tool là được

 

Theo mình thì:
1/ Sitemap trong robots.txt: giúp rô bốt google dễ nhận biết được sitemap của website bạn (vì bốt google ghé thăm 1 website đầu tiên nó sẽ lục lọi file robots.txt trước mà). như vậy sitemap sẽ được liên tục được google cập nhật hơn và index bài cũng dễ dàng hơn cho bốt google.
2/ Disallow: /*facebook_store_view*, Disallow: /*5giay_store_view*, Disallow: /*webtretho_store_view* => Web này thiết kế của Haravan, Haravan có phần quản trị gian hàng liên kết với gian hàng trên facebook store, 5giay...cái này cho phần quản trị không cần phải index nên chặn lại thôi.
Hiện website đó cũng đang chặn tất cả nhé (Disallow: / ). Bạn nên xem cấu trúc bên trong thì mới biết nên chặn cái gì và bỏ chặn cái gì. Sửa lại file robots.txt, submit lại sitemap.xml trong webmaster tools

 

Nội dung của file robot.txt tuỳ thuộc vào mã nguồn mà bạn viết ra trang web đó, hiện tại không biết web bạn viết bằng mã nguồn gì?

 

Thánh phán à bạn, ngôn ngữ php, thiết kế là web hệ thống của haravan

 

Giờ để đơn giản hơn cho bạn thì như thế này, vì cấu trúc chặn thế này bên webmaster cũng có ý đồ của nó.
Bạn xem site bạn cần index phần nào thì kiểm tra xem nó có chặn phần đó không?
Ngoài bot Google ra thì bạn cần bot nào đọc web của bạn nữa không?
Ví dụ: Bing, coc coc, yandex.
Còn lại thì không càn quan tâm nhiều nhé bạn, vì có nhiều site nó chặn luôn bot đọc javascript này nọ tùm lum hết, rồi chặn bot crawl
Như hiện tại có nhiều bạn bảo là web bạn đang chặn tất cả, nói như thế giảm nói tránh thì là chưa chuẩn, còn nói đúng là SAI.
HIện tại web bạn đang chặn con bot Dutch đọc toàn bộ web của bạn (Còn google, bing, coc coc, yandex, bla bla bla thì vẫn chưa chặn nên bạn an tâm nhé).