Cấu hình file robots.txt chuẩn blogger mới nhất 2015

Lần đầu tiên viết bài chia sẽ lên IDVS có gì sai sót mong mọi người bỏ qua.
Mấy hôm nay mình có làm site bằng blogger đến phần robots.txt thì lên google tìm nhưng toàn mấy cái hướng dẫn củ ơi là củ. Sau một thời gian tìm hiểu thì mình đã viết được file robots.txt chuẩn blogger (có thể nói là mới nhất và chưa được ai share trên google).

Mã:

User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search?q=*
Disallow: /*?updated-max=*
Allow: /

Sitemap: http://tên-miền/sitemap.xml

Sau đây mình sẽ lý giải từng cái:

Disallow: /search?q=* cái này là ngăn cho google lập chỉ mục tìm kiếm, có nhiều hướng dẫn trên google Disallow: /search thì hoàn toàn là sai lầm. Vì url chuyên mục cũng có "search" do đó nó cũng dẫn đến chặn google lập chỉ mục chuyên mục.

Disallow: /*?updated-max=* cái này là ngăn google lập chỉ mục phân trang chuyên mục + trang chủ để google không báo trùng lặp nội dung.

Sitemap: tên-miền/sitemap.xml cái này nhìn là biết sitemap rồi. Có nhiều hướng dẫn trên google là để cái url dài khó nhớ vãi nồi. Nhưng bây giờ thì blogger đã có url sitemap chính thức là tên-miền/sitemap.xml rồi vì vậy đừng dùng cái url dài kia nữa

HẾT
P/S: Bài viết được chia sẽ đầu tiên tại IDVS vậy để nguồn ở đâu nhỉ?

 

Chia sẻ là rất tốt nhưng robots.txt blog của mình khác gần như hoàn toàn chỉ giống mỗi cái sitemap thôi vẫn ngon lắm nên thấy là không có gì gọi là chuẩn cả, cái này tùy mục đích của chủ blog thôi. Như mình là dùng search custom của gg thì không cần cái chặn tìm kiếm kia đâu. Còn cái update... rất nhiều key trên gg của blog mình có chữ đó, nếu chặn khác gì tự giết mình nhỉ? Nói chung chưa chắc chặn đã hay đâu, nên tính cẩn thận nha.

 

Robot đó giờ chạy vẫn tốt mà, từ khóa vẫn lên vù vù nội dung index cũng tốt, nên cũng không cần chỉnh sửa tiếp

 

Chỗ này có nhầm chút nào không bạn

Mình nghĩ là cần thêm dấu / sau Disallow chứ nhỉ

 

Dùng cho web có mã nguồn khác được ko bạn. Giúp mình với web wordpress và joomla với. Thanks bạn

 

mình dùng blogspot thì mặc định khi bật robot .txt là nó ra như thế rồi

 

Đây bác, cái robot mặc định là nó chặn label index còn cái này nó cho label index nhưng mà không có các phân trang, các trang con tự sinh nó index mà

 

Mình nhìn nhầm đoạn search, của bác là không cho tìm kiếm lập chỉ mục

 

Mình tìm kiếm trên mạng không thấy dòng mã này nhỷ?

 

Xin góp ý

Mã:

User-agent: Mediapartners-Google
Disallow:

Cái này là cho Bot Google Adsense vào, nếu không có thì cũng không ảnh hưởng.

Tôi mới đầu seo Blogger cũng cấu hình tùm lum, giờ ít rồi cứ để cơ bản mà key vẫn top ầm ầm.