Chào mọi người Mọi người cho xin em code cho Robot.txt của Blogspot: Tác dụng chặn hết các Bot check link như Ahref, MOZ..... ngoại trừ Google, Bing, Yahoo (tức là chỉ cho Google Bot, Bing, Yahoo vào site) Cám ơn mọi người
Một số ít ít, bác nào có những cái khác thì chia sẻ cùng nhau chặn nhá Tác dụng thì như tiêu đề rồi, Chặn bot các công cụ check link site chính. Cái này dành cho việc đặt ở hệ thống vệ tinh Mã: User-agent: AhrefsBot Disallow: / User-agent: spbot Disallow: / User-agent: BLEXbot Disallow: / User-agent: Blekkobot Disallow: / User-agent: SEOkicks-Robot Disallow: / User-agent: Gigabot Disallow: / User-agent: DotBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: Exabot Disallow: / User-agent: rogerbot Disallow: /
cái này đầu tiên là chặn hết, sau đó là mở từ thằng mình muốn vd User-agent: * Disallow: / User-agent: Googlebot Allow: /
Bạn có thể vào đây để tham khảo thêm về file robot.txtHTML:http://www.robotstxt.org/robotstxt.htmlĐể cho phép bot nào ghé bạn hãy search google theo cú pháp: "How to allow Tên_Search_Engine bot" Rồi tìm đến chính trang chủ của Search Engine đó làm theo hướng dẫn và thêm từng dòng. Ví dụ: Để chặn hết tất cả các bot chỉ cho phép bot của google truy cập bạn có thể sử dụng cú pháp HTML: User-agent: Google Disallow: User-agent: * Disallow: / Chúc bạn SEO top.