xác thực google maps

Xin code robot.txt chặn bot check link trên blogspot

Thảo luận trong 'Hỏi đáp - Trợ giúp SEO' bắt đầu bởi haiphamqn, 21 Tháng ba 2015.

Lượt xem: 5,376

  1. haiphamqn

    haiphamqn Thành viên

    Bài viết:
    177
    Đã được thích:
    18
    Chào mọi người
    Mọi người cho xin em code cho Robot.txt của Blogspot: Tác dụng chặn hết các Bot check link như Ahref, MOZ.....
    ngoại trừ Google, Bing, Yahoo (tức là chỉ cho Google Bot, Bing, Yahoo vào site)
    Cám ơn mọi người
     
  2. npthanh

    npthanh Thành viên nhiệt tình

    Bài viết:
    785
    Đã được thích:
    299
    Một số ít ít, bác nào có những cái khác thì chia sẻ cùng nhau chặn nhá :D
    Tác dụng thì như tiêu đề rồi, Chặn bot các công cụ check link site chính.
    Cái này dành cho việc đặt ở hệ thống vệ tinh :)
    Mã:
    User-agent: AhrefsBot
    Disallow: /
    User-agent: spbot
    Disallow: /
    User-agent: BLEXbot
    Disallow: /
    User-agent: Blekkobot
    Disallow: /
    User-agent: SEOkicks-Robot
    Disallow: /
    User-agent: Gigabot
    Disallow: /
    User-agent: DotBot
    Disallow: /
    User-agent: MJ12bot
    Disallow: /
    User-agent: Exabot
    Disallow: /
    User-agent: rogerbot
    Disallow: /
    
     
    haiphamqn thích bài này.
  3. llong

    llong Thành viên nhiệt tình

    Bài viết:
    526
    Đã được thích:
    85
    cái này đầu tiên là chặn hết, sau đó là mở từ thằng mình muốn
    vd
    User-agent: *
    Disallow: /
    User-agent: Googlebot
    Allow: /
     
  4. Đoàn Nguyễn

    Đoàn Nguyễn Thiết kế web Staff Member

    Bài viết:
    935
    Đã được thích:
    1,616
    Bạn có thể vào đây để tham khảo thêm về file robot.txt
    HTML:
    http://www.robotstxt.org/robotstxt.html
    Để cho phép bot nào ghé bạn hãy search google theo cú pháp:
    "How to allow Tên_Search_Engine bot"
    Rồi tìm đến chính trang chủ của Search Engine đó làm theo hướng dẫn và thêm từng dòng.

    Ví dụ:
    Để chặn hết tất cả các bot chỉ cho phép bot của google truy cập bạn có thể sử dụng cú pháp

    HTML:
    User-agent: Google
    Disallow:
    
    User-agent: *
    Disallow: /
    
    Chúc bạn SEO top.
     
    haiphamqn thích bài này.

Chia sẻ trang này