xác thực google maps

Cách chặn bot ahrefs cho bác nào cần !

Thảo luận trong 'Thủ thuật SEO' bắt đầu bởi hungvu89, 14 Tháng tám 2015.

Lượt xem: 24,949

Trạng thái chủ đề:
Không mở trả lời sau này.
  1. hungvu89

    hungvu89 Thành viên nhiệt tình

    Bài viết:
    589
    Đã được thích:
    620
    Ahrefs là công cụ check backlink rất hiệu quả, tuy nhiên đôi khi sự hiệu quả đó cũng khiến nhiều bác đau đầu vi nguồn link của mình dễ dàng bị đối thủ dò ra hết. Vậy làm sao để đối thủ "ngậm trái đắng" ?

    Đơn giản thôi, đó là chặn bot Ahrefs lại, chỉ cần thêm 2 dòng này vào file robots.txt của bạn:
    PHP:
    user-agentAhrefsBot
    disallow
    : /
    Ngoài ra các bạn cũng có thể kiểm soát tần số ghé thăm của Ahref Bot bằng cách thêm 2 dòng này vào file robot:
    PHP:
    User-AgentAhrefsBot
    Crawl
    -Delay2
    Trên đây là 2 cách do chính Ahrefs công bố, bác nào không tin thì vào đây tham khảo nhé :
    PHP:
    https://ahrefs.com/robot
    Bác nào lười vào thì xem hình luôn cho nhanh :
    ahrefsbot.jpg

    Mình chưa thử cái này bao giờ nên chả biết chặn hoàn toàn được không, hên xui :D. Ngoài ra còn cách chặn bằng htaccess nữa thì phải. Mà thôi cái nào dễ thì chơi, làm phức tạp mệt thêm. ^_^

    Rồi, đơn giản vậy thôi, nhưng đôi khi các bác bị spam link mà chơi cái này thì check link không ra ráng chịu nhé, lúc đó thì người đau đầu "ngậm trái đắng" là bản thân các bác thôi.

    Đọc kĩ hướng dẫn sử dụng trước khi dùng, chúc may mắn !
     
    nqtung, netco, khogamejava and 7 others like this.
  2. kingbin

    kingbin Thành viên thân thiết

    Bài viết:
    1,183
    Đã được thích:
    443
    Thực ra theo mình thấy thì cái này không cần thiết lắm bởi đa số mọi người đều xài hàng free (mấy ai chịu nổi cái mức giá cắt cổ của thằng Ahref đâu) thế nên check cũng chỉ có giới hạn mà thôi, họ soi cùng lắm là vài link của mình. Bác nào mà chuyên chơi nhiều textlink thì soi toàn ra textlink, coi như soi cũng bằng không =))
     
  3. longmai

    longmai Thành viên tích cực

    Bài viết:
    481
    Đã được thích:
    95
    cái lệnh disalow kia chăn một lần là vĩnh viễn luôn à bác, hôm sau mà bỏ chặn đi thì có trở về bình thường không bác
     
  4. MynameKiller

    MynameKiller Thành viên

    Bài viết:
    251
    Đã được thích:
    67
    bạn bỏ đi rồi khai báo lại là lại được mà :D
     
    khogamejava and longmai like this.
  5. kieumyngoc

    kieumyngoc Thành viên nhiệt tình

    Bài viết:
    827
    Đã được thích:
    165
    những dòng lên này chỉ hỗ trợ bản Vip thôi, nếu thật sự để check mà mua công cụ này thì cắt cổ quá nhưng nếu góp vào mà dùng chung 1 lúc thì nguy cơ bị cảnh báo và bị khóa
     
  6. Seokiemcom

    Seokiemcom Dự bị

    Bài viết:
    47
    Đã được thích:
    3
    Cùng công chặn Ahrefs thì chặn luôn cả đội nhóm các tools check backlink khác.
     
  7. Mr.N2

    Mr.N2 Administrator Staff Member

    Bài viết:
    2,252
    Đã được thích:
    5,105
    Cập nhật thêm một số công cụ khác nữa nhé.
    Mã:
    User-agent: AhrefsBot
    User-agent: MJ12bot
    user-agent: rogerbot
    User-agent: BacklinkCrawler
    Disallow: /
    AhrefsBot - ahrefs.com
    MJ12bot - majesticseo.com
    rogerbot - moz.com
    BacklinkCrawler - backlinktest.com

    Còn để chặn robots của Ahrefs bằng .htaccess thì bạn phải block cả dãy IP của nó là xong. Thêm đoạn code này vào tập tin .htaccess là có thể block toàn bộ robots của Ahrefs.
    Mã:
    <FilesMatch ".*">
    Order Deny,Allow
    Deny from 151.80.31.0/24
    </Files>
    Đối với server có Firewall thì chặn cả dãy luôn 151.80.31.0/24 thì đỡ mất thời gian vào cấu hình .htaccess từng website. Hoặc bạn login bằng SSH vào server với tài khoản Root, chạy command này để chặn cũng được.
    Mã:
    iptables -I INPUT -s 151.80.31.0/24 -j DROP
    Kết quả whois dãy IP robots của Ahrefs:
    https://whois.domaintools.com/151.80.31.110
    https://whois.domaintools.com/151.80.31.111
    https://whois.domaintools.com/151.80.31.112

    Tham khảo danh sách robots tại đây https://udger.com/resources/ua-list/crawlers
     
    Gbriell, phankt, yennhikorea and 7 others like this.
  8. williamcleigh

    williamcleigh Thành viên

    Bài viết:
    181
    Đã được thích:
    47
    Còn cách này nữa ko biết đúng ko.

    User-agent: *
    Disallow: /

    User-agent: Slurp
    Allow: /

    User-agent: bingbot
    Allow: /

    User-agent: Googlebot
    Allow: /

    Mục đích là chặn tất cả robot sau đó là mở cho những robot cần.
    - Slurp là của Yahoo.
    - bingbot là của bing mircrosoft.
    - Googlebot là Google yêu dấu.

    Dùng blogger thì dùng cách này còn ai có host thì dùng .htaccess vì nghe nói .htaccess là hiệu quả 100% còn chặn trong robots.txt vẫn có cách tìm được.
     
  9. R-D

    R-D Thành viên

    Bài viết:
    71
    Đã được thích:
    6
    Đây là cách block bằng htcaccess đây, list 200 bot, mình để trong link blogpost vì ko đủ post link, chứ 200 mà edit từng link với idichvuseo thì chịu :D
    goo,gl/W4BQFZ

    Dùng htaccess thì không ai thấy được, đỡ bị dính footprint hơn :D
     
  10. iamakay

    iamakay Thành viên nhiệt tình

    Bài viết:
    862
    Đã được thích:
    145
    Mình cũng đồng ý với bác này, không phải chặn là tốt vì cái gì cũng có 2 mặt lợi và hại khi thực hiện. Giờ google hướng nhiều đến sự tự nhiên trong việc xây dựng backlink, content, liên kết càng tự nhiên càng tốt thế nên theo mình việc để bot ahref ra vào tự nhiên là điều mà chúng nên cũng nên để tự nhiên sẽ tốt hơn.

    Ngu kiến 1 seoer mong được trao đổi :)
     
Trạng thái chủ đề:
Không mở trả lời sau này.

Chia sẻ trang này