xác thực google maps

Cách tạo file robots.txt và thẻ meta robots

Thảo luận trong 'Thủ thuật SEO' bắt đầu bởi vegeta, 28 Tháng chín 2015.

Lượt xem: 5,449

  1. vegeta

    vegeta Thành viên

    Bài viết:
    198
    Đã được thích:
    28
    File robots.txt và thẻ Meta Robots
    robots-txt.gif
    Khi robot truy cập vào 1 website, trước khi đọc nội dung các trang web (bao gồm cả file sitemap), nó sẽ tìm đến file robots.txt. Đây là file văn bản, đặt ở thư mục gốc, chứa các dòng lệnh dùng để CẤM robot không được truy cập đến 1 số tài nguyên trên website.
    robots-txt-seo.jpg


    Robots.txt có vai trò như nội quy của website, quy định những khu vực robot được phép hoặc không được phép truy cập.
    robots.gif
    Website của bạn có thể chứa một số thư mục hoặc nội dung mà bạn không muốn bị người khác “nhòm ngó”. Nếu bạn muốn những tài nguyên này không được tìm thấy trên Google (không index) thì robots.txt là một giải pháp tốt.
    Bước 1: Bạn mở notepad và soạn nội dung theo mẫu:
    How+to+create+and+upload+robots+txt+file.png

    User-agent: * tất cả các robots
    Disallow: /admin/ cấm đọc các trang trong thư mục admin
    Disallow: /private/ cấm đọc các trang trong thư mục private
    Disallow: /backup/ cấm đọc các trang trong thư mục backup
    Allow:/ cho phép index các nội dung khác trên website

    Lưu ý:
    • Không đặt chú thích trong file robots.txt. Vì có thể khiến các robot bị nhầm lẫn.
    • User-agent xác định tên của robot. Riêng Google đã có nhiều loại robot khác nhau. Ví dụ: Googlebot (Web Search) , Googlebot-News, Googlebot-Image, Googlebot-Video, Gọoglebot-Mobile... Tên robot có dạng “*” nghĩa là quy định bên dưới áp dụng với tất cả các loại robot.
    Bước 2: Đưa file lên thư mục gốc của website, bên cạnh file sitemap.xml

    Như vậy, bạn đã hoàn thành việc tạo file robots.txt - nội quy website dành cho robot.
    Bạn cũng có thể điều khiển robot bằng cách sừ dụng thẻ META Robots trên từng trang web. Trường hợp không tìm thấy bài viết trên Google, bạn hãy kiểm tra nội dung file robots.txt xem có cấm (disallow) robot truy cập bài viết hay không. Đồng thời bạn kiểm tra HTML của trang web xem có thẻ META Robots với giá trị là NOINDEX hay không. Nếu có hãy bỏ đi.
    Thẻ Meta Robots thường được đặt ở vị trí đầu tiên của mã HTML (ngay sau thẻ HEAD).
    Thẻ META Robots trong mã HTML để điểu khiển các robot truy cập vào trang web.
    <html>
    <head>
    <META name="robots" content="index, nofollow">
    <title>Sach online hay</title>
    <META name="description" content="Sach online mien phi.."/>
    </head>
    </html>

    Dưới đây là một số giá trị của thẻ META Robots:

    Giá trị của Content
    Ý nghĩa
    [NO] INDEX Robot [không] Index trang này.

    [NO] FOLLOW
    Robot [không] đi theo link ra trang ngoài.

    ALL = INDEX, FOLLOW
    Robot index và đi theo các link từ trang này.

    NONE = NOINDEX, NOFOLLOW
    Robot không index trang này, và không đi theo
    các link trên trang này ra ngoài.

    NOARCHIVE
    Không cho máy tìm kiếm lưu bản sao của trang web.

    NOCACHE
    Tương tự NOARCHIVE, nhưng chỉ áp dụng cho MSN/LIVE.

    NOODP (*)
    Không cho phép Robot sử dụng mô tả lấy từ các
    danh bạn web open Directory Project, như
    DMOZ (Directory MOZilla).
    (*) Khi một trang web xuất hiện trong kết quả tìm kiếm, bạn nhìn thấy gì? Thông thường là nội dung của thẻ Meta Description của trang đó. Tuy nhiên, đôi khi các máy tìm kiếm lại hiển thị một phần nội dung trang có chứa từ khóa mà người dùng tìm kiếm. Điều này giúp người tìm kiếm biết được trang web đó có phù hợp hay không. Đôi khi, nội dung hiển thị lại được lấy từ DMOZ (ODP) nếu trang web của bạn được liệt kê trong danh bạ web dmoz.org. Để yêu cầu máy tìm kiếm không được sử dụng nội dung trên ODP, bạn sử dụng thẻ
    <meta name="robots" content="noodp" />
    Như vậy, với trang web cần SEO, bạn nên dùng thẻ META Robots với giá trị như sau:
    <META name="robots" content= "noodp,index,follow">
    Trang web sẽ không xuất hiện trên Google nếu giá trị là none hoặc noindex.
    <META name="robots" content="none">

    Tối ưu hóa tổng thể website là công việc rất quan trọng và cần phải được cân nhắc một cách kỹ lưỡng. Bạn càng làm tốt thì website sẽ có sức mạnh càng lớn. Sau này khi website phát triển lên thì bạn cũng không phải mất công để tối ưu lại nữa. Tối ưu on-site chỉ nên thực hiện một lần duy nhất khi xây dựng website, bởi vì mỗi lần thay đổi cấu trúc bạn có thể bị mất thứ hạng và phải làm lại từ đầu.


    Nền móng tốt là điểm tựa vững chắc cho ngôi nhà.

    Cấu trúc tốt giúp website của bạn trường tồn theo thời gian!
     
  2. thanhpk

    thanhpk Thành viên

    Bài viết:
    100
    Đã được thích:
    12
    bạn ơi soa mình đổi file robot lại không được vậy bakjn có ý kiến nào ko
     
  3. missngoc

    missngoc Dự bị

    Bài viết:
    27
    Đã được thích:
    2
    :( Đọc mà chẳng hiểu gì là sao nhỉ? Chắc em phải cần nghiên cứu và tìm hiểu thêm
     
  4. Lan_san

    Lan_san Dự bị

    Bài viết:
    14
    Đã được thích:
    4
    Có nên xóa Disallow: /wp-includes/ trong robot không ak?
    Em phát hiện web mới nhận bị chắn 921 page do dòng chặn kia? Mọi người cho e ý kiến với help me
     
  5. cugaituoi

    cugaituoi Thành viên

    Bài viết:
    71
    Đã được thích:
    48
    Theo mình hiểu là file robot giúp cho con bọ của googe nó tìm đến web mình nhiều hơn thì phải, bài viết này rất hay cảm ơn bạn đã chia sẻ
     

Chia sẻ trang này