Cách tạo và sử dụng file Robots.txt cụ thể chi tiết

Hiện tại mình cũng đã có một thời gian nhất định nghiên cứu về seo. Mình đang băn khoăn một chút về quản lý cái file robots để quản lý việc bọn GG nhòm nhóm vào website của mình.
Hiện tại mình đang xây dựng site. Nhưng mình muốn không cho GG web của mình thì mình nên làm như thế nào.
Các nào có kinh nghiệm thì chỉ giúp cho em càn tỷ mỷ càn tốt ạ.