Как да забраня на ботовете да индексират дадени страници

Daten

Daten

Member
Наскоро пуснахме нов проект, но бота на Гугльо тръгна да индексира страници от админ панела и други неща, които не искам да ги има в индекса. Почти съм сигурен, че от роботс.тхт се прави работата, но какви са точно командите.
 
От: Как да забраня на ботовете да индексират дадени страници

<html>
<head>
<title>...</title>
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
</head>



/ Но предпочитам чрез роботс файла директно директориите :

User-agent: *
Disallow: /ne6to/
Disallow: /predpriemach/
Disallow: /~adminpanelami/
 
От: Как да забраня на ботовете да индексират дадени страници

Най лесния вариант е да видиш един роботс.тхт как е изграден.
Вземи например: http://www.predpriemach.com/robots.txt
 
От: Как да забраня на ботовете да индексират дадени страници

Ако си инсталирал Уебмастера има меню за роботите от там можеш и да си генерираш робот какъвто ти трябва и да си го качиш в основната директория
 
От: Как да забраня на ботовете да индексират дадени страници

Да така трябва да изглежда

Вътре в самият файл когато е разрешено да обикалят трябва да е така

User-agent: *
Allow: /

Когато не трябва да обикалят

User-agent: *
Disallow:

или както ти е написал Алан когато искаш да определиш точно определени неща
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе