Robot.txt въпрос?

[supergo6o]

Здравейте!Да Ви попитам - ако си направя robot.txt и вътре напиша за две html-та disallow,ще бъдат ли индексирани?Тези две страници,както и всичките части на сайта са в една папка,има ли смисъл да пиша в робот файла папката,в която са??

 

[coolice]

по принцип ако напишеш всичко правилно няма да се индексират тръсачките са направени така че да се подчиняват на robots.txt

Ако погледнеш в robots.txt на википедиа ще видиш позорния списък на ботовете които не му се подчиняват или има проблем с тях


en.wikipedia.org/robots.txt


Наи прияния за чете роботс фаил на които съм поладал