Блокиране на web spider и ботове

chefo

Member
Здравейте,
В момента според мен сайта ми се товари от разни ботове.
Как да блокирам всички web spider и ботове различни от Google bot, Yahoo, Bing ?
И втория ми въпрос е как да премахна от индекса на Google определена поддиректория която вече е индексирана?
 
От: Блокиране на web spider и ботове

При Google е лесно защото всичко става през Webmaster Tools. Другите ботове са много нахални и агресивни, влизат през различни IP адреси, не зачитат robots.txt и почти няма отърване.
 

Горе