Съвет за robots.txt

nikolai.mt

nikolai.mt

Well-Known Member
Дайте моля съвет за robots.txt. Става въпрос за два сайта, единия е на джумла, другия е на уордпрес. От хостинга ми писаха, че превишавам ресурсите на плана и ме посъветваха да огранича гугъл бота до някой директории. Попитах ги според тях кое е добре да огранича, за да не превишавам ресурсите, тъй като двата сайта правят средно общо по 500 - 600 уникални и не би трябвало да има проблем. Те направиха ограничението, но сега гледам сайтовете изпаднали от гугъл. Отварям робота и гледам забранили да минава през индекс файла. Махнах тази забрана, отново превишавам ресурсите и се чудя дали бихте ме посъветвали къде да огранича робота, но пък да нямам проблеми с индексирането.
 
От: Съвет за robots.txt

Сменяй хостинга докато е време. Гбота не се ограничава ако искаш трафик от там :)
По-скоро спри всички останали ботове - yahoo slurp, bing bot и т.н. ако нямаш трафик от там разбира се ...
Би ли споделил кой е този гениален хостинг?
 
От: Re: Съвет за robots.txt

nikolai.mt каза:
Пускам ти ЛС
Увеличете...
Такъв хостинг не е за криене на ЛС. Давай ги тука смело "юнаците", дето се борят с гугльо.... :clap: Че пък и през индекса! :lol: Ба си простотията. :twisted:
 
От: Съвет за robots.txt

Както казаха по-горе - по-добре смени хоста, отколкото да си ограничаваш бота :)

Това е все едно да получаваш много пари в банковата си сметка и от банката да ти дадат съвет да си сложиш лимит и да не получаваш всичките :)
 
Пуснал съм на всички кой е хоста, и наскоро платих, затова не ми се сменя, иначе с удоволствие :)
 
От: Съвет за robots.txt

Може пък да са преценили хората нещо, че гугъл прекалено много посещава или нещо такова. Ако е така и наситина гугъл идва прекалено много, то мисля че от google webmaster tools можеше да се настройва колко да е craw rate. Иначе за начало изобщо провери в awstats кои ботове изобщо ти товарят. Погледни тази статия.
 
От: Съвет за robots.txt

Реп за KISS! :|
След като научих коя е фирмата с хостинга, отново съм с противоречиви чувства към нея. Наскоро ги похвалих. Но... Явно имат големи проблеми с подбирането на персонала. А след като не можеш да си подбереш персонал, та да не те резили пред света, то от теб бизнесмен не става. Това, което съветва KISS, е работа на хостинга! А не по лесната и мързелива процедура да забранят индекса в роботи.тхт. :twisted:
Когато си търсех купуване на домейн и хостинг минах и през техния сайт. Почти щях да им стана клиент. Но ме раздразни това, че в серпа излиза нужната ми услуга като онлайн възможност. А когато отворих сайта, ми се предлага единствено да пиша писмо и те да ми отговорят. И т.н. Тази система Аз питам, ти отговаряш, е подходяща за сайтове за запознанства. Но не и за онлайн бизнес от сериозна фирма.
Та така не им станах клиент и все повече се радвам от това!

nikolai.mt, разгледай си трафика и натоварването. Ако има неясни неща, питай смело тук. На братството само му дай повод за съвети и помощ! ;)
 
Ей сега набарах две ИП много странни. Едното беше от Русия, другото някаде от Канада. Блокнах ги, пък да видим. Иначе и от фирмата ме посъветваха за същото, аз реших че те повече разбират от мен, но момчето там явно реши със "секирата" да оправи натоварването и да махне гошобота от индекса. Вчера съм под лимита, ще видим тия дни как ще е след филтрирането на тези две ИП, които имат доста сериозен трафик и хитове! Иначе от хоста за каквото и да било са много любезни и бързи, просто явно съм попаднал в случая на някой новобранец, затова не искам и да плюя по тях! Ако всичко се оправи не мисля да ги сменям! Благодаря за отговорите!
 
Последно редактирано:
Да се похваля, след като елиминирах достъпа на двете съмнителни ИП-та натоварването вече е наполовина. Явно са имали основание от хоста! Благодаря на всички за помощта!
 
Отново проблем, моля помагайте. Преминах на уордпрес и от три дена натоварването вече е двойно. От преди натовареност до 57, сега тази вечер съм минал 107!!!! Инсталирал съм стандартни добавки, както и добавка за изчистване на кеша. Посещенията са около 400, но преди и с повече не съм минавал 37-40 процесорно време. Кое товари така зверски?? А какво ще кажете за този ип адрес, блоквам го и пак хитва като луд http://www.ipillion.com/ip/192.114.71.13
 
Последно редактирано:
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе