Надвишено процесорно време от обхождания на ботове

K

Kr.Martinov

Member
Колеги, Нещо не мога да ограничиме обхожданията, намалени са на минимум от Webmaster тулс, но гугъл си бръмчи и трупа много трафик. Моля прегледайте robots файла на сайта и дайте предложения какво да се направи :)
Явно това се оказа тежка задача за начинаещ :)
сайта е officeservices.bg
 
От: Надвишено процесорно време от обхождания на ботове

Ти, ако с 3 000 индексирани страници бота те тормози значи много смотана система ползваш.
Мен трябваше да ме спуква по шевовете щото само единият сайт ми е с над 80 000 в индекса, а има и още доста сайтове на хоста.
 
От: Надвишено процесорно време от обхождания на ботове

С колко го превишаваш и колко ти е минимума?
Дай и посещенията колко са - ботове, реални и тн.
 
От: Надвишено процесорно време от обхождания на ботове

Твоя сайт като го отворя и вентилатора на лаптопа ми се засилва :)

Пробвай нещо такова в robots.txt
User-agent: *
Disallow: *

User-agent: googlebot
Allow: *

User-agent: yahoobot
Allow: *
Увеличете...
... и надолу можеш да изброяваш други ботове ако те кефят. Тук идеята е, че първо забраняваш всички роботи навсякъде, след което позволяваш само тези дето искаш. Друг е въпроса дали на нахалните роботи им пука за тоя файл, така че ако не ти свърши работа дири из нета как се прави в .htaccess. Ето например това парче код:

# IF THE UA STARTS WITH THESE

RewriteCond %{HTTP_USER_AGENT} ^(.*)msnbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)MJ12bot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)SolomonoBot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Yandex [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)bingbot [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Baiduspider [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Yeti [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)Mail.Ru [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^(.*)exabot [NC]
RewriteRule .* - [F]
Увеличете...

... тук обаче се филтрират браузърите (user agent) един по един. Обратния начин би бил да забраниш всички и да позволиш определени браузъри, ама така рискуваш да блокираш нормални потребителски браузъри, щото те вече са какви ли не :)
 
От: Надвишено процесорно време от обхождания на ботове

Добре как да ти помогна да ти напиша сайта на ново ли???
Ако искаш спри бота и да не те индексира въобще пък после пусни тема: Ами то бота не ме индексира и нямам трафик!
Kr.Martinov каза:
И с какво точно ми помага мнението ти ?
Увеличете...
 
От: Надвишено процесорно време от обхождания на ботове

И защо реши, че точно в него е проблема?!?
Kr.Martinov каза:
Платих по голям хостинг план , целта на темата е правилно направен роботс файл, и къде е грешката в моя.
Увеличете...
 
От: От: Надвишено процесорно време от обхождания на ботове

Проблема не е в това... Когато отидеш в магазина и сиренето ти е кофти и скъпо, какво правиш???
Отиваш във друг или вземаш друго!
Не се засягай, не съм и имал в предвид да ти казвам нещо за лошо.
Kr.Martinov каза:
Ами колега търся проблема, ако ме насочиш към нещо ще съм благодарен :)

П.С. http://officeservices.bg/robots.txt
Увеличете...
 
От: От: Надвишено процесорно време от обхождания на ботове

Kr.Martinov каза:
Ами колега търся проблема, ако ме насочиш към нещо ще съм благодарен :)

П.С. http://officeservices.bg/robots.txt
Увеличете...
Ти си противоречиш:
Kr.Martinov каза:
Платих по голям хостинг план , целта на темата е правилно направен роботс файл, и къде е грешката в моя.
Увеличете...
Последно какво искаш?
 
От: От: От: Надвишено процесорно време от обхождания на ботове

Kr.Martinov каза:
Ами ако проблема не е в роботс... тогава темата прераства в къде е проблема? И защо толкова много ботове ме атакуват
Увеличете...
Ми ти ли не четеш или има друго?
uphero каза:
С колко го превишаваш и колко ти е минимума?
Дай и посещенията колко са - ботове, реални и тн.
Увеличете...
 
От: Надвишено процесорно време от обхождания на ботове

Би трябвало да имаш все пак статистики за посещенията, AWStats например. Там са доста неща, но би трябвало да можеш да видиш от къде ти идва трафика. Ако нямаш такива статистики винаги можеш да си напишеш дребен код за събиране на данни за известно време. Как иначе ще решиш проблем, който дори не знаеш какъв е, трябва да изследваш причините.

За показване на картинки бих препоръчал Lightshot
 
От: Надвишено процесорно време от обхождания на ботове

Има проблем с прикачените файлове, качи ги другаде и дай линкове
 
От: Надвишено процесорно време от обхождания на ботове

Колега, сайта ти боледува сериозно. Обърнете внимание на сайта, а не на robots.txt. Такова лагване рядко се вижда. Това ме накара да проверя, кое причинява забавянето. Имате js, които са над 500kb, баси!!!
http://officeservices.bg/var/cache/...7a66b251645f6b71ff26331424121394.js?ver=4.2.2
Кой го е писал това и защо? Какви са тия банери по 260kb:
http://officeservices.bg/images/promo/3/banner1_fixed.png
Направете го тоя банер jpg! Както и тези:
http://officeservices.bg/images/promo/3/banner2.png
http://officeservices.bg/images/promo/3/banner2_(2).png
http://officeservices.bg/images/promo/3/banner22.jpg
Сайта ви е елементарен, като нужди и можете да се оттървете от всичката шлака. Започнете от JavaScript-овете и оптимизиране на картинките, свързани с дизайна. След това продължете с фукционалността. Подобни случки за съвременен магазин са абсолютно недопустими:
2ynfqfo.jpg

Толкова прост, като функционалност сайт, а до такава степен занемарен. Обърнете си внимание и го пооправете. След това ограничавайте ботовете.
Желая ви успех и дано уцелите вярната посока, защото целта ви в момента е погрешна.
 
От: Надвишено процесорно време от обхождания на ботове

Аз да Ви кажа не съм гледал на кой хостинг ползва,но съм сигурен, че става за въпрос за host.bg. Имах подобни проблеми, не че за длъжни, но не оказват никакво съдествие за откриване на проблемът... казват ти ботовете са ти виновни, мини на горен план. Не казвам че сайта му няма неща за оправяне, но колкото и да ограничавах ботовете резултатът е беше същият. Преместих моята страница, на нов хостинг и дори след 4-5 дена, процесорното ми време беше на над 60 %, на средния план (пазя си снимки за това)
 
От: Надвишено процесорно време от обхождания на ботове

Мисля, че разбрах какъв ти е проблема. Въпреки, че без да имам достъп до логовете, едва ли ще имам достатъчно визия за проблема. Мисля, че ботовете зациклят в рекурсия, обхождайки подкатегориите. Допълнително, това, което е мисля е проблем, че имаш автоматично генериране всеки път на sitemap. Или е нещо подобно. Та това, което мисля, че трябва да направиш:
1. Забрани плъгина за автоматичното генериране на sitemap. Примерно: Extensions->Product Feeds->Google Site Map. Ако можеш да оставиш така и да видиш, дали проблема ще изчезне.
2. Генерирай си ръчно нова sitemap.xml и постави в руут-директорията. Или потърси друг плъгин за твоя CMS. Всъщност можеш да оставиш генерираната вече http://officeservices.bg/sitemap.xml. Пробвай различни варианти, но аз бих започнал, като спра автоматичното генериране на sitemap и оставя тази, която вече е създадена.
3. Закачи директно пътя в Google Webmaster Tools. Ако си закачил url към динамично генериране, го разкарай задължително.

Това е предположение. Пиши, да кажеш какво се случва.
 
Последно редактирано:
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе