Надвишено процесорно време от обхождания на ботове

[Kr.Martinov]

От: Надвишено процесорно време от обхождания на ботове

Ще пробваме да изкл. Автоматичната карта... И ще следя трафика.

 

[Kr.Martinov]

От: Надвишено процесорно време от обхождания на ботове

Колеги може ли да помогнете със следния текст и как да бъде най-правилно
User-agent: Googlebot
Crawl-delay: 120
Disallow: /app/

User-agent: *
Disallow: /

Искам и гугъл бот мобиле да ме обхожда

Виж файлът 11754

Благодаря

 

[madseason]

От: От: Надвишено процесорно време от обхождания на ботове

Колеги може ли да помогнете със следния текст и как да бъде най-правилно
User-agent: Googlebot
Crawl-delay: 120
Disallow: /app/

User-agent: *
Disallow: /

Искам и гугъл бот мобиле да ме обхожда

Виж файлът 11754 Виж файлът 11755

Благодаря

В случая директивата Crawl-delay: 120 няма да свърши никаква работа за Googlebot. Важи само за Bing и някои други краулери. Ако искаш да го направиш за Google, ще трябва да зададеш delay в Webmaster Tools:

Googlebot-Mobile си е бот, като всички останали и правилата за robots.txt си важат и за него. Ако искаш да зададеш, кои страници да се индексират от мобилния бот, можеш да погледнеш тази статия:
http://searchengineland.com/5-tips-for-optimal-mobile-site-indexing-107088

 

[Kr.Martinov]

От: Надвишено процесорно време от обхождания на ботове

Колеги, ето файл моля за мнения как да го редактирам. И защо това нещо се оказа толкова трудно
http://dox.bg/files/dw?a=9b7c8ee6e3

 

[deanski]

От: Надвишено процесорно време от обхождания на ботове

Колеги, ето файл моля за мнения как да го редактирам. И защо това нещо се оказа толкова трудно
http://dox.bg/files/dw?a=9b7c8ee6e3

Неведнъж ти казаха, че проблемът не е в роботите, а в сайта. Този сайт сервира над 2мб на началната страница. 500кб js, само html-а ти е над 400кб. Оптимизирай сайта първо. Ако нямаш ресурса, те съветвам да си преместиш сайта от споделен хостинг на VPS. Иначе - като гледам сайта - насочен е към български клиенти. Разреши само гугъл робота, останалите ги забрани. От панела си увеличи времето за обхождане.

 

[uni-web]

От: Надвишено процесорно време от обхождания на ботове

Само да те поправя, че се бъркаш много:

Този сайт сервира над 2мб на началната страница. 500кб js, само html-а ти е над 400кб.

Html, js. Не товарят процесора на сървъра, а хо точат само като трафик. Само сървъсайт езиците тормозят, но това вече зависи и от система и от още много други неща. Тези неща се изпълняват от браузъра, а html който се вижда като размер се генерира от сървърсайт езици. Сега няма да започвам да ти ги изброявам, но предполагам системата е на php + mysql, и нещо има не наред в нея за да товари толкова много при толкова малко натоварване.

Неведнъж ти казаха, че проблемът не е в роботите, а в сайта. Този сайт сервира над 2мб на началната страница. 500кб js, само html-а ти е над 400кб. Оптимизирай сайта първо. Ако нямаш ресурса, те съветвам да си преместиш сайта от споделен хостинг на VPS. Иначе - като гледам сайта - насочен е към български клиенти. Разреши само гугъл робота, останалите ги забрани. От панела си увеличи времето за обхождане.