"Googlebot няма достъп до CSS и JS файловете за... "

lipcho

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Както писах проблем с един от сайтовете. Оказа се че ползва wp-admin/admin-ajax.php, както писах на колегата Беджев Стил. След добавяне на Allow всичко се оправи. В момента robots.txt за всички сайтове ми изглежда така:

User-Agent: *
Disallow: /wp-admin/
User-agent: Googlebot
Allow: /wp-admin/admin-ajax.php
 

sunstorm

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

За Joomla някой има ли решение? Ако е разрешено /templates върши ли работа?
И как разбирате след като направите промените, че всичко вече е наред?
 

Беджев Стил

Well-Known Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

в GWT отиваш на "извличане като Гугъл"
там задаваш как да извлече сайта - като настолна версия или като мобилна
и натискаш бутона "извличане и визуализиране"
ще ти покаже как гугъл вижда сайта ти и къде има проблеми
Поне така правя аз.

Идеята е да ти покаже как потребителите виждат сайта ти и как Гугъл вижда сайта ти.
Като гледам и чуждите форуми хаоса е пълен. Проблема е,че CMS-ите досега са неглежирали този проблем и са блъскали навсякъде файлове дето им падне .

Не обвинявайте Гугъл за това :)

Имам писан от нула къстъм сайт, там такива неща няма :)
 

sunstorm

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Да, направих това вчера, но така разбираш ли, че проблема е изчезнал? Щото не вярвам да ни пратят съобщение: "Супер! Вече всичко е наред" :D
Имаш предвид, че трябва да изглежда за пред гугълбот по същия начин като за потребителите, сравнявайки двете картинки?

в GWT отиваш на "извличане като Гугъл"
там задаваш как да извлече сайта - като настолна версия или като мобилна
и натискаш бутона "извличане и визуализиране"
ще ти покаже как гугъл вижда сайта ти и къде има проблеми
Поне така правя аз.

Идеята е да ти покаже как потребителите виждат сайта ти и как Гугъл вижда сайта ти.
 

Беджев Стил

Well-Known Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

долу ти се показват блокирани и ненамерени ресурси
аз по тях съдя какво е положението
и по картинката като цяло :) Щото като ти блокира JS или CSS , изобщо няма да се види че работи на мобилни устройства и ще гризна дръвцето :)

Не съм изобщо експерт , само споделям , ако греша нещо казвайте , щото хаоса е пълен :)
 

lqllqlq

Well-Known Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Така, оправих се с тая мизерия...частично. Това, което ми вади като проблем е:
Код:
http://fonts.googleapis.com/css?family=
Zopim чат с това: https://us10.zopim.com/s/W/cxhr/...
https://us(НЯКАКВО ЧИСЛО).zopim.com/s
FB кода с това: https://scontent-iad3-1.xx.fbcdn.net/дрън-дрън-дрън

Става дума за опенкарт....
 

lipcho

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Щом проблема не идва от теб, предполагам всичко е ок. Въпросните сайтове предлагащи услугите си трябва да се съобразят с правилата на Гошето и да дадат достъп на бота им.
 

lqllqlq

Well-Known Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Ти да видиш идиотска история! До тук 5 теста за десктоп и мобилни, докато докарам до там да подскача само за външните ресурси. Роботс-а изглежда така:
Код:
User-agent: *

Allow: /catalog/*.css
Allow: /catalog/view/javascript
Allow: /catalog/*.js
Allow: /catalog/*.png
Allow: /catalog/*.gif
Allow: /min
Allow: /catalog/view/javascript/jquery/twiter
Disallow: /admin
Disallow: /cache
Disallow: /niks
Disallow: /catalog
Disallow: /download
Disallow: /export
Disallow: /system
Disallow: /index.php?route=account
Disallow: /index.php?route=account/account
Disallow: /index.php?route=checkout/cart
Disallow: /index.php?route=checkout/shipping
Disallow: /index.php?route=common/home
Disallow: /index.php?route=product/product/captcha
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /index.php?route=product/search
Disallow: /index.php?route=information/contact/captcha
Disallow: /index.php?route=information/information&information_id=
Disallow: /index.php?route=account/login
Disallow: /*route=account/
Disallow: /*route=account/login
Disallow: /*route=checkout/
Disallow: /*route=checkout/cart
Disallow: /*route=affiliate/
Disallow: /*route=product/search
Disallow: /*?sort=
Disallow: /*?sort
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*?order
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*?manufacturer
Disallow: /*?keyword
Host: www.името-на-саита.ком

Пускам последен тест за да съм сигурен, че са останали само външни и следва това:
Googlebot couldn't get all resources for this page. Here's a list:
/catalog/view/theme/Името-на-темата/image/и-няколко-png-файла
/image/data/няколко-png-файла

Трябва ли да му изброявам всяка папка от catalog? Не е ли за това Allow: /catalog/*.png???

PS. Fetch and render явно е толкова претоварено днес, че не просто цикли, но и не дава коректни резултати...Сигурен съм, че поне 3ма индийци са учудени що така е натоварено днес... :lol:
 

sunstorm

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Тъй като съм пуснал кеширане на единия сайт и гугълбота не можеше да зареди снимките на някои модули, които са в кеша.
За да се зарежда всичко, правилно ли е да премахна реда Disallow: /cashe ?
Не знам това доколко е вярно и няма ли освен да вижда правилно и да индексира неща, които са в кеша?
 

lipcho

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Тъй като съм пуснал кеширане на единия сайт и гугълбота не можеше да зареди снимките на някои модули, които са в кеша.
За да се зарежда всичко, правилно ли е да премахна реда Disallow: /cashe ?
Не знам това доколко е вярно и няма ли освен да вижда правилно и да индексира неща, които са в кеша?

Да, по-нагоре съм дал пример за отделен файл и то за бота на Гошо ...
 

sunstorm

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Така правилно ли е?
User-agent: *
Disallow: /cashe

User-agent: Googlebot
Allow: /cashe

Да, по-нагоре съм дал пример за отделен файл и то за бота на Гошо ...
 

lqllqlq

Well-Known Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Да разрешавам ли да чете шрифтове?!
.svg
.woff
.ttf
 

lipcho

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Така правилно ли е?
User-agent: *
Disallow: /cashe

User-agent: Googlebot
Allow: /cashe

Да с първата част забранявате на всички ботове да обхождат "/cashe/" а с втората разрешавате само на Googlebot ...
 

sunstorm

Active Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Благодаря ти!
Да с първата част забранявате на всички ботове да обхождат "/cashe/" а с втората разрешавате само на Googlebot ...
 

seoslav

SEO експерт в WebsiteDesign
От: "Googlebot няма достъп до CSS и JS файловете за... "

Google одавна мрънка, че не иска да му криете разни файлове и папки. Аз от WordPress не разбирам, но ако сайта е написан чисто, без да са ползвани платформи, най правилния robots.txt, трябва да изглежда така:

User-agent: *

Sitemap: http://example.com/sitemap.xml

Не мислете че като дисалоунете нещо от тук и търсачките ще се съобразят - това е умряла работа, ако не искаш нещо да се обхожда и индексира - noindex
 
  • Like
Реакции: wsar

wsar

Member
От: От: "Googlebot няма достъп до CSS и JS файловете за... "

Google одавна мрънка, че не иска да му криете разни файлове и папки. Аз от WordPress не разбирам, но ако сайта е написан чисто, без да са ползвани платформи, най правилния robots.txt, трябва да изглежда така:

User-agent: *

Sitemap: http://example.com/sitemap.xml

Не мислете че като дисалоунете нещо от тук и търсачките ще се съобразят - това е умряла работа, ако не искаш нещо да се обхожда и индексира - noindex

Най-после един смислен коментар в темата. Безсмислено упражнение е тоя robots.txt Най-много с него да се съобразят полезните търсачки, като Гугъл, Бинг и т.н., ама за тях така и не ми стана ясно каква е файдата да бъдат блокирани. Иначе останалото лоши ботове набиват боклучив и вреден трафик и си го слагат този файл да не казвам къде. Изобщо не се интересува от него. Аз и в съседната подобна тема пея, че забраните са с друг подход ама нейсе. Не съм СЕО спец, ама все си мисля, че този вреден трафик влияе при класирането в Гугъл. Има толкова агресивни ботове, че направо задръстват сайта със скапан безполезен трафик.
 

lqllqlq

Well-Known Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Хубаво, и? Истината е, че и "полезните" наречени от теб ботове не го четат. Просто поредното напомняне кой поръчва музиката. Но пък няма да ми падне задника за 2-те мин работа, които отнема да се направи, нали?
 

wsar

Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Хубаво, и? Истината е, че и "полезните" наречени от теб ботове не го четат. Просто поредното напомняне кой поръчва музиката. Но пък няма да ми падне задника за 2-те мин работа, които отнема да се направи, нали?

Какво и? Кое не четат наречените от мен полезни ботове? Какво се опита да кажеш, не те разбирам изобщо?
 
Последно редактирано:

Sky

Well-Known Member
От: "Googlebot няма достъп до CSS и JS файловете за... "

Къв смисъла изобщо да имам такъв файл?
 

Горе