AhrefsBot Do NOT comply Robots.txt ahrefs.com

coolice

coolice

Owner
Craw from over 100 ips different ip's... AhrefsBot ahrefs.com

user-agent: AhrefsBot
disallow: /

Don't seemed to comply.... ??? bla bla bla.... ???

at .htaccess add

Код: 
deny from 173.199.64.0/18

= 173.199.64.0 - 173.199.127.255

bye bye from this site to chopa.net 63+ class B ip range

do not comply again

craw again... multiple ip's 213.186.119.

deny from 213.186.119.


213.186.119.0 - 213.186.119.255
netname: UTEL-DC7
descr: Utel DataCenter networks. Colocation
country: UA
admin-c: UNOC-RIPE
tech-c: UNOC-RIPE
status: ASSIGNED PA
mnt-by: AS6877-MNT
remarks: INFRA-AW
source: RIPE # Filtered

role: Utel NOC
address: 59, Turgenivska str.
address: 04050 Kyiv, Ukraine
phone: +380 44 2359001
phone: +38 800 5050500
fax-no: +380 44 2880278
 
again 212.113.37.105
Mozilla/5.0 (compatible; AhrefsBot/3.1; +http ahrefs.com/robot/ ) no real link for scrapers

bye bye 212.113.32.0 - 212.113.63.255

+30 class b

Ahref i do not kow how much you cutomer is paying you for my content but hope it's big five figure at least

i know you scraping because you do not honor robots.txt that mean your work is shady


ако някой се чуди какво правя ще я ранкна тази тема за името им и за иптата поне да намажем малко трафик от скрейпърите щото ме ядосаха да бяха уважил проботса като на сайта им пише че го спазват изчаках ги час да го уважт баннах чоппа.нет взеха от украйна да се появяват
 
От: AhrefsBot Do NOT comply Robots.txt ahrefs.com

Аз обмислям варианта да го избухам в mod_security на всички сървъри. Ужасно дразнещо говедце....
 
нали и лесно вижда поне на форуми като видя 500 онлайн в 12 вечерта и не е минал някакъв мега гугъл ъпдейт който да ме придвижи много ноагоре ясно че не е нормално (само си мисля че дижитал поинта например не биха си го спряли друго си е да изглеждаш по голям)

а вие на хостинга може да го сложите като бенефит... :)
 
От: AhrefsBot Do NOT comply Robots.txt ahrefs.com

Потвърждавам - налази ли те и става кошмар.

И за да е пълна кашата - наши хора са... украинци. Не гледай те там ала-бала Сингапур - това е за заблуда на противника.
 
Последно редактирано:
значи то влиза от щатите първите ипта като баннеш почва да влиза от украйна горе стъпка по стъпка баннах онези ипта който съм споменал в постовете от предния път и се спря май им ги ушляпах всичките (ама аз гледам че ползва някой телеком и не ушляпвах само стъоветните ипта ами всички за който пише че са на съответната телекомуникационна компания) :) хванаха ме не на кеф ушляпвах ги клас а /б мрежите като стой та гледай :)


украйницте незнам дали са наши хора ама част от бесарабските българи живеят там украйна, молдова те иптата се умешват особено в погранични райони (за тях ми пука) заради това махнах бановете на украйнските ипта... иначе щяха да си седят и до ден днешен...
 
От: Re: AhrefsBot Do NOT comply Robots.txt ahrefs.com

coolice каза:
.......

а вие на хостинга може да го сложите като бенефит... :)
Увеличете...

Нито едно ограничение не може да бъде представено като бенефит. Дори и да е за добро. Трудно ми е да обясня на някои клиенти какво означава паразитен трафик, content scraper и прочие. Дори забранените функции в php, които могат да доведат до проблем със сигурността ги дразнят. Използвам темата за да се извиня на mobilio за блокирането на техния бот преди време, просто автоматизираните системи дават и false-positive по някога.
 
От: AhrefsBot Do NOT comply Robots.txt ahrefs.com

Чудесно, само ако може малко не толкова адвансд и с думи прости да кажете какво правите...?! Блокирате го през htaccess?
Питам, защото няма оправяне с тоя бот. Влиза и прави хиляди хита, а поне да ми вършеше работа, а то...
 
От: AhrefsBot Do NOT comply Robots.txt ahrefs.com

lqllqlq каза:
Чудесно, само ако може малко не толкова адвансд и с думи прости да кажете какво правите...?! Блокирате го през htaccess?
Питам, защото няма оправяне с тоя бот. Влиза и прави хиляди хита, а поне да ми вършеше работа, а то...
Увеличете...

Бота е нахален и не се поддава на манипулации през robots.txt въпреки, че според тяханта документация трябва да може да се забрани достъпа на бота до сайта. coolice забранява достъпа на различните IP-та на бота през .htaccess . За 1 или 2 сайта това е ОК, но ако имаш на един сървър 1000-2000 сайта е ужасно трудоемко. А и IP-тата се сменят постоянно. Според мен блокирането на user-agent в .htaccess или mod_security е по-лесния вариатн, поне до тогава докато бота си се идентифицира с user-agent-а (засега го прави на 100%)

Код: 
RewriteEngine On 
RewriteCond %{HTTP_USER_AGENT} ^AhrefsBot [NC]
RewriteRule ^.* - [F,L]

coolice - ако искаш пробвай така, но ме съмнява вече да не си го пробвал.
 
От: AhrefsBot Do NOT comply Robots.txt ahrefs.com

Банко нали наскоро се интересуваше от руския трафик, явно ставате популярни :)
 
От: AhrefsBot Do NOT comply Robots.txt ahrefs.com

При мен ahrefsbot е 5.10.83.хх Netherlands, ама доколко е истински..

Тия трябват ли ми grapeshotcrawler, jikespider, r6_commentreader, crystals, boneb, sistrix, ezooms, curl, blog, careerbot, sogou, a6-indexer, msnbot-media, seznambot и други :D

Такива като googlebot, jabse.com, proximic, facebookexternalhit са ясни.. Полезните нека си щъкат :)
2013-07-31_183250.jpg
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе