Как се скрапват резултати / позиции от гугъл като СааС услуга?

ReminD

Well-Known Member
Да си сверя часовника, та някой може да даде мнение, как стават нещата.


Custom Search JSON API provides 100 search queries per day for free. If you need more, you may sign up for billing in the API Console. Additional requests cost $5 per 1000 queries, up to 10k queries per day.


Безумно скъпо, всравнение с другите им услуги, не искат да се скрапва явно. То оставете цената, ами като тествах, за да потърся на коя позиция е даден сайт по ключова дума - трябва да направя 10 рикеуста максимум, за да не го намеря в топ 100 , и топ 100 им лимита.



https://serprobot.com -

Each paid SERP Bot costs $4.99 USD per month and gives you 300 keyword updates per 24 hours.




Не само това, ами и следи до топ200 резултата, нещо което гугъл отказва да прави, и има лимит на page ( 10 ).

Та тея от серпробот какво имат като инфраструктура, че да могат да си позволят да скрапват без проблеми със засичането и блокирането на ип адреси от гугъл. Аз ли нещо не мога да намеря това, което ми трябва от гугъл документацията, или тези минават метър, заедно с още 2-3 сайта, които цените са им по-добри???

Предполагам с ротиране на Ип адреси, става цялата работа, незаконно, те гугъл не дават да им скрапваш резултатите, те пък затова скрапват всичко налично от интернет, малко странно излиза.

 
Гугъл СЕРП може да се скрейпва.
Сега пробвах с ей тоя PHP скрейпър: https://github.com/cubiclesoft/ultimate-web-scraper

Ама по-внимателно - със слийп() м/у страниците...
 
Скрапера лесна работа, ама виж ако тръгне, и гугъл резнат кранчето автоматично ще ям хурката, ако имам навързани хора, и спре да им се обновява.

Ще се взимат проксита няма как.
Ти сигурен ли си, че големи компании като serp-api например, не ползват нещо, което не ги поставя в ситуация, да нарушават системно ТОС-а на гугъл. Ама няма, поне не и публично, обиколил съм всичко в гугъл форумите и в стаковърфлоу по темата.
 

Горе