Въпрос за интеграция

[metaverse]

Опитвам се да направя интеграция, която да показва колко струват домейните в популярни български хостинг компании.

Платформата ми засича регистъра и предлага автоматично да се прехвърли в Cloudflare или Nettingale (отдолу е Cloudflare за DNS и регистър), защото няма надценка.

За някои домейни цената е 50% и повече по-ниска. Поне за тези TLD-a, които поддържат. Ако клиент има 100-200 домейна са си пари.

Може и да бъркам, но всички български компании, които проверих нямат нищо подобно на API, което да може да се използва за автоматизация . Те реално са 2-3 и се препродават един друг.

Единствения вариант, за който се сещам е с https://developers.cloudflare.com/browser-run/pricing или друго headless решение за да им отварям страниците на някакъв интервал. Или нещо от сорта ама е абсурдно.

Предложете нещо?

Или да зарежа българския пазар що се отнася каквито и да е интеграции? По принцип тук ни е тестово. Просто стана така, че има доста клиенти.

 

[contra]

1. Събери списък с урл-тата с цените на всеки хостинг.
2. Скрейпвай целите страници и ги пускай 1 по 1 през някое АИ и искай да ти ги върне в json. Дори малките модели (от по-актуалните) могат да намерят каквото ти трябва из целия ХТМЛ (от време на време се дънят де).
3. Профит.

В наши дни да редиш детайлен скрейпър за всеки сайт е оправдано само ако в някакви големи мащаби ще жънеш. А тва там са ти 20-30 урл-та, колко да са..

 

[Sky]

От толкоз глупости, хвалене какво си интегрирал и как другите са в 19 век не се разбра въпроса

 

[metaverse]

От толкоз глупости, хвалене какво си интегрирал и как другите са в 19 век не се разбра въпроса

Е, @contra ме разбра... Приеми го като IQ тест.

1. Събери списък с урл-тата с цените на всеки хостинг.
2. Скрейпвай целите страници и ги пускай 1 по 1 през някое АИ и искай да ти ги върне в json. Дори малките модели (от по-актуалните) могат да намерят каквото ти трябва из целия ХТМЛ (от време на време се дънят де).
3. Профит.

В наши дни да редиш детайлен скрейпър за всеки сайт е оправдано само ако в някакви големи мащаби ще жънеш. А тва там са ти 20-30 урл-та, колко да са..

Цените почти винаги седят в JS. Не в HTML-a. Също трябва да може да заобиколи WAF, да слага кукита, фингърптинти и каквото там е нужно в днешно време за да не го класифицират като бот.

Ако ще се скрейпва трябва да е нещо с headless браузър като Playwright в Cloudflare Workers, който да цъкне и да потърси всяко TLD.

С ИИ + Playwright може и да стане. Евентуално да обикаля един път месечно.

По-вероятно е да пропусна българските компании и да визуализирам само тези, които имат API или SDK.

Но пък е интересен проект за инструмент, който показва коя компания с колко те цака при регистрация на домейн през тях.

 

[contra]

Цените почти винаги седят в JS. Не в HTML-a. Също трябва да може да заобиколи WAF, да слага кукита, фингърптинти и каквото там е нужно в днешно време за да не го класифицират като бот.

Ако ще се скрейпва трябва да е нещо с headless браузър като Playwright в Cloudflare Workers, който да цъкне и да потърси всяко TLD.

Puppeteer спокойно ги прави тия неща. Може да си го инсталираш и на твой сървър с Node и достатъчно РАМ (поне 2 ГБ), а може и локално.
Playwright не съм ползвал ама предполагам че е подобно.

 

[metaverse]

Puppeteer спокойно ги прави тия неща. Може да си го инсталираш и на твой сървър с Node и достатъчно РАМ (поне 2 ГБ), а може и локално.
Playwright не съм ползвал ама предполагам че е подобно.

Playwright е дефакто новия стандарт за индустрията.

Pupeteer (също както Cypress) ако се абстрахираш от пазара в България много малко компании използват вече.

Не бих си причинил да инсталирам nodejs локално. В момента има по 50+ уязвимости на ден и е тотален ад за хора като мен.

Силно препоръчвам винаги да работите в изолирана среда. Devcontainers или Codespaces.

Така изглеждам днес:

https://twitter.com/x/status/2054340407908090002

 

[metaverse]

Разгледах 5-6 компании набързо. Нямат абсолютно никакви филтри против скрейпване с headless браузър. Поне моите тестове минават от раз.

Няма и регулация, която да забранява да си направя база.

Може и да стане работата.