Въпрос за интеграция

[metaverse]

Опитвам се да направя интеграция, която да показва колко струват домейните в популярни български хостинг компании.

Платформата ми засича регистъра и предлага автоматично да се прехвърли в Cloudflare или Nettingale (отдолу е Cloudflare за DNS и регистър), защото няма надценка.

За някои домейни цената е 50% и повече по-ниска. Поне за тези TLD-a, които поддържат. Ако клиент има 100-200 домейна са си пари.

Може и да бъркам, но всички български компании, които проверих нямат нищо подобно на API, което да може да се използва за автоматизация . Те реално са 2-3 и се препродават един друг.

Единствения вариант, за който се сещам е с https://developers.cloudflare.com/browser-run/pricing или друго headless решение за да им отварям страниците на някакъв интервал. Или нещо от сорта ама е абсурдно.

Предложете нещо?

Или да зарежа българския пазар що се отнася каквито и да е интеграции? По принцип тук ни е тестово. Просто стана така, че има доста клиенти.

 

[contra]

1. Събери списък с урл-тата с цените на всеки хостинг.
2. Скрейпвай целите страници и ги пускай 1 по 1 през някое АИ и искай да ти ги върне в json. Дори малките модели (от по-актуалните) могат да намерят каквото ти трябва из целия ХТМЛ (от време на време се дънят де).
3. Профит.

В наши дни да редиш детайлен скрейпър за всеки сайт е оправдано само ако в някакви големи мащаби ще жънеш. А тва там са ти 20-30 урл-та, колко да са..

 

[Sky]

От толкоз глупости, хвалене какво си интегрирал и как другите са в 19 век не се разбра въпроса

 

[metaverse]

От толкоз глупости, хвалене какво си интегрирал и как другите са в 19 век не се разбра въпроса

Е, @contra ме разбра... Приеми го като IQ тест.

1. Събери списък с урл-тата с цените на всеки хостинг.
2. Скрейпвай целите страници и ги пускай 1 по 1 през някое АИ и искай да ти ги върне в json. Дори малките модели (от по-актуалните) могат да намерят каквото ти трябва из целия ХТМЛ (от време на време се дънят де).
3. Профит.

В наши дни да редиш детайлен скрейпър за всеки сайт е оправдано само ако в някакви големи мащаби ще жънеш. А тва там са ти 20-30 урл-та, колко да са..

Цените почти винаги седят в JS. Не в HTML-a. Също трябва да може да заобиколи WAF, да слага кукита, фингърптинти и каквото там е нужно в днешно време за да не го класифицират като бот.

Ако ще се скрейпва трябва да е нещо с headless браузър като Playwright в Cloudflare Workers, който да цъкне и да потърси всяко TLD.

С ИИ + Playwright може и да стане. Евентуално да обикаля един път месечно.

По-вероятно е да пропусна българските компании и да визуализирам само тези, които имат API или SDK.

Но пък е интересен проект за инструмент, който показва коя компания с колко те цака при регистрация на домейн през тях.

 

[contra]

Цените почти винаги седят в JS. Не в HTML-a. Също трябва да може да заобиколи WAF, да слага кукита, фингърптинти и каквото там е нужно в днешно време за да не го класифицират като бот.

Ако ще се скрейпва трябва да е нещо с headless браузър като Playwright в Cloudflare Workers, който да цъкне и да потърси всяко TLD.

Puppeteer спокойно ги прави тия неща. Може да си го инсталираш и на твой сървър с Node и достатъчно РАМ (поне 2 ГБ), а може и локално.
Playwright не съм ползвал ама предполагам че е подобно.

 

[metaverse]

Puppeteer спокойно ги прави тия неща. Може да си го инсталираш и на твой сървър с Node и достатъчно РАМ (поне 2 ГБ), а може и локално.
Playwright не съм ползвал ама предполагам че е подобно.

Playwright е дефакто новия стандарт за индустрията.

Pupeteer (също както Cypress) ако се абстрахираш от пазара в България много малко компании използват вече.

Не бих си причинил да инсталирам nodejs локално. В момента има по 50+ уязвимости на ден и е тотален ад за хора като мен.

Силно препоръчвам винаги да работите в изолирана среда. Devcontainers или Codespaces.

Така изглеждам днес:

https://twitter.com/x/status/2054340407908090002

 

[metaverse]

Разгледах 5-6 компании набързо. Нямат абсолютно никакви филтри против скрейпване с headless браузър. Поне моите тестове минават от раз.

Няма и регулация, която да забранява да си направя база.

Може и да стане работата.

 

[contra]

Разгледах 5-6 компании набързо. Нямат абсолютно никакви филтри против скрейпване с headless браузър. Поне моите тестове минават от раз.

Много малка част от сайтовете не могат да се скрейпнат с хедлес браузър. И то обикновено няма да е защото са те засекли че не си хюман, ами просто ще те блокнат заради рейт лимит.

Всякакви там кепчи, Клаудфлеъри, Turnstile или както там се казваше - има си начини да се минават.

 

[NovaPS]

Ако някой държи 100–200 домейна на "стандартната" цена при български хостинг, е пълен дебил.

 

[Victor R]

Може и да бъркам, но всички български компании, които проверих нямат нищо подобно на API, което да може да се използва за автоматизация . Те реално са 2-3 и се препродават един друг.

Ами те нямат и полза от API, крайният клиент не би го използвал, а те на такива продават. Аз на твое място не бих се занимавал, защото дори и да си хакнеш някакво решение, след това ще трябва да го следиш и да се занимаваш с него всеки път, когато не сработи. Или да гориш токени, иначе казано.

 

[metaverse]

Ами те нямат и полза от API, крайният клиент не би го използвал, а те на такива продават.

Преди 5-10г. може би щях да се съглася. Големите провайдъри като GoDaddy, Enom, WPEngine, Kinsta и др. много отдавна имат API и SDK. Някои, които нямаха до съвсем скоро вече имат MCP.

Днес и най-обикновения потребител иска да може да си управлява сайтовете и хостинга през чат прозорец, защото е модерно и удобно. Ако добавиш плащания през х402 протокол няма нужда да излиза от ChatGPT (или там каквото използва) за да ходи в контролния ти панел.

Аз на твое място не бих се занимавал, защото дори и да си хакнеш някакво решение, след това ще трябва да го следиш и да се занимаваш с него всеки път, когато не сработи. Или да гориш токени, иначе казано.

Да, за българския пазар по-скоро няма смисъл, защото е ужасно малък и средностатистическия потребител тук не го интересува. Аудиторията на форума е показателна. Ванчо от Враца си иска cPanel.

Със сигурност ще добавя автоматично сравнение с всички, които имат API за да се вижда разликата в цената на домейните. Най-вероятно ще го изкарам и като отделен уеб апп за фуния.

 

[metaverse]

Ако някой държи 100–200 домейна на "стандартната" цена при български хостинг, е пълен дебил.

Ще останеш изненадан.

 

[Blinky]

А какво ще правиш при промоциите? Те са вече кампанийни постове, или реклами извън сайтовете. Или това не ти влиза във фокуса.

Но обхождане на адресите, дори с проверка на някой, за да изкрейпи надолу и съджешчъните. .info, .biz и така нататък.

 

[NovaPS]

Ще останеш изненадан.

Ти му мисли.

Аз преди поддържах портфолио от 100-150 домейна, често търсих индивидуални цени и често получавах такива. Ако не за подновяване, то за трансфер при друг. Друго мое наблюдение е, че масата обикновен потребител не знае, че може да си купуш домейн от Х и да го ползваш с хост от Y, а и често понякога домейна е "включен" в цента за хост.

 

[metaverse]

А какво ще правиш при промоциите? Те са вече кампанийни постове, или реклами извън сайтовете. Или това не ти влиза във фокуса.

Кампании, които не се поддържат от API-a са out of scope.

Ако питаш за обхождането? Те обикновено са част от основната страница или имат една или повече за конкретната услуга и почти винаги е js говнокод.

Но обхождане на адресите, дори с проверка на някой, за да изкрейпи надолу и съджешчъните. .info, .biz и така нататък.

Всички. Не някои.

 

[Blinky]

Значи си топ. Какъв е бизнес модела? Афф?

Не изключвай бг пазара, най-вече заради разширението. Но ако целиш и фокуса е другаде, да - тогава пропусни.

Виж много неща на запад още не са влезли тук. Всякаква иновативна интеграция, която смяташ да интегрираш на западния пазар, работеща, тук ще успееш също да я продадеш с малко повече мъка, още пипане и донастройване, но както казваше един познат - пътищата са винаги два: Локално към глобално или От глобално към локално.