Най-добрият софтуер / скрипт за скейпване на продукти

GORGO

Active Member
YAML:
bot:
  name: "MyUglyBot.com"
  delay: 5 # Delay in seconds between requests. Be careful!
  spiders: 1 # Number of concurrent requests. Be careful!
  empty_queue_retries: 100
  request_timeout: 300
  old_data_expire: 604800 # 7 days
entry:
  example.com:
    refetch: 86400 # A day
    base: 'https://example.com'
    start_urls:
      - 'https://example.com/category1/'
      - 'https://example.com/category2/'
    deny_url:
      - 'https://example.com/not_needed_products/'
    link_containers:
      - '//div[contains(@class, "categories_links")]/a'
      - '//ul[contains(@class, "pagination")]/li/a'
      - '//div[@id="content"]//div[contains(@class, "product-thumb")]//h4/a'
    exist_attribute:
      id: "//input[@name='product_id']/@value"
    attributes:
      name: "//h1[contains(@class, 'product-title')]/span/text()"
      code: "//div[contains(@class, 'product-model')]/text()"
      price1: "//li[@itemprop='price']/text()"
      price2: "//h2[@itemprop='price']/text()"
      price3: ""
      price_old: "//div[@id='product_information_2']//li[contains(@class, 'price-old')]/text()"
      available: '//div[contains(@class, "stock-li")]//text()'
    lists:
      - name: 'tags'
        key: './/td[1]/text()'
        value: './/td[2]/text()'
        row: "//div[@id='tab-specification']/table/tbody/tr"
    options:
      - type: 'select'
        selector: "//div[@id='product']//select"
    categories:
      selector: '//ul[contains(@class, "breadcrumb")]/li'
      value: ".//a/span/text()"
    htmls:
      - name: "description"
        selector: "//div[@id='tab-description']/*"
    images:
      main: "//div[@id='myElement']//img[@id='main']/@data-src"
      additional: "//ul[contains(@class, 'slides')]//img/@data-for-target"
IO:
  complete_domains: "completed.json"
  incomplete_domains: "incomplete.json"
  directory_domains: "directories.json"
  feed_data: "feed.json"
logger:
  name: "scraper.log"
  format: "%(asctime)s %(levelname)-8s [%(thread)d](%(module)s)(%(lineno)-3d) %(message)s"
За да не бъда голословен, ето конфиг на скрапера, писан от мен.
това да му се направи един графичен интерфейс ще е един ден работа, ама на теб едва ли ти е нужен
 

Станимир И

Well-Known Member
Станимирка браво, хвърли жлъч, ама при мен скрапера работи от 2 години. Майкрософт динамикс нямам идея какво е ама сигурно е върхът на сладоледа, щом си толкова запален. Ползвам едно ЕРП на Майкрософт (по-голямо и миризливо лайно надали е можело да изакат).
Та да се върнем на скрейпването на продукт за 2,5 секунди :D. Това сиганин със счупена лопата по-бързо ще хвърля продукти... имаме рекуест да кажем средно 500мс и от там на сетне тоя процесор 2 секунди мачка ХТМЛ-а върти, суче и накрая вади продукт (каква магия). Приятел, нали не работиш на Правец 8?
Тъй, като ти искаш 5к то поне трябва да компилираш! Аз с мега бавния Python скрейпвам средно за 1,6сек. Ти с 5к продукт се влачиш почти двойно УАУ какъв успех!

@Blinky извинявай, че акам по темата, ама глупостите не ми понасят на чревната флора.

Това потвърждава думите ми и то доста сериозно, жалко за теб. Явно въобще си нямаш на идея за какво идва на реч, но пък ми оправи денят и днес ще има само усмивки.

Ето още един добър софтуер: https://brightdata.com/products/data-collector/website/ecommerce

Поздрави.
 

Blinky

Owner
Това потвърждава думите ми и то доста сериозно, жалко за теб. Явно въобще си нямаш на идея за какво идва на реч, но пък ми оправи денят и днес ще има само усмивки.

Ето още един добър софтуер: https://brightdata.com/products/data-collector/website/ecommerce

Поздрави.
Няма какво да се карате и спорите. Колкото до @hristonev , помагал ми е много за някои неща, и нивото му е доста високо. Не правя четки, но определено знае какво говори и прави.
 

GORGO

Active Member
Това потвърждава думите ми и то доста сериозно, жалко за теб. Явно въобще си нямаш на идея за какво идва на реч, но пък ми оправи денят и днес ще има само усмивки.

Ето още един добър софтуер: https://brightdata.com/products/data-collector/website/ecommerce

Поздрави.
стига пробутва резултати от гугъл, дай да видим твоя дето са го писали 14 прогрмиста 16 годиниа и струва 5К лева.
нали съществува и не ни лъжеш?
 

hristonev

Well-Known Member
Няма какво да се карате и спорите. Колкото до @hristonev , помагал ми е много за някои неща, и нивото му е доста високо. Не правя четки, но определено знае какво говори и прави.
Е верно си е на туй му се вика баданарка :)
 

pgplamen

Active Member
Предлагам скрипт за сваляне на продукти за Opencart 3. Първоначална настройка и автоматизиране на процеса 350 лева. След нужните настройки всичко се попълва автоматично. За повече информация на Л.С.
 

hardlemm

Active Member
Предлагам скрипт за сваляне на продукти за Opencart 3. Първоначална настройка и автоматизиране на процеса 350 лева. След нужните настройки всичко се попълва автоматично. За повече информация на Л.С.
Защо няма за woocomerce?
 

Горе