Най-добрият софтуер / скрипт за скейпване на продукти

hristonev каза:
YAML: 
bot:
  name: "MyUglyBot.com"
  delay: 5 # Delay in seconds between requests. Be careful!
  spiders: 1 # Number of concurrent requests. Be careful!
  empty_queue_retries: 100
  request_timeout: 300
  old_data_expire: 604800 # 7 days
entry:
  example.com:
    refetch: 86400 # A day
    base: 'https://example.com'
    start_urls:
      - 'https://example.com/category1/'
      - 'https://example.com/category2/'
    deny_url:
      - 'https://example.com/not_needed_products/'
    link_containers:
      - '//div[contains(@class, "categories_links")]/a'
      - '//ul[contains(@class, "pagination")]/li/a'
      - '//div[@id="content"]//div[contains(@class, "product-thumb")]//h4/a'
    exist_attribute:
      id: "//input[@name='product_id']/@value"
    attributes:
      name: "//h1[contains(@class, 'product-title')]/span/text()"
      code: "//div[contains(@class, 'product-model')]/text()"
      price1: "//li[@itemprop='price']/text()"
      price2: "//h2[@itemprop='price']/text()"
      price3: ""
      price_old: "//div[@id='product_information_2']//li[contains(@class, 'price-old')]/text()"
      available: '//div[contains(@class, "stock-li")]//text()'
    lists:
      - name: 'tags'
        key: './/td[1]/text()'
        value: './/td[2]/text()'
        row: "//div[@id='tab-specification']/table/tbody/tr"
    options:
      - type: 'select'
        selector: "//div[@id='product']//select"
    categories:
      selector: '//ul[contains(@class, "breadcrumb")]/li'
      value: ".//a/span/text()"
    htmls:
      - name: "description"
        selector: "//div[@id='tab-description']/*"
    images:
      main: "//div[@id='myElement']//img[@id='main']/@data-src"
      additional: "//ul[contains(@class, 'slides')]//img/@data-for-target"
IO:
  complete_domains: "completed.json"
  incomplete_domains: "incomplete.json"
  directory_domains: "directories.json"
  feed_data: "feed.json"
logger:
  name: "scraper.log"
  format: "%(asctime)s %(levelname)-8s [%(thread)d](%(module)s)(%(lineno)-3d) %(message)s"
За да не бъда голословен, ето конфиг на скрапера, писан от мен.
Увеличете...
това да му се направи един графичен интерфейс ще е един ден работа, ама на теб едва ли ти е нужен
 
hristonev каза:
Станимирка браво, хвърли жлъч, ама при мен скрапера работи от 2 години. Майкрософт динамикс нямам идея какво е ама сигурно е върхът на сладоледа, щом си толкова запален. Ползвам едно ЕРП на Майкрософт (по-голямо и миризливо лайно надали е можело да изакат).
Та да се върнем на скрейпването на продукт за 2,5 секунди :D. Това сиганин със счупена лопата по-бързо ще хвърля продукти... имаме рекуест да кажем средно 500мс и от там на сетне тоя процесор 2 секунди мачка ХТМЛ-а върти, суче и накрая вади продукт (каква магия). Приятел, нали не работиш на Правец 8?
Тъй, като ти искаш 5к то поне трябва да компилираш! Аз с мега бавния Python скрейпвам средно за 1,6сек. Ти с 5к продукт се влачиш почти двойно УАУ какъв успех!

@Blinky извинявай, че акам по темата, ама глупостите не ми понасят на чревната флора.
Увеличете...

Това потвърждава думите ми и то доста сериозно, жалко за теб. Явно въобще си нямаш на идея за какво идва на реч, но пък ми оправи денят и днес ще има само усмивки.

Ето още един добър софтуер: https://brightdata.com/products/data-collector/website/ecommerce

Поздрави.
 
Станимир И каза:
Това потвърждава думите ми и то доста сериозно, жалко за теб. Явно въобще си нямаш на идея за какво идва на реч, но пък ми оправи денят и днес ще има само усмивки.

Ето още един добър софтуер: https://brightdata.com/products/data-collector/website/ecommerce

Поздрави.
Увеличете...
Няма какво да се карате и спорите. Колкото до @hristonev , помагал ми е много за някои неща, и нивото му е доста високо. Не правя четки, но определено знае какво говори и прави.
 
Станимир И каза:
Това потвърждава думите ми и то доста сериозно, жалко за теб. Явно въобще си нямаш на идея за какво идва на реч, но пък ми оправи денят и днес ще има само усмивки.

Ето още един добър софтуер: https://brightdata.com/products/data-collector/website/ecommerce

Поздрави.
Увеличете...
стига пробутва резултати от гугъл, дай да видим твоя дето са го писали 14 прогрмиста 16 годиниа и струва 5К лева.
нали съществува и не ни лъжеш?
 
Blinky каза:
Няма какво да се карате и спорите. Колкото до @hristonev , помагал ми е много за някои неща, и нивото му е доста високо. Не правя четки, но определено знае какво говори и прави.
Увеличете...
Е верно си е на туй му се вика баданарка :)
 
Предлагам скрипт за сваляне на продукти за Opencart 3. Първоначална настройка и автоматизиране на процеса 350 лева. След нужните настройки всичко се попълва автоматично. За повече информация на Л.С.
 
pgplamen каза:
Предлагам скрипт за сваляне на продукти за Opencart 3. Първоначална настройка и автоматизиране на процеса 350 лева. След нужните настройки всичко се попълва автоматично. За повече информация на Л.С.
Увеличете...
Защо няма за woocomerce?
 
Трябва да си влезнал или регистриран, за да отговориш тук.

Горе