Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

[nikolaicho]

Трябва ми някаква програма, с която да мога да извличам определени елементи и текст от множество уеб страници. В частност - онлайн магазин, от който искам да взема имената, цените, описанията и картинките на всички продукти, така че да ги менажирам в база данни. Ако някой има опит в това начинание, ще се радвам да сподели полезни практики.

 

[Georgi]

От: Препоръчайте софтуер

Вида софтуер който ти трябва се нарича scraper. Поразрови се из нета, има доста. Ето ти няколко линка:

http://www.websundew.com/products/
http://www.mozenda.com/Data-Scraper.aspx
http://simile.mit.edu/wiki/Crowbar
http://www.pageraptor.com/
http://www.visualwebripper.com/

Като цяло са много кофти докато се научиш как се работи със всеки от тях. Ако знаеш Perl примерно, може да си напишеш елементарно скриптче което да ти свърши работа.

 

[nikolaicho]

От: Препоръчайте софтуер

Като цяло са много кофти докато се научиш как се работи със всеки от тях. Ако знаеш Perl примерно, може да си напишеш елементарно скриптче което да ти свърши работа.

Там е проблемът, че тези, които ще ми свършат работа, ми идват доста скъпо, а пък безплатните им версии са супер ограничени, също така наистина си е голяма заигравка, докато ги научиш какво точно да scrape-ват.

Мерси за линковете, някои не ги знаех и ще ги прегледам.

 

[Attacker]

От: Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

1. Намираш някой програмист да ти направи скриптчето.
2. Ако имаш малък опит с програмирането на PHP, погледни този туториъл за регулярни изрази и след това използвай file_get_contents() и preg_match(), за да си направиш скрипта сам.

 

[contra]

От: Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

Не разбирам защо ти е такова нещо.
Нали те вече са в базата на магазина и се 'менажират' оттам ?

И вероятно ще ти трябва къстъм решение.
Не е кой знае колко трудно, даже аз си бях направил такова просто плъгинче за един уордпрес.
Затова знае какви пари едва ли ще се наложи да се изръсиш.

 

[nikolaicho]

От: Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

Не разбирам защо ти е такова нещо.
Нали те вече са в базата на магазина и се 'менажират' оттам ?

И вероятно ще ти трябва къстъм решение.
Не е кой знае колко трудно, даже аз си бях направил такова просто плъгинче за един уордпрес.
Затова знае какви пари едва ли ще се наложи да се изръсиш.

Ами става дума за 2000 продукта, които ще resell-вам. Съответно нямам достъп до базата на сайта, защото не е мой

 

[Georgi]

От: Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

Ето ти още един: http://binhgiang.sourceforge.net/webextractor/

 

[Valentinn]

От: Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

Ако съм те разбрал правилно, искаш да вземеш някаква информация от сайт за магазин. Провери дали сайта има RSS, и ако има потърси в интернет как се работи с него.

 

[mrcec]

От: Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

Ами става дума за 2000 продукта, които ще resell-вам. Съответно нямам достъп до базата на сайта, защото не е мой

Здравейте,
Дали намерихте решение, понеже в момента аз търся точно такова.

 

[garnet]

Напиши ми какво точно търсиш на ЛС. Аз изработвам такива неща.

 

[agatha65]

От: Препоръчайте софтуер да извличам елементи и текст от множество уеб страници

Има такова допълнение за Опенкарт.
Прави чудеса.

Не е скъпо, но не е за начинаещи.
Не само взима всичко за продуктите, но има и анализ на цените на конкурентите(може да преизчисли цените на база на конкурентите по зададени настройки).
Добавя сео, променя всичко с един клик и ъпдейтва от прайс лист.
2000 продукта са нищо работа.
За подробности на лично.