Scraping: събиране на данни от Интернет
Пример №1: Харесали сте някой сайт и искате да си направите подобен, но искате да го заредите с някакво първоначално съдържание. Мога да взема каквото и колкото искате от други сайтове, да го редактирам/променя по някакъв автоматичен начин (ако има нужда) и да го пакетирам в удобен за ползване вид. Най-често JSON файл, който да си импортирате директно във вашия сайт.
Пример №2: Искате горното, но данните да се актуализират редовно. Може въпросният файл перидично да бъде обновяван. В тоя случай ще бъде качен онлайн, откъдето периодично да си го вземате. Например, ако ползвате WordPress, може да си настроите WP All Import (или друг подобен плъгин) през определен интервал да импортира/обновява данните и да не се занимавате с никаква ръчна работа.
Пример №3: Не ви се занимава с файлове и/или искате информацията да е възможно най-прясна. В такъв случай мога да предоставя данните не от файл, а от API, към което да си вържете системата и директно да си ги ползвате/показвате на сайта.
Ограничения: повечето сайтове могат да бъдат скрейпнати, просто някои са по-трудни от други и/или изискват повече хардуерен ресурс, което ще се отрази и на цената на услугата. Съдържание, зареждано от JavaScript/AJAX и тем подобни, което не може да бъде скрейпнато с обичайните инструменти от рода на Scrapy, НЕ е проблем.
Цени няма как да кажа предварително. Зависи от конкретните нужди и желания и от необходимия ресурс.
ПП: Преди някой да метне забележката, че това е неморално, нека си спомним че Гугъл прави абсолютно същото нещо - събира данните от всички сайтове, обработва, преформатира и ги показва на собствения си сайт, като добавя и Адсенс реклами и печели пари (от вашето съдържание). От друга страна, начинът, по който ползвате събраните данни, може и да ви донесе проблеми в някои случаи, затова си направете нужните проучвания... Моя отговорност е само техническата част.
Пример №1: Харесали сте някой сайт и искате да си направите подобен, но искате да го заредите с някакво първоначално съдържание. Мога да взема каквото и колкото искате от други сайтове, да го редактирам/променя по някакъв автоматичен начин (ако има нужда) и да го пакетирам в удобен за ползване вид. Най-често JSON файл, който да си импортирате директно във вашия сайт.
Пример №2: Искате горното, но данните да се актуализират редовно. Може въпросният файл перидично да бъде обновяван. В тоя случай ще бъде качен онлайн, откъдето периодично да си го вземате. Например, ако ползвате WordPress, може да си настроите WP All Import (или друг подобен плъгин) през определен интервал да импортира/обновява данните и да не се занимавате с никаква ръчна работа.
Пример №3: Не ви се занимава с файлове и/или искате информацията да е възможно най-прясна. В такъв случай мога да предоставя данните не от файл, а от API, към което да си вържете системата и директно да си ги ползвате/показвате на сайта.
Ограничения: повечето сайтове могат да бъдат скрейпнати, просто някои са по-трудни от други и/или изискват повече хардуерен ресурс, което ще се отрази и на цената на услугата. Съдържание, зареждано от JavaScript/AJAX и тем подобни, което не може да бъде скрейпнато с обичайните инструменти от рода на Scrapy, НЕ е проблем.
Цени няма как да кажа предварително. Зависи от конкретните нужди и желания и от необходимия ресурс.
ПП: Преди някой да метне забележката, че това е неморално, нека си спомним че Гугъл прави абсолютно същото нещо - събира данните от всички сайтове, обработва, преформатира и ги показва на собствения си сайт, като добавя и Адсенс реклами и печели пари (от вашето съдържание). От друга страна, начинът, по който ползвате събраните данни, може и да ви донесе проблеми в някои случаи, затова си направете нужните проучвания... Моя отговорност е само техническата част.
