Другие языки программирования и технологии

Как называется программа - робот - скрипт, которая считывает информацию с сайтов, анализируя и вставляю в excel нужную и

Как называется программа - робот - скрипт, которая считывает информацию с сайтов, анализируя и вставляю в excel нужную информацию? как этому научиться? сколько стоит написать?
В общем случае - парсер (сайта).
Написан может быть на разных языках, в т. ч. иногда и с помощью VBA (т. е. макросом на том-же Excel).

Что нужно знать - как правило HTML, иногда JavaScript, разметку XML, регулярные выражения и т. д. Т. к. абсолютно универсальных рецептов нет - естественно универсальной программы нет. Обычно изучается структура сайта и соотв. на этом основании пишется скрипт/программа.

Сколько - зависит от сложности/хотелок/жадности того кто будет писать. Т. к. вопрос абстрактный - в плане стоимости ответ тоже довольно абстрактный.

Н-р в ряде случаев сайты защищаются от слишком частых запросов...

P.S: Пишите в комменты, если что и если есть чуть более конкретные вещи.
ВЦ
Володимир Церковнюк
84 764
Лучший ответ
Проще всего это сделать связкой "расширение под хромиум + нативное приложение".

Расширение браузера в фоновом режиме автоматически получает и парсит данные (можно без лишних проблем реализовать добавление новых источников и правила разбора), а программа занимается только приемом информации и экспортом в xls/xlsx-файл.

Огромный плюс расширения - в прямом доступе к DOM, а также в возможности "обойти" CORS (JS-инжект в документ, и можно с ним творить что угодно, лишние запросы не нужны когда можно выдрать абсолютно любые данные прямо со страницы). Да и отладка парсинга сильно упрощается.

Недостаток только в том что нужно держать браузер открытым, чтобы данные поступали :)

.

Как такому научиться - изучить HTML, JS, общие основы программирования, и тот язык на котором предполагается писать программу. Думаю, полгода хватит на это все.
Стоимость - ее не оценить без полного ТЗ и определения сроков разработки.
Сапаргали Момынов > Думаю, полгода хватит на это все.
Естессно, речь об изучении того минимума который потребуется для решения этой задачки.
На то чтобы ПОЛНОСТЬЮ изучить вышеперечисленное, уйдет несколько лет.
Если просто, то называется "парсер", а если по-умному, то Web Scraping или Web Crawling Bot, веб-паук, краулер.
Есть инструменты, позволяющие "парсить сайты" без знания языков программирования, но для сложных задач они мало пригодны.
На Хабре много инфы на эту тему, например, общий обзор таких инструментов - https://habrahabr.ru/post/340038/
Есть ещё одна интересная программа, называется Zennoposter. С её помощью можно не только парсить любую информацию с сайта ( ссылки, текст, код HTML , скачивать картинки и т. д) но и задавать свои алгоритмы действий в браузере. Например создать свой авторег в ВК или любой другой соцсети. Создать бота который будет лайкать посты. В общем функционал у Zennoposter огромный. Естественно программа платная, можно взять бесплатно demo версию, что бы попробовать. Искать крякнутую программу нет смысла, потому что её нет, а то что предлагают бесплатно, 100% с вирусом.
Вот ссылка:
http://www.zennolab.com/ru/products/zennoposter/pid/d84a3ea2-54df-4820-9539-b5abead76473

Похожие вопросы