Другие языки программирования и технологии
Как называется программа - робот - скрипт, которая считывает информацию с сайтов, анализируя и вставляю в excel нужную и
Как называется программа - робот - скрипт, которая считывает информацию с сайтов, анализируя и вставляю в excel нужную информацию? как этому научиться? сколько стоит написать?
В общем случае - парсер (сайта).
Написан может быть на разных языках, в т. ч. иногда и с помощью VBA (т. е. макросом на том-же Excel).
Что нужно знать - как правило HTML, иногда JavaScript, разметку XML, регулярные выражения и т. д. Т. к. абсолютно универсальных рецептов нет - естественно универсальной программы нет. Обычно изучается структура сайта и соотв. на этом основании пишется скрипт/программа.
Сколько - зависит от сложности/хотелок/жадности того кто будет писать. Т. к. вопрос абстрактный - в плане стоимости ответ тоже довольно абстрактный.
Н-р в ряде случаев сайты защищаются от слишком частых запросов...
P.S: Пишите в комменты, если что и если есть чуть более конкретные вещи.
Написан может быть на разных языках, в т. ч. иногда и с помощью VBA (т. е. макросом на том-же Excel).
Что нужно знать - как правило HTML, иногда JavaScript, разметку XML, регулярные выражения и т. д. Т. к. абсолютно универсальных рецептов нет - естественно универсальной программы нет. Обычно изучается структура сайта и соотв. на этом основании пишется скрипт/программа.
Сколько - зависит от сложности/хотелок/жадности того кто будет писать. Т. к. вопрос абстрактный - в плане стоимости ответ тоже довольно абстрактный.
Н-р в ряде случаев сайты защищаются от слишком частых запросов...
P.S: Пишите в комменты, если что и если есть чуть более конкретные вещи.
Проще всего это сделать связкой "расширение под хромиум + нативное приложение".
Расширение браузера в фоновом режиме автоматически получает и парсит данные (можно без лишних проблем реализовать добавление новых источников и правила разбора), а программа занимается только приемом информации и экспортом в xls/xlsx-файл.
Огромный плюс расширения - в прямом доступе к DOM, а также в возможности "обойти" CORS (JS-инжект в документ, и можно с ним творить что угодно, лишние запросы не нужны когда можно выдрать абсолютно любые данные прямо со страницы). Да и отладка парсинга сильно упрощается.
Недостаток только в том что нужно держать браузер открытым, чтобы данные поступали :)
.
Как такому научиться - изучить HTML, JS, общие основы программирования, и тот язык на котором предполагается писать программу. Думаю, полгода хватит на это все.
Стоимость - ее не оценить без полного ТЗ и определения сроков разработки.
Расширение браузера в фоновом режиме автоматически получает и парсит данные (можно без лишних проблем реализовать добавление новых источников и правила разбора), а программа занимается только приемом информации и экспортом в xls/xlsx-файл.
Огромный плюс расширения - в прямом доступе к DOM, а также в возможности "обойти" CORS (JS-инжект в документ, и можно с ним творить что угодно, лишние запросы не нужны когда можно выдрать абсолютно любые данные прямо со страницы). Да и отладка парсинга сильно упрощается.
Недостаток только в том что нужно держать браузер открытым, чтобы данные поступали :)
.
Как такому научиться - изучить HTML, JS, общие основы программирования, и тот язык на котором предполагается писать программу. Думаю, полгода хватит на это все.
Стоимость - ее не оценить без полного ТЗ и определения сроков разработки.
Если просто, то называется "парсер", а если по-умному, то Web Scraping или Web Crawling Bot, веб-паук, краулер.
Есть инструменты, позволяющие "парсить сайты" без знания языков программирования, но для сложных задач они мало пригодны.
На Хабре много инфы на эту тему, например, общий обзор таких инструментов - https://habrahabr.ru/post/340038/
Есть инструменты, позволяющие "парсить сайты" без знания языков программирования, но для сложных задач они мало пригодны.
На Хабре много инфы на эту тему, например, общий обзор таких инструментов - https://habrahabr.ru/post/340038/
Есть ещё одна интересная программа, называется Zennoposter. С её помощью можно не только парсить любую информацию с сайта ( ссылки, текст, код HTML , скачивать картинки и т. д) но и задавать свои алгоритмы действий в браузере. Например создать свой авторег в ВК или любой другой соцсети. Создать бота который будет лайкать посты. В общем функционал у Zennoposter огромный. Естественно программа платная, можно взять бесплатно demo версию, что бы попробовать. Искать крякнутую программу нет смысла, потому что её нет, а то что предлагают бесплатно, 100% с вирусом.
Вот ссылка:
http://www.zennolab.com/ru/products/zennoposter/pid/d84a3ea2-54df-4820-9539-b5abead76473
Вот ссылка:
http://www.zennolab.com/ru/products/zennoposter/pid/d84a3ea2-54df-4820-9539-b5abead76473
Похожие вопросы
- как называется программа с помощью которой делается невозможным копирование оригинальных текстов с блога?
- Правда что не все кто делает сайты умеют писать программы и скрипты?
- Здравствуйте. Нужен скрипт который в блокноте напишет вот так:
- Можно ли копировать информацию с сайта, если она защищена авторским правом?
- Как называется функция php, которая запоминает авторизацию на сайте?
- Как в программе HTML (для создание сайта через блокнот) вставлять картинки и переход на другую страницу???
- скинте ссылку на книгу и/или сайт в которых будет информация о том как зарегать домен для сайта купить хостинг и т. д
- Как осуществялется работа контент-менеджера? через какую программу можно добавлять статьи уже на существующий сайт
- как называется программа которая пишет программы. И если можно как ей пользоваться тоже сразу
- как называется программа для того чтобы сломанного компьютера вытащить файлы
Естессно, речь об изучении того минимума который потребуется для решения этой задачки.
На то чтобы ПОЛНОСТЬЮ изучить вышеперечисленное, уйдет несколько лет.