Владислав Ященко
Владислав Ященко

C# Нужно проверить все страницы сайта на наличие некой информации, есть ли какой-то алгоритм чтобы сделать это?



это ж надо загружать каждую страничку, а потом с помощью регулярных выражений искать нужную строчку. А как проверить абсолютно все доступные странички и чтоб они не повторялись?

карты сайта нема

Shem Самойлов

скрипт какой то наверняка есть

DV
Dato Vilja

Взять список страниц из карты сайта, да пробежаться по ним параллельно, проверяя регуляркой

Добавлено:
Тогда загрузить главную страницу, выбрать все ссылки на этом домене и складывать в массив, пробегаться по нему, повторив операцию, пропустив существующие ссылки.... И так пока все ссылки не будут обработаны. Заодно можно карту сайта сделать и подарить владельцу сайта

VE
Viorel Evdokimov

Если нет доступа к файловой системе то нереально узнать из каких страниц состоит сайт.

Татьяна Королькова
Татьяна Королькова

Как минимум придётся преодолеть проблему повторного захода на страницу. Иначе поиск зациклится.
Есть готовые программы, следят за изменением на страницах.

СЧ
Святослав Чарыев

Нормальные люди весь контент в базе данных хранят и оттуда все что надо с помощью запросов вытягивают.

Похожие вопросы
C++ Как передать в некую функцию, это WIN32_FIND_DATA FindFileData
алгоритм шифрования AES на C#
Помогите составить алгоритм в C++
Как проверить роутер на наличие ошибок?
объясните алгоритм в C++
Есть сайт, внизу каждой страницы стандартная информация
Нужна помощь с алгоритмом Хаффмана в c sharp
Как сделать сайтом html страницу?
Нужна схема алгоритма програмки сайта .
И некому это проверить?