C# Нужно проверить все страницы сайта на наличие некой информации, есть ли какой-то алгоритм чтобы сделать это?
это ж надо загружать каждую страничку, а потом с помощью регулярных выражений искать нужную строчку. А как проверить абсолютно все доступные странички и чтоб они не повторялись?
карты сайта нема