Другие языки программирования и технологии

Здравствуйте. Подскажите, каким образом создается поисковая система?

Shevket Freeman
Shevket Freeman
106
делается паук, обходящий (процесс индексации) сайты (переходит по всем ссылкам с сайтов, раньше, наверняка, сканировались диапазоны IP на предмет веб-серверов - открытого 80 порта) , результаты обхода сохраняет в базе данных, делается форма на сайте поисковика с запросом поисковым, вводите, нажимаете энтер и поисковик ищет по базе дынных сайтов, куда он заходил и сохранял информацию со страниц нужно вам слово или словосочетание с учетом (поисковой алгоритм) морфологии слов и прочего, так же развиты системы ранжирования и релевантности (совпадения и частоты повтора, контекста и т. п. поисковой фразы на странице сайта - это то, что собирает поисковик роботом, решает, какую страницу показать первой в результате поиска) - так и работает.

короче, поисковик - это программа, которая заходит на все сайты, которые может найти и сохраняет с них текст для поиска пользователем, поиск происходит по собранной роботом (пауком) базе данных

что бы сделать поисковик - нужно:
1. поисковой робот-паук (паук - переходит по паутине ссылок в сети)
2. база данных
3. алгоритм поиска по базе данных с учетом ранжирования (какой результат первым выдать - создаются правила "веса" страницы для поисковика на основе повторения слова, участия в словосочетаниях, наличия слова в специальных HTML тегах технических) , количество повторов слова, наличия слова в ссылке, проверяется наличие ссылок на данную страницу с указанным словом и из этого делается место в рейтинге выдачи по указанному слову

SEO (search engine optimization) - поисковая оптимизация сайта - это приведение сайта в наилучший вид для алгоритма поиска поисковика, то есть, что учитывает поисковик при выдаче результата - все познается по рекомендациям поисковика и собственному опыту

основа поисковика - базе данных с информацией о состоянии глобальной сети Интернет (на винтах там весь Интернет, WEB, вернее - все это на кластерных серверах с выгруженными основными параметрами в оперативную память) ,
основное средство - поисковой алгоритм по этой базе данных

и сам сайт поисковика

Это если WEB.

локальная поисковая система открывает каждый файл на предмет нужного текста или читает название файла (в случае построения таблиц индексации в винде - ищет по таблице, а не по самой файловой системе для скорости) , техническую информацию о файле и т. п. и выдает совпадения, как правило, просто по порядку их нахождения без ранжирования.
Андрей Максименко
Андрей Максименко
3 491
Лучший ответ
не скажу наверняка, но самое сложное в каждом поиске это поисковый алгоритм. Тоесть формула по которой именно и будет этот поиск производится
что бы сделать поисковик - нужно:
1. поисковой робот-паук (паук - переходит по паутине ссылок в сети)
2. база данных
3. алгоритм поиска по базе данных.. .
....
И много-много-много денег, несколько дата-центов, и оптоволоконный кабель....