Python

Что больше всего влияет на скорость его работы ОЗУ, процессор, ссд или интернет?

Мне нужен бот, который будет максимально быстро перезагружать сайт и проверять есть ли на нем нужные элементы. Что больше всего влияет на скорость его работы ОЗУ, процессор, ссд или интернет? А так же на сколько быстрее и будет ли он быстрее, если я его напишу не на питоне, а на node.js?
Daniyar Batyrov
Daniyar Batyrov
153
В целом важнее всего интернет (кроме случая, если у тебя и так крутейший интернет по кабелю или сайт совсем-совсем простой и легкий).

А переписывание на другой язык, хоть на ассемблер, не поможет (и может даже создать проблемы из-за твоей неопытности). Слишком мала разница в быстродействии таких простых задач. И сам браузерный движок ты не перепишешь.

Но вот изменение самой архитектуры может помочь.
Использование другого браузерного движка, Chromium лучше Firefox, Firefox лучше IE :)
Или вообще не браузер использовать, а делать нужные HTTP-запросы (какие именно нужны - можно отсниффить, даже, если там XHR/fetch/ajax). Тогда оно и на интернет и на процессор будет намного меньше создавать нагрузки, чем страница целиком. Ведь ты не будешь грузить картинки и т. д.
Кроме того такую штуку легко запихнуть в библиотеку, которую можно юзать в других проектах, и даже другими разработчиками. Это даже попахивает бизнесом... хотя, конечно, боты в целом маловостребованы.
Есть и недостатки:
- сайту будет особенно легко выявить такого бота, если он это захочет, и это при том, что и браузер не панацея от этого
- такая штука легко ломается и от естественных изменений сайта. Многие сайты постоянно обновляются. У полноценного браузера больше возможностей этому противостоять, хотя, опять же, не намного.
- можно упереться в ограничения самого сайта. А если их нет, то слишком бодрыми запросами, да в несколько потоков, можно и положить сайт. И тогда мало не покажется, блокнут по IP и т. д.

P. S. Опыт в ботах с 2017 года.
НР
Николай Резвяков
92 464
Лучший ответ
Смотря какой код... если каждый раз закрывать сессию и открывать новую, процессор может и поважнее будет. Но в целом при как следует оптимизированном коде важнее будет скорость интернета. JS же работает медленнее Питона, ненамного, но медленнее, поэтому переход на JS ничего не решит.
П. С. Максимально быстрый парсинг в вашем случае способен привести к блокировке работы вашей программы, если на сайте есть хоть какая-либо защита от ботов. Поэтому зачастую искусственно увеличивают интервалы и даже делают их динамичными.
Игорь Лепшоков
Игорь Лепшоков
35 526
Николай Резвяков "JS же работает медленнее Питона, ненамного, но медленнее"
Датишо. А шо ж в браузерах не питухон?
Скорость интернета конечно
Юрец Конюшев
Юрец Конюшев
2 754
Интернет