Python
Что больше всего влияет на скорость его работы ОЗУ, процессор, ссд или интернет?
Мне нужен бот, который будет максимально быстро перезагружать сайт и проверять есть ли на нем нужные элементы. Что больше всего влияет на скорость его работы ОЗУ, процессор, ссд или интернет? А так же на сколько быстрее и будет ли он быстрее, если я его напишу не на питоне, а на node.js?
В целом важнее всего интернет (кроме случая, если у тебя и так крутейший интернет по кабелю или сайт совсем-совсем простой и легкий).
А переписывание на другой язык, хоть на ассемблер, не поможет (и может даже создать проблемы из-за твоей неопытности). Слишком мала разница в быстродействии таких простых задач. И сам браузерный движок ты не перепишешь.
Но вот изменение самой архитектуры может помочь.
Использование другого браузерного движка, Chromium лучше Firefox, Firefox лучше IE :)
Или вообще не браузер использовать, а делать нужные HTTP-запросы (какие именно нужны - можно отсниффить, даже, если там XHR/fetch/ajax). Тогда оно и на интернет и на процессор будет намного меньше создавать нагрузки, чем страница целиком. Ведь ты не будешь грузить картинки и т. д.
Кроме того такую штуку легко запихнуть в библиотеку, которую можно юзать в других проектах, и даже другими разработчиками. Это даже попахивает бизнесом... хотя, конечно, боты в целом маловостребованы.
Есть и недостатки:
- сайту будет особенно легко выявить такого бота, если он это захочет, и это при том, что и браузер не панацея от этого
- такая штука легко ломается и от естественных изменений сайта. Многие сайты постоянно обновляются. У полноценного браузера больше возможностей этому противостоять, хотя, опять же, не намного.
- можно упереться в ограничения самого сайта. А если их нет, то слишком бодрыми запросами, да в несколько потоков, можно и положить сайт. И тогда мало не покажется, блокнут по IP и т. д.
P. S. Опыт в ботах с 2017 года.
А переписывание на другой язык, хоть на ассемблер, не поможет (и может даже создать проблемы из-за твоей неопытности). Слишком мала разница в быстродействии таких простых задач. И сам браузерный движок ты не перепишешь.
Но вот изменение самой архитектуры может помочь.
Использование другого браузерного движка, Chromium лучше Firefox, Firefox лучше IE :)
Или вообще не браузер использовать, а делать нужные HTTP-запросы (какие именно нужны - можно отсниффить, даже, если там XHR/fetch/ajax). Тогда оно и на интернет и на процессор будет намного меньше создавать нагрузки, чем страница целиком. Ведь ты не будешь грузить картинки и т. д.
Кроме того такую штуку легко запихнуть в библиотеку, которую можно юзать в других проектах, и даже другими разработчиками. Это даже попахивает бизнесом... хотя, конечно, боты в целом маловостребованы.
Есть и недостатки:
- сайту будет особенно легко выявить такого бота, если он это захочет, и это при том, что и браузер не панацея от этого
- такая штука легко ломается и от естественных изменений сайта. Многие сайты постоянно обновляются. У полноценного браузера больше возможностей этому противостоять, хотя, опять же, не намного.
- можно упереться в ограничения самого сайта. А если их нет, то слишком бодрыми запросами, да в несколько потоков, можно и положить сайт. И тогда мало не покажется, блокнут по IP и т. д.
P. S. Опыт в ботах с 2017 года.
Смотря какой код... если каждый раз закрывать сессию и открывать новую, процессор может и поважнее будет. Но в целом при как следует оптимизированном коде важнее будет скорость интернета. JS же работает медленнее Питона, ненамного, но медленнее, поэтому переход на JS ничего не решит.
П. С. Максимально быстрый парсинг в вашем случае способен привести к блокировке работы вашей программы, если на сайте есть хоть какая-либо защита от ботов. Поэтому зачастую искусственно увеличивают интервалы и даже делают их динамичными.
П. С. Максимально быстрый парсинг в вашем случае способен привести к блокировке работы вашей программы, если на сайте есть хоть какая-либо защита от ботов. Поэтому зачастую искусственно увеличивают интервалы и даже делают их динамичными.
Скорость интернета конечно
Интернет
Похожие вопросы
- Как сделать из python файла exe файл без потери скорости
- Превышение лимит времени. Как сделать скорость по меньше?
- Если на работе думают, что ты не растешь? Менять работу?
- Какая максимальная средняя и минимальная скорость сети в мегабайт в секунду должна быть?
- Работа программист. Начало карьеры. Без опыта работы.
- Лабораторная работа програмирование 2
- Какая минимальная и максимальная скорость в time.sleep python
- Крестики Нолики с ИИ в питоне помогите сделать, версии из интернета работают некорректно
- SQL в Python.Для работы с 125 тыс языковых пар.
- объясните мне как смотреть код и видеть причину ошибки? Это опыт работы, практики, гениальности или чего-то еще?
Датишо. А шо ж в браузерах не питухон?