Java

Вот, чуть погодя, понял, что не все сайты предоставляют API, отсюда вопрос: как правильно парсить сайты? ¦|¦ JAVA

Если что, жду только примерчик какой нибудь, ну и небольшой разумеется, можно без пояснения, можно и с, но главное только не одно пояснения. В общем, жду КОД!
(;
;)
АС
Александр Семьдесят Второй
11 272
https://jsoup.org/
Юрий Ряснов
Юрий Ряснов
36 956
Лучший ответ
А что, у страниц больше нет DOM, который теперь нельзя разбирать JS-ом ?
EB
Emir Babayew
98 085
Александр Семьдесят Второй А я откуда знаю, по моему вопросу видно, что я профи по работе с сайтами? Js не учу, учу Java, если ты про Json объекты, то с этим имел дело, хз к чему это...
Emir Babayew Ты спросил, как правильно парсить. Я ответил. За кодом - на гитхаб
Библиотека для HTTP. Например, OkHttp.
Библиотека для разбора HTML. Например, Jsoup.
А запросы от форм, от AJAX и так далее - тоже отправлять библиотекой OkHttp, но какие именно там идут запросы - это можно определить с помощью Fiddler. Свои запросы тоже можно проверить ею на соответствие запросам реальной страницы в браузере.
Другой более продвинутый тип сниффера, чем Fiddler, - это хуки на XMLHttpRequest и fetch в браузере. Но не столь удобный, и не годится для форм, отправляемых через обычный action.

По сути умение юзать библиотеки, умение гуглить конкретные решения, умение анализировать. И немного умения копаться в JavaScript, в том числе минифицированном. Всем этим обладает любой нормальный стажер. Даже не джуниор. Это чтобы ты знал, кто ты.

P. S. Я не отрицаю, что где-то есть столь рукожопые и тупые джуниоры, и они этого не могут. Но из таких людей тимлиды любят делать рабов))
АП
Антон Пижанчиков
92 464
Александр Семьдесят Второй Я не исключаю, что это знает каждый программист, однако я изучаю язык Java по специальному курсу, в который данная тема не входит, иногда интересно просто на практике залезть в ту или иную дырку и посмотреть "что же это за штука такая". В прочем, судить программистов, пусть даже джуна, по тому или иному критерию, в зависимости от того, что он не знает - плохая идея, так как любой из них может оказаться во всём лучше вас, кроме данной темы.

P. S - "не все начинают сразу летать"
Это удобнее делать не джавой, а питоном или js
А вообще в инете дохерища просто материала по этой теме
Что вы тут собрались ждать, непонятно
Александр Супонев
Александр Супонев
55 095
Александр Семьдесят Второй Да и как по мне, удобнее реализовать всё в одном языке, а не устраивать кашу с тремя языками, да и видел я где-то, что не помню где, как страничку парсили с помощью Java. Не уж то за столько лет существования языка никто не придумал, о, чудо класса, который за считанные раз-два-три решает данную проблему)
Жди дальше:)
Владимир Скворцов
Владимир Скворцов
37 066
Александр Семьдесят Второй Ладно, только к чему это?
Парсить целый сайт... — это не приемлемо. Сайт может быть огромным, с кучами файлов: HTML, CSS, JavaScript... Таким образом парсить что-то с сайта будет очень долго. Так кто-то вряд-ли делает в больших проектах.
Акыл Жумабаев
Акыл Жумабаев
1 675
Акыл Жумабаев Если не учитывать стили и логистику сайта, то всё равно будет долго. А если всё же делать, то парсить будет не JSON, а Html код. Есть конечно библиотеки, которые упрощают работу с ним, но это всё равно не правильно.
Акыл Жумабаев Потому-что если в странице какое-нибудь название тега (id, class) изменят, то ваша программа работать не будет

Похожие вопросы