в какую сторону надо рыть, чтобы сделать автокликер, нажимающий на кнопку в html-странице?

> в java имею ввиду
Зачем Java? Вы что, под Android пишете? Или вы освоили один язык и теперь все хотите писать на нем?
Какой из вас реверс-инженер, если вы не можете освоить даже то, что есть в открытом доступе, имеет документацию, уроки, исходники в интернете?
Под винду в основном пишут на C#, а не Java.

Обычно начинают с браузерных движков - в C# это WebBrowser, в Delphi - TWebBrowser.
Это самый простой и интуитивно понятный способ написать бота.
Но здесь стоит сделать исключение, и начать не с C#, а с JavaScript (не путать с Java), точнее с NodeJS с библиотекой PhantomJS.
Там тоже браузерный движок, но он специально модифицирован для разработки ботов, в отличие от стандартных браузерных движков вроде WebBrowser и в отличие от браузеров (для которых выше предлагают писать расширение).
Скрипты на PhantomJS можно прикрутить и к C#, который есть основной язык под винду. Это вполне нормально, когда один компонент приложения написан на 1 ЯП, другой на другом.

Далее следует изучить AJAX и в частности средства в PhantomJS для перехвата AJAXовских HTTP-запросов (по которым на многих современных сайтах поступает информация, скажем на ответах это список вопросов в категории, и многое другое).
Здесь необходим сниффер Fiddler.

Ну а раз уж в любом случае вы изучаете HTTP, то стоит также научиться писать боты и полностью на HTTP-запросах, без браузерных движков. Т. е. делать все нужные запросы, от начала до конца, вручную. Это в некоторых случаях лучше чем PhantomJS, прежде всего для быстродействия, ибо любой браузер делает слишком много HTTP-запросов (грузит картинки и т. д.), и HTML парсит целиком (а вам достаточно лишь отдельных его частей).

Далее следует изучать raw sockets (протокол TCP в чистом виде) и другие протоколы, ведь далеко не все вокруг работает по HTTP/HTTPS, хотя в основном все же по ним.

setInterval setTimeout
$('#id').click();

да все гораздо проще. класс робот в ява - вот и все.