Как правильно говорить : я не хотел сюда приехать или я не хотел сюда приезжать? И почему ?

В русском языке существует так называемый контекст отрицательной модальности, когда при отрицании смысловой глагол составного глагольного сказуемого, стоящий в инфинитиве, должен употребляться в несовершенном виде, даже если в утвердительном варианте предложения предполагается вид совершенный. Например: надо сделать эту работу, но: не надо делать эту работу. См. § 1450 руководства "Русская грамматика" ( http://rusgram.narod.ru/1437-1454.html ) и § 6.2.3. рук-ва "Русская корпусная грамматика" ( http://rusgram.ru/Отрицание )

Объяснение происхождения такой конструкции достаточно сложное, но "на пальцах" можно передать его суть так: запрет действия автоматически означает и запрет его результата, поэтому язык экономно предпочитает в данном случае грамматически более общую форму несов. вида, так сказать, чистое "имя действия".

Поскольку глагол "хотеть", выступая в в роли вспомогательного глагола в составном глагольном сказуемом, обладает выраженными чертами модальности, то при отрицании он также обычно требует несовершенного вида смыслового глагола:

Я хочу погулять, но: я не хочу гулять (неправ. "я не хочу погулять").

В вашем примере, соответственно, должно быть: "я не хотел сюда приезжать". Как заметили выше, обычно такая фраза предполагает изначально отрицательное отношение к такому приезду. Тем не менее, вариант "я не хотел сюда приехать" звучит искусственно во всех контекстах. В случае пропущенной остановки естественнее сказать "куда это я заехал?"

Возможно я не прав, но "Я не хотел сюда приезжать" звучит как то более по-русски.

Потому что "приехать" это совершённая форма.
Но действие-то не состоялось, так что это бессмыслица.

можно и так и так, 1-е - ошибка в выборе маршрута или проспали остановку и т. д., 2-е - сама идея ехать в этом место вам изначально была не по душе.

второе, т. к. уже постфактум произносится, судя по всему)

я не хотел сюда ехать, говорят.