Почему Манхэттен, самый центр Нью-Йорка, находится у самой границы с другим штатом по ту сторону реки?

А почему бы и нет?

До прихода европейцев Манхэттен и правый берег Гудзона населяли индейцы делавары (ленапе) из группы алгонкинов.

Существует мнение, что нью-йоркская бухта была открыта в 1524 году итальянским мореплавателем Джованни да Верразано, который состоял на французской службе, и несколько месяцев спустя — португальцем на испанской службе Эстебаном Гомесом.
В 1626 году третий директор Новых Нидерландов Петер Минёйт (нидерл. Peter Minuit) выкупил у местных индейцев на территории нынешнего квартала Инвуд весь остров за вещи, стоившие тогда 60 гульденов. Нынешняя оценка земель острова составляет ориентировочно 49 миллиардов долларов.
Это голландская земля, а подлые бритты её захватили ;-((((
================================================
В 1662 году, после реставрации монархии в Англии, Нидерланды заключили против неё союз с Францией. В ответ на это король Англии Карл II в 1664 году решил присоединить Новые Нидерланды к своим владениям в Северной Америке и передал их в дар своему брату Джеймсу, герцогу Йоркскому и Олбани, ставшему впоследствии королём Англии Яковом II. Яков получил титул Лорда-владетеля и снарядил хорошо вооружённую экспедицию из четырёх кораблей во главе с Ричардом Николсом, предложив жителям провинции сдаться.

Генеральный директор Петер Стёйвесант и совет провинции в условиях, когда давлению Англии невозможно было противостоять, оговорили для жителей Новых Нидерландов права и свободы, которые были недоступны для их соседей из английских владений — Новой Англии и Виргинии.

Законы и политические традиции, существовавшие с 1624 года, были зафиксированы в Положении о переходе под английское управление. Так политические и религиозные свободы сохранились здесь и после установления английского владычества в Новых Нидерландах в 1674 году, и после создания Соединённых Штатов Америки оформлены как конституционная норма в Билле о Правах 1791 года.

Потому что там достаточно глубокая морская вода прямо у берега, поэтому там можно было построить порт. Этот порт кстати, существовал и активно работал до середины XX века, но потом профсоюзы портовых рабочих попали под контроль мафии, цены на услуги порта стали неконкурентоспособны, в порт перестало приходить достаточное количество судов, и в какой-то момент он закрылся.