А New York это столица США? Где вообще был Old York?

Столица США - Вашингтон.
Йорк - это город в Англии, в память о котором был назван Нью-Йорк. Кстати, когда до англичан в Америке хозяйничали голландцы, нынешний Нью-Йорк назывался Новый Амстердам.