Для создания впечатляющего главного здания организаторы библиотеки выбрали возвышенное место в центральной части города (между пересечениями Пятой авеню с 40-й и 42-й улицами) , в то время занятое неиспользуемым Кротонским водохранилищем. Первоначальный проект здания разработал первый директор библиотеки, доктор Джон Шоу Биллингс, но в наше время здание библиотеки чаще называют «постройка Шварцмана» (англ. the Schwarzman Building).
После конкурса, в котором приняли участие наиболее выдающиеся архитекторы города, заказ на детальную проработку проекта и возведение здания достался относительно малоизвестной фирме «Carrère and Hastings». Окончательный проект заключал в себе крупнейшую мраморную постройку в Соединённых Штатах на то время.
Первый камень в основание здания был заложен в мае 1902 года, однако строительство продвигалось медленно и в итоге обошлось в 9 млн долларов. В 1910 году были установлены более 120 км (75 миль) книжных полок, ещё год ушёл на перевозку книг из библиотек Ленокса и Астора и их размещение на полках.
23 мая 1911 состоялась официальная церемония открытия, которой руководил президент Тафт. На следующий день в новую библиотеку пригласили посетителей. На день открытия в фондах содержалось более 1 млн книг.
Два знаменитых каменных льва, охраняющих вход, были созданы скульптором Эдвардом Кларком Поттером (англ.) . Первоначально статуи называли Лео Астор и Лео Ленокс, в честь основателей библиотеки. Затем эти «имена» превратились в «Леди Астор» и «Лорд Ленокс» , хотя оба льва — самцы. В 1930 году мэр Нью-Йорка Ла Гардиа дал статуям прозвища «Терпение» и «Стойкость» , считая, что эти качества понадобятся жителям города, чтобы преодолеть Великую депрессию. «Терпение» находится на южной стороне (по левую руку, если встать лицом к входу) , а «Стойкость» — на северной
