Почему при проектировании люди склонны переоценивать сроки и возможности?Обычно не учитывается и треть реальных проблем,

Потому что менеджеры, стремящиеся облизать клиента, не хотят слышать замечания реальных исполнителей проекта. В ответ на замечания обычно идут обвинения в негативном мышлении и отсуствии энтузиазма.

Обычно эти специалисты либо учились, либо работали в Мск... где всем пофиг на время и сроки... Меня всегда добивали такие специалисты... В провинции на предприятиях таких спецов раньше сразу увольняли... Сейчас полный пофигизм творится...

Гладко было на бумаге, да забыли про овраги... Проектирует не тот, кто строит, вот в чём проблема.

Множество причин может быть, начиная от банального отсутствия опыта до обстоятельств, вынуждающих соглашаться на заранее невыполнимый срок, полностью осознавая, что сроки будут сдвинуты чуть позже. Проектирование не существует в вакууме: всегда есть маркетинг, финансовые вопросы, тендеры и множество факторов, включая психологию отдельно взятых контрагентов и даже кадров. Если заложиться на все из них с запасом, то никто ничего не спроектирует и не выпустит - будем зубные щетки проектировать и выпускать в серию годами, рассчитывая, что времени вагон.
Разумеется, при первичной оценке надо считать срок через классический pi*R + С, но точно так же в реальной работе существует тезис: "Любая работа занимает столько времени, сколько на неё отведено". А искусственный дедлайн - это не баг, а фича.

Весь вопрос в деньгах.

Никто (почти) не будет делать детализацию или вдаваться в тонкие нюансы. Есть шаблоны, "рыба", типовуха, и если проект стоит 3 копейки, то обычно эту "рыбу" просто привязывают к факту и не заморачиваются.

Иногда просто стоит платить больше.

Капитализм век потребления.