Пишем книгу. Что лучше для читателя, учитывая психологию человека: типичный Хэппи Энд или всё трагично?

Наверное зависит от настроения. Иногда книга позитивна, но финал не предопределен и завершение ставит конечную точку.
Бывают книги в которых точка поставлена, но либо финал расходится с общей концепцией сюжета и тем самым вызывает восторг (ну или наоборот), а бывает, что финал предопределен заранее и дочитывать приходится в ожидании - "ну ёлки-палки, когда же эта банальщина закончится". Строгих границ в трагедии или "хэппи-энде" нет (даже в рамках одного человека, чего уж говорить об обществе).

Почитайте у Толкина про "эвкатарсис".Но у нынешнего фэнтези (особенно российского) и хоррор-сериалов сам Профессор мог бы кое-чему поучиться. В частности, приёму "обещание продолжения": как будто бы всё уже в порядке, но...

Зачем пишите? До вас всё уже написали.

Недосказанность, чтобы читатели жаждали увидеть продолжение книги. а не просто прочитал и забыл....

Очень важна грамотная речь. Пропущенные или расставленные в случайном порядке знаки препинания, несогласованность времен и падежей и т. п. - всё это сделает даже потенциально интересную книгу растопкой для банной печки.

Лучше оставьте возможность продолжения. Например, как в "Унесенных ветром", когда у ГГ остались вопросы, ожидающие решения.
Или как вариант - дневник ГГ повести, который не закончен. Т. е. из какой-то сложной ситуации он выбрался, но неизвестно, куда теперь "вляпается".
А однозначно заканчивать или хэппи-эндом, или трагедией - это связывать себе руки. Вот Ильф и Петров "убили" Остапа Бендера в "12-и стульях", а в "Золотом теленке" пришлось "воскрешать". И с Шерлоком Холмсом та же история.