Запятую нужно ставить? Тем не менее, дипломная работа рекомендована к защите и заслуживает оценки «отлично».

Это как раз тот случай, когда все правы. По строгим канонам запятая не нужна, но язык развивается, и сейчас " между тем" приобретает значение вводного слова, как в отношении к кофе вдруг стали допускать значение среднего рода.
Сочетание "тем не менее" имеет грамматический статус служебного слова: союза, присоединяющего придаточное предложение со значением противопоставления (Он все решил, тем не менее я постараюсь его переубедить) , или частицы (= всё-таки, всё же: Книга, конечно, не шедевр, но тем не менее написана неплохо) — и запятыми не выделяется.
Вместе с тем наблюдения над текстами современных авторов убеждают, что оборот тем не менее воспринимается большей частью пишущих именно как вводный и в реальной практике чаще всего обособляется. Это и позволяет филологам утверждать, что такое обособление уже нельзя относить к ошибочным, поскольку подобное слово вполне может восприниматься как служащее для оформления мысли говорящего, а это — один из разрядов вводных слов (Ср. : Тем вечером я, однако, пошел гулять — Тем вечером я (,) тем не менее (,) пошел гулять) . О неуклонном перемещении сочетания тем не менее в разряд вводных слов свидетельствует и его синонимия с однако. См. , например, в словаре Ожегова-Шведовой: Однако… 2. вводн. сл. Тем не менее, всё же. Всегда аккуратен, о своём обещании, однако, забыл. В примере, приводимом авторами словаря, вводное слово однако легко может быть заменено на тем не менее.

Нет, не нужно. И если заменить словом "однажды" - тоже не нужно!

да

В этом предложении сочетание ТЕМ НЕ МЕНЕЕ имеет статус частицы (=все-таки, все же) , поэтому запятыми не выделяется. Если даже заменить это сочетание на слово ОДНАКО, запятая тоже не ставится, так как ОДНАКО здесь соответствует союзу НО.
Такие слова являются вводными тогда, когда они стоят внутри или в конце предложения.

Я бы не поставил

Примеры из Википедии:
Барин не выдержал и рассмеялся, но тем не менее он тронут был глубоко в душе своей. Н. В. Гоголь, «Мертвые души» , 1842 г. (цитата из Национального корпуса русского языка, см. Список литературы) ◆ Тем не менее нам, русским, деньги тоже нужны, — прибавил я, — а следственно, мы очень рады и очень падки на такие способы, как например рулетки, где можно разбогатеть вдруг, в два часа, не трудясь. Ф. М. Достоевский, «Игрок» , 1866 г. (цитата из Национального корпуса русского языка, см. Список литературы)

Я считаю, что нужно, т. к. его можно заменить словом "однако", и смысл не потеряется.

Да, разумеется.