Что такое доверительная вероятность и доверительный интервал? С точки зрения физики...

Это понятие универсальное, оно не привязано именно к физике или любой иной экспериментальной науке.
Вероятность того, что полученная при измерении оценка абсолютно точно совпадает с истинным значением параметра, равна нулю. Однако можно поставить вопрос, например, такой. Пусть получено некоторое измеренное значение; так вот, каков должен быть интервал, чтобы истинное значение оказалось внутри него с вероятностью, скажем, 0.9. Или 0.99. Исследователь выбирает эту вероятность сам. Ясно, что чем выше вероятность, тем шире интервал. Вот эти вероятности и соответствующие им интервалы называются доверительными.