Почему фотографии получаются смазанные?

При недостаточности освещения видимо у вас слишком блинная выдержка. В таких условиях либо со штативом, либо с пыхой. Для сьёмки с рук выдержка должна быть, желательно, не длиннее одной шестидесятой секунды.

большую выдержку используете

А ты снимаешь в автоматических режимах или как-то регулируешь выдержку? А в д5100 - режим Лайв вью один или подразделяется на "со штатива" и "с рук"?
При съемке с видоискателем фотоаппарат намного уверенней лежит в руках и вероятность смаза и шевеленки намного меньше даже на выдержках типа 1/30-1/50 сек.
Уж попала тебе в руки зеркалка, отвыкай фоткать как мыльницей ;-))))
ИМХО, конечно.

Лайв Вьев - лажа. Только для портретирования в салоне, чтобы свет оценить. Тяжёлый аппарат на вытянутых руках держать тяжело. Ручки дрожат. Нужна опора. Верёвка на ноги с шириной плечь, штатив, руку на угол дома.. . На выдержках 1/125 и даже на 1/250 без этих устройств не обойтись. 1/500 и короче ещё можно что-то изобрести и с рук.

Купи штатив!)

поставьте режим ISO побольше,
откройте диафрагму.

И когда фотографируете в режиме LiveView, по экрану бегает квадратик, его можно двигать при помощи джойстика, направьте его на ту область, где хотите четкий снимок.

Погуглите диафрагма, экспозиция, iso.

LiveView используется в редких случаях, потому что аццки тормозит.
Повышайте ISO, и инструкцию бы неплохо изучить.
Нахрен покупать такую дорогую вещь, не зная, как ею пользоваться?

Потому что ты мазило...

При съёмке смотри в видоискатель (в глазочек). И увереннее держи фотик.