Приобрела Helios - 44M на Nikon D5100 но сам объектив не фотографирует при нажатии кнопки. в каком режиме нужно, фоткать?

Вот нафига, простите, брать мануальный объектив с необходимостью работы в ручном режиме, если вы даже базовых основ не знаете? Купились на цену в 400 рублей?

Теперь, по вопросу:
1. Фотографируете в режиме М.
2. Диафрагму выставляете на объективе (Колечко такое, ближе к байонету) .
3. Выдержку выставляете на фотоаппарате.

Если фото темное, увеличиваете время выдержки и/или iso и/или открываете диафрагму (чем меньше цифра, тем больше открыта диафрагма) .

Соответственно, чем выше исо, тем больше шума на фото.
Чем дольше выдержка, тем тяжелее фотографировать с рук (1/50 и меньше используйте, либо штатив/мешочки с песком/упоры) .
Чем больше открыта диафрагма, тем меньше грип (глубина резкости) .

Т. ч. - какие параметры изменять, решать вам - в зависимости освещения и того, что фотографируете.

Про то, как считать и что такое ступени почитайте, ну, например, на википедии.
Либо делайте тестовый снимок, смотрите фото/гистограмму на экране, оценивайте - стоит повышать экспозицию или понижать.