ответственность за курение

Запрет - правомерен
Штраф - ничтожен с точки зрения закона

штраф - неправомерен, а вот сам запрет - пожалста. частная территория, да плюс общественное место.
если поймают курящим - могут вывести. а штраф не имеют права брать.

правомерно.
и штраф тоже.
Это внутренние правила торгового центра. и они могут налогать штрафы за нарушения.
так же как например за курение в аэропортах тоже полагается штраф, если курили не в специально отведенных для этого местах.

Нет, администрация не имеет права устанавливать и взымать такой штраф, т. к. подобный штраф должен устанавливаться и взиматься на основании правового акта, который администрация торгового центра издавать не вправе. Нормотворчество - прерогатива органов государственной власти.
Кроме этого, ст. 6 Федерального закона "Об ограничении курения табака" установлены места, где курение запрещено: на рабочих местах, в городском и пригородном транспорте, на воздушном транспорте при продолжительности полета менее трех часов, в закрытых спортивных сооружениях, организациях здравоохранения, организациях культуры, на территориях и в помещениях образовательных организаций, в помещениях, занимаемых органами государственной власти, за исключением курения табака в специально отведенных местах для курения табака.

было бы хорошо если было бы правомерно

Anna Polees, и как же Вы квалифицируете этот "штраф"?
Как вид гражданско-правовой отвественности?
Административной ответственности?
И кто же правомочен составлять протокол, открывать производство по делу об адм. правонарушении, выносить постановление?
Неужели администрация торгового центра?
....смело....