Как лучше поступать в подобных случаях?

Шел я сегодня вечером домой, выносил мусор, обратно шел и тут мне навстречу идет компания, там и женщины и мужики, все пьяные, один из них ко мне подходит и говорит "Слышь, братишка, помоги мелочью, будь добр! " Ну я сунул ему пятачок, он меня отблагодарил и дальше пошел, но самое неприятное, что такое происходит уже не первый раз, а раз сороковой если не пятидесятый за всю мою жизнь, если отвечаю, что мелочи у меня нет, тогда начинают обвинять меня в том, что я говорю им неправду, что я жмот и т. д.