Можно ли уйти с работы без отработки, если проработал на этом месте менее месяца?

Можно, написал заявление и ушёл...

По договоренности с начальником..

А что у Вас написано в трудовом договоре? В случае если установлен испытательный срок, то в соответствии со ст. 71 Трудового Кодекса РФ, если в период испытания работник придет к выводу, что предложенная ему работа не является для него подходящей, то он имеет право расторгнуть трудовой договор по собственному желанию, предупредив об этом работодателя в письменной форме за три дня.
Если такового срока нет, то увольнение будет происходить либо по соглашению сторон (работодатель может отпустить и на след день) , либо с отработкой в 2 недели.

если это испытательный срок - то можно, а если уже оформлен как штатный сотрудник - по договоренности с руководителем

Если вы на испытательном сроке, то достаточно предупредить за три дня.