можно ли ездить на питбайке по оврагам и т. д. ? (не по проезжей части)

Если захотят докопаться, докопаются.
Сможете ли вы потом доказать, что катили его рядом, а не ехали на нем?
Разве что всю свою дорогу записывать на видео, что бы потом было доказательство.
Но как правило, люди которые любят покататься на питбайках перевозят их на фургонах или пикапах до места покатушек...

Можно.
Многие так говорят, но это кривоватый самообман.
Проблема в том, что ты 100% будешь выезжать на дороги и обочины.
Рано или поздно...
А это уже статья.

Мусора знают где всякая молодежь шастает, и специально в полях или около леса облавы ставят. Рано или поздно залетишь

Не можно, а - это единственное легальное место для применения пита.
Единственное к чему могут прикопаться - право собственности. Не украл ли ты его случаем, так что лучше возить с собой дкп или хоть чек какой, если с салона брал. Все что есть, в общем.
Выше написали что могут давить на то, что ты полюбому на ДОП выезжал. Могут конечно. Муж перегонял кроссач на дачу, около 90км. Перед постами просто глушил и катил спокойно. Вот к нему и пристали на эту тему, мол "ты ж полюбасу по дороге ехал") но, не пойман - не вор, как бы.
Другой знакомый от гаража до трека сам на кроссаче ездит, а это обочина и редкие выезды на доп. За три года никаких проблем у него не возникало.