Если бартолинит протекает без температуры и нарыва, стоит ли обращаться к врачу?

Шутить с этим не стоит и лучше поскорее обратится к врачу.
Дома можно поделать ванночки со слабым раствором марганцовки.

лучше сейчас идти к врачу, пока острая форма, иначе может пройти, а потом всё равно будет периодически вылазить, а оно вам надо?

Сходите к вроачу. С этим не шутят. Пропьете небольшой курс лекарств + местное лечение.