В работающей замкнутой системе отопления (отдельный дом) происходит

Скорее всего система завоздушилась, воду перед запуском в систему обязательно деаэрировать надо! Однако и самая деаэрированная вода в системе ведёт предсказуемо, тут тебе и турбулентность потока и кавитация с отрывом.. .
А систему, налаживать надо, задвижечки попридавливать, может проблиновать что, опять же, котлы теперь хитрые.. .
Не пощупав, да не понаблюдав диагноз сложно ставить...

, группа безопасности котла срабатывает при повышении давления выше 3.5 атм, мне трудно представить такую химическую реакцию в системе отопления. Вариант - неисправна группа безопасности

А у вас стоит расширительный бак? Скорее всего нет. Даже не скорее всего, а могу спорить, что расширительного бака НЕТ. Спорю на 2-х литровую бутылку воды. Бак расчитывается из рачёта 5% от общего объёма системы. Красненький такой.
В новой системе и правда происходятт процессы газообразования более интенсивно. Радиаторы у вас скорее всего алюминиевые?
И систему отопления загородного дома лучше залить не водой, а незамерзающими жидкостями. такие продают везде и рядом.
И не будет проблем.

Циркуляционный насос, в верхней точке автоматический клапан, а не Маевский. После заполнения системы погонять насосом на макс. мощности. Может, где-то в трубах изгиб такой, что воздух застаивается? После схода воздуха подкачать.
А вообще давление поднять? до 2х атм?

Проверьте группу безопасности котла . В замкнутой системе отопления предохранительный клапан обычно в заводской настройке установлен на 3 бар .Давление в системе от 1 бар до 1,5 бар .Давление в баке расширения на 10% меньше давления в системе .Расширительный бак должен быть подключен до группы безопасности . Насос желательно Грундфос установите на подаче после группы безопасности .Таким образом вы избавитесь от разрежения в системе .Если нужны более подробные консультации пишите.