Я попробовал сделать мини калькулятор. Но испытываю проблему.

Более того, тот же эффект будет при вводе любого другого действия, кроме 4.
Дело в том, что у тебя проверяются ВСЕ УСЛОВИЯ ПОДРЯД, а твой else написан ТОЛЬКО ДЛЯ ПОСЛЕДНЕГО УСЛОВИЯ. Оно ВСЕГДА проверяется и если z не 4 - выполняется else.
Используй switch вместо if-ов и будет тебе счастье.

#include <iostream>
using namespace std;
using func = double (*)(double, double);
double sum(double a, double b) { return a + b; }
double sub(double a, double b) { return a - b; }
double mul(double a, double b) { return a * b; }
double div(double a, double b) { return a / b; }
double calc(double a, double b, func fn) { return fn(a, b); }
int main() {
double a, b, x;
char op;
while (true) {
cout << ">>> ";
cin >> a >> op >> b;
switch (op) {
case '+': x = calc(a, b, sum); break;
case '-': x = calc(a, b, sub); break;
case '*': x = calc(a, b, mul); break;
case '/': x = calc(a, b, div); break;
}
cout << "<<< " << x << '\n';
}
}

Согласен. Проблема с мозгами - это действительно проблема!

Во-первых, возвращаться надо к вводу чисел, а не выбору операции, во-вторых, гото это плохо и вредно.

Зачем ты goto написал? Тебя в школе не учили, что так делать не нужно?