как найти такую матрицу?

Пример делается в уме.

А = (5 2 ; 7 1) -- для понимания дальнейших записей.

А - Б = (3 5 ; 6 -1)
Б^т = (2 1 ; -3 2)

Умножить матрицы 2х2, вообще говоря, можно и самостоятельно.
(А - Б) * Б^т = (3 5 ; 6 -1) * (2 1 ; -3 2) = (6-15, 3+10 ; 12+3, 6-2) = (-9 13 ; 15 4)

И на будущее: вводишь в яндексе умножение матриц онлайн, там (сервис на яндексе встроенный) узнаешь и определение, и перемножить матрицы можешь, и другие операции выполнить.