Помогите решить задачу по алгебре, 11 класс

Что делать дальше? И правильно ли я делаю? Помогите пожалуйста, я не силён в алгебре