Ahmed Набери в гугле: Программа проверки попадания точки с заданными координатами в окружность заданного радиуса с центром в O(0,0). первая ссылка и есть решение твоей задачи