Почитайте про Кнутта в википедии. Это классика.
Большая теорема Ферма там имеет сложность 45 из 50, кстати.
PS. Про "Кнута". У меня сегодня беда с одинарными и удвоенными согласными в иностранных именах: -)
Дональд Кнут. Искусство программирования.
Введи в гугле "Численные методы учебник" и смотри - подойдут любые. Например "Численные методы линейной алгебры".
Арифметика
Иван Братко. Алгоритмы искусственного интеллекта на языке PROLOG = Prolog Programming For Artificial Intelligence. — М. : «Вильямс», 2004
учись на здоровье
Для программирования учебники математики не нужны. Нужно знать библиотеки, с которыми работаете.
Если программа считает, скажем, объем куба. то ищете просто формулу объема куба - если не помните сами. И пишете ее в программе.
Искать: математическая логика, алгоритмизация