в какой формат лучше конвертировать учебники с формулами и картинками из DJVU?

зачем конвертировать? Это как раз лучший формат для учебников.

DjVU хороший формат для хранения книг. Если устройтсво, на котором вы собираетесь читать книгу не понимает этого формата, то выхода два.
1) Программы для чтения DjVU можно найти и для мобильных телефонов и для планшетов на платформе Android. Нужно поискать такую программу, тогда не потребуется каждую книжку переделовать в другой формат.
2) Пожалуй, самый распространенный формат электронных публикаций - это PDF. Компания Adobe очень старается, чтобы не потерять лидирующие позиции. На любом компьютере можно из DjVU файла сделать PDF при помощи PDFCreator или подобных программ (См. здесь)

"Дежавю" отличный формат.
Что у Вас не поддерживает?
Установите простенькую прогу дежавю и пользуйтесь.
Если Вас это не устраивает, то PDF тоже подобный формат для работы с тестом и картинками.

Из DJVU можно конвертировать только в формат графического изображения (jpg, bmp и тп. )

Книгу можно разобрать постранично и хранить в виде отдельных картинок. Картинки можно собрать в другие форматы многостраничных документов. Например в PDF, TIFF.

Для работы с DJVU есть несколько программ

DjvuOCR - позволяет собирать / разбивать DJVU на картинки (из картинок)
WinDjvu - смотрелка djvu файлов для виндовс
DjvuReader - еще одна удобная смотрелка.

есть плагин, встраиваемый в браузеры, для просмотра файлов DJVU

В PDF конечно!

в PNG
забей запрос в поисковике: онлайн djvu конвертер