Имеет ли строгий математический смысл понятие "весьма большое число"? То есть, назовите наименьшее весьма большое число.

Нету.
Строгий смысл есть у символов "много больше/меньше" и у слова "Большие числа". Эти понятия реально применяются в формальной математике.
В твоём случае это значит - число много больше того, при котором бы конечный результат ощутимо отличался бы, если бы к нему добавили единицу или отняли единицу.

Мне такого словоупотребления встречать не доводилось.. . Может, это из какого-то экзотического раздела математики? Или попросту - в конкретном контексте.

10_100 то есть я хотел написать десять в сотой степени. Это и есть наименьшее самое большое число. Называется гугол. Почему большле, а потому что им невозможно ничего выразить. Что бы мы не считали и подсчитывали, это число никогда не получиться. Хоть все печсчинки на Земсле. Или все дождевые капли выпавшие на землю за миллиарды лет. Даже количество атомов всей Вселенной не превышает десять в восьмидесятой степени. Какие песчинки или капли. Или все километры до всех планет и галактик сложенных вместе не могут превысить гугол.

В Русском языке есть такие числа, Ворон и Колода.

Если это в смысле "достаточно большое число"...
Напр. в симплекс алгоритме лин. программ. иногда пишут букву "М", чтобы обозначить число заведомо большее чем числа, встречающиеся в данной задаче и тем самым исключить выбор данного плана.
В определении предела последовательности в школьных учебниках тоже это встречается, но здесь больше эмоции чем необходимости...