Как правильно выбрать хостинг для использования mail() с прикрепленными файлами большого размера (100мб в среднем)?

Тут не хостинг надо выбирать. А подумать о том, что почтовые сервера, через которое будет идти ваше письмо, могут просто зарубить ваше письмище. Иногда даже без всякого уведомления.
Для отправки настолько больших файлов вашим получателям имхо стоит использовать файлохранилища, можно на этом же сервере. Генерируете файл для данного получателя, генерируете ему уникальное имя, кладете файл в папку, доступную из интернета и в письме просто посылаете ссылку на файл для этого получателя.
Можно даже придумать скрипт, чтобы после 1 или 2 или n-го обращения файл стирался.
Таким макаром некоторые интернет-магазины передают покупателям цифровые товары.

А частота отправки? Если не более 10-20 писем в час, то я считаю, особой нагрузки и не будет (по крайней мере которая требует VDS или выделенный сервер).

Вложения вы будете грузить с компьютера пользователя? Не будут храниться на хостинге? Тогда большой объём дискового пространства не нужен, хватит 1-2 Гб.

Я так понимаю, пользователь заполняет форму, выбирает вложение со своего ПК и отправляет форму? Тогда директива post_max_size должна быть не меньше, чем размер вложения. На большинстве хостингов она по умолчанию 50-100 Мб, но обычно можно увеличить через htaccess. Правда, есть ещё такие параметры, как время жизни процесса, лимит памяти и т. п

Советую вам выбрать несколько хостингов, подходящих по цене, а далее воспользоваться тестовым периодом и протестировать отправку писем с вложениями. Понятное дело, что тестирование должно быть максимально приближено к реальным условиям (частота отправки это главное).

Конечная цель какова - м. б., проще сразу групповую работу на yandex/gmail организовать?

Самый крутой хостинг который я встречала за последние время, конечно же well-web.net! Цены очень низкие, безлимитный трафик, поддомены и еще много другого. Отличный саппорт, который, неоднократно мне помогал в настройке хостинга, а потом и администрировании VPS сервера, причём абсолютно бесплатно, без какого либо подвоха. Из огромных преимуществ перед конкурентами это конечно регулярные акции. Пользуясь хостингом well-web.net, была очень довольна, держала на хостинге примерно 7-8 сайтов, и всё это выдерживало около по 1900-3400 одновременных подключений, позже, в связи с необходимостью большего функционала, сменила шаред хостинг на VPS сервер, опять же у well-web.net. VPS серверами тоже очень довольна, огромные мощности. Можно игнорировать РКН и правообладателей. Сейчас держу на сервере 4 сайта: онлайн-кинотеатр, адалт проект, казино и небольшую торрент сайт (пока в разработке). Сайты успешно выдерживают по 70 000 - 90 000 одновременных подключений, и всё это учитывая то, что в это время запущено по 4-5 процессов конвертации видео (держу онлайн-кинотеатр, если помните). В общем, well-web.net самый лучший хостинг-провайдер который я когда-либо встречала: цены не гнёт, тех поддержка приветливая и отзывчивая, всё работает очень быстро и без сбоев. Рекомендую!!!