может ли страховая отказать в выплате по осаго,

откажет однозначно

Естественно, может. Даже обязательно откажет. Федеральный закон РФ "О безопасности дорожного движения" Статья 16. Основные требования по обеспечению безопасности дорожного движения при эксплуатации транспортных средств
1. Техническое состояние и оборудование транспортных средств, участвующих в дорожном движении, должны обеспечивать безопасность дорожного движения.
2. Обязанность по поддержанию транспортных средств, участвующих в дорожном движении, в технически исправном состоянии возлагается на владельцев транспортных средств либо на лиц, эксплуатирующих транспортные средства.
Статья 17. Государственный технический осмотр транспортных средств
1. Находящиеся в эксплуатации на территории Российской Федерации и зарегистрированные в установленном порядке транспортные средства подлежат обязательному государственному техническому осмотру.
Статья 19. Основания и порядок запрещения эксплуатации транспортных средств
1. Запрещается эксплуатация транспортных средств при наличии у них технических неисправностей, создающих угрозу безопасности дорожного движения.
Перечень неисправностей транспортных средств и условия, при которых запрещается их эксплуатация, определяются Правительством Российской Федерации.

ФЕДЕРАЛЬНЫЙ ЗАКОН ОБ ОБЯЗАТЕЛЬНОМ СТРАХОВАНИИ ГРАЖДАНСКОЙ ОТВЕТСТВЕННОСТИ ВЛАДЕЛЬЦЕВ ТРАНСПОРТНЫХ СРЕДСТВ N 40-ФЗ

Статья 4. Обязанность владельцев транспортных средств по страхованию гражданской ответственности
1. Владельцы транспортных средств обязаны на условиях и в порядке, которые установлены настоящим Федеральным законом и в соответствии с ним, страховать риск своей гражданской ответственности, которая может наступить вследствие причинения вреда жизни, здоровью или имуществу других лиц при использовании транспортных средств. (в ред. Федерального закона от 01.12.2007 N 306-ФЗ)
Обязанность по страхованию гражданской ответственности распространяется на владельцев всех используемых на территории Российской Федерации транспортных средств, за исключением случаев, предусмотренных пунктами 3 и 4 настоящей статьи.

Если автомобиль не прошел ежегодный обязательный технический осмотр, то его эксплуатация (использование) ЗАПРЕЩЕНЫ, следовательно он не может быть участником дорожного движения (двигаться) .
При обнаружении автомобиля, не прошедшего ежегодный техосмотр, сотрудники ГИБДД выносят на месте постановление о наложении штрафа: КоАП РФ Статья 12.1. Управление транспортным средством, не зарегистрированным в установленном порядке, транспортным средством, не прошедшим государственного технического осмотра
2. Управление транспортным средством, не прошедшим государственного технического осмотра, - влечет наложение административного штрафа в размере двухсот рублей.

А также снимают регистрационные номера для запрещения эксплуатации автомобиля.

Статья 27.13. Задержание транспортного средства, запрещение его эксплуатации
2. При нарушениях правил эксплуатации транспортного средства и управления транспортным средством, предусмотренных статьями 8.23, 9.3, частью 2 статьи 12.1, статьей 12.4, частями 2-6 статьи 12.5, частью 2 статьи 12.37 настоящего Кодекса, запрещается эксплуатация транспортного средства, при этом государственные регистрационные знаки подлежат снятию до устранения причины запрещения эксплуатации транспортного средства.