Конечно
Всё зависит от того, были Вы уже по этой визе в Латвии или нет.
1. Если были, то проблем никаких. Можете ехать абсолютно спокойно. Надо только выполнить требование "основной страны", согласно которому в стране, выдавшей Вам визу (в Латвии) Вы обязаны провести больше дней, чем в любой другой.
2. Если не были, то всё намного сложнее. Есть Параграф 5 Шенгенского кодекса о границах, согласно которому если служба пограничного контроля Венгрии выяснит, что лицо, совершающее поездку, имеет визу, выданную другим государством Шенгенской зоны, но ещё не использовало её для посещения этого государства, то она может проверить, действительно ли основная цель поездки находится в этом другом государстве (т. е. у Вас могут попросить предъявить билет из Венгрии в Латвию, подтверждение брони латвийских отелей и т. д. ) . Если это так, то трудностей не возникнет. Однако, если основная цель поездки находится в Венгрии, то лицу, совершающему поездку, следовало оформить визу в венгерском консульстве. В этом случае Вам могут отказать во въезде, а визу - аннулировать.