Являлся обладателем трёх рекордов высшей лиги Украины: самый возрастной игрок, самый возрастной дебютант и как самый возрастной бомбардир.
Воспитанник полтавского футбола. Первые тренеры — А. Витков, И. И. Горпынко. Начал профессиональную карьеру в клубе «Колос» Полтава. Дебютировал на мастерском уровне 4 мая 1974 года в матче против житомирского «Автомобилиста», выйдя на замену во втором тайме. Игра проходила в Решетиловке, так как полтавский стадион «Колос» был на очередной реконструкции. «Колос» одержал победу 3:1. Первый гол забил 7 мая 1974 года в Кременчуге в ворота винницкого «Локомотива». Позже выступал за «Динамо» (Киев), но закрепиться в основном составе он не сумел, проведя за киевлян лишь две игры в Высшей лиге чемпионата СССР.
Но знаменитым Иван Шарий стал на весь СССР, когда выступал за одесский «Черноморец» . Играл за команды «Динамо» (Минск), «Металлург» (Запорожье), «Нистру» (Кишинев). В 1987 году вернулся в возрожденную Ворсклу. Поиграв в Полтаве три сезона, перешёл в болгарский клуб «Этыр». В 1991 году перешёл в винницкую Ниву. После распада СССР играл за клубы Любительской лиги, а также за «Кремень», «Горняк-Спорт» и «Ворсклу». Бронзовый призёр Чемпионата Украины сезона 1996—1997 гг. в составе полтавчан . Прощальный матч Шария состоялся 1 мая 2001 года на стадионе «Ворскла».
В 2009 году признан лучшим игроком столетия в Полтавской области.
