Хочу выучить разговорный японский.

А что, есть возможность учить разговорный? Есть носители в окружении или "хорошо пошел" аудиокурс? Это хорошая возможность, а любые возможности нужно использовать.
Начать с устного - это "наоборотный", но тоже очень хороший подход, при условии, что отдаешь себе отчет в его (подхода) особенностях, сильных и слабых сторонах. Не фыркаешь пренебрежительно "да чего там эту грамматику учить, мне и без нее все понятно" (увы, распространенная позиция среди, например, как бы англоговорящих) , а четко представляешь себе, что тебе по силам на данном этапе освоения языка (устное общение, фильмы и песни на языке) , а что нет (чтение, выполнение переводов) . Причем твои сильные стороны для человека, начавшего с грамматики и письма, могут оказаться слабыми сторонами.
Рассказывал давно выпускник владивостокского универа, что их студенты по сравнению с московскими японистами гораздо более уверенно справлялись с устным переводом, потому что практики было гораздо больше, общение с туристами более непринужденное и менее регламентированное и контролируемое, чем в Москве. О том, с каким трудом набирался опыт устного перевода, свидетельствует такой анекдот. Гид-переводчик - разумеется, с университетским образованием - за что-то поблагодарил опекаемого им японца - туриста ли, бизнесмена ли - и услышал в ответ незнакомое слово "нэдзасуто". Обрадовался "находке" и вскоре с гордостью продемонстрировал знание этого, непосредственно из родника живого общения, словечка другой группе японцев - те застыли в недоумении, и вот тогда-то до него дошло, что это было "не за что" с японским акцентом))