Почему планету вращаются вокруг солнца в одной плоскости?

Потому что они вместе с Солнцем образовались из вращающегося газопылевого облака. Силы тяготения сжали облако в диск с центральным сгущением (сжатию всего облака к центру препятствовала центрбежная сила, действующая в плоскости вращения) , затем диск расслоился на кольца, а в кольцах все сжалось к одному из сгущений каждого кольца.
Почему именно на столько колец - это уже надо считать. "Пользуясь своей моделью протопланетного облака, он представлял себе кольцо в виде плоского диска из сталкивающихся частиц, вращающихся дифференциально вокруг планеты по закону Кеплера. Именно дифференциальное вращение, согласно Канту, является причиной расслоения диска на серию тонких колечек" (http://astronom4.narod.ru/sols/pl/sat/dn/index.htm) Детально математически это разработал Лаплас. "В 1796 г. Лаплас в популярной форме высказал идею о том, что в процессе образования планет может играть большую роль вращение туманности. В самом деле, пусть элемент массы т сжимающейся сферической туманности вращается с угловой скоростью по орбите, радиус которой r. Если момент количества движения этого элемента I = mwr² остается постоянным, то w возрастает при сжатии туманности. Пусть полная масса туманности M. Тогда на элемент m действуют сила тяжести и центробежная сила Центробежная сила при сжатии растет быстрее, чем сила тяжести, и при их равенстве возникает так называемая ротационная неустойчивость, при которой туманность сплющивается, принимая форму чечевицы, и с ее экватора отделяется вещество. Из выброшенного вещества вокруг туманности образуются плоские кольца, похожие на кольца Сатурна. Лаплас полагал, что газ, выброшенный из туманности, впоследствии конденсируется в планеты. " (http://www.bibliotekar.ru/astronomia/178.htm) Все это еще конец восемнадцатого века.. .

1. вращаться - могли бы, если бы их кто-то так запустил готовенькие. А возникнуть - не могли бы.
Есть такое явление как "вырождение степеней свободы". Если у нас есть пылевое облако, имеющее некий момент вращения, оно сожмется в плоскость, отрогональную моменту импульса. Просто хаотически летающие пылинки бьются, при ударе часть энергии уходит в тепло, а вектора скоростей оставшихся частиц лежать ближе к вектору суммарных скоростей.
Суммарный момент импульса при этом не меняется.
в итоге орбиты всех частиц приближаются к одной плоскости и становятся почти круговыми.

Яркий пример - кольца Сатурна

А Вы хотели чтоб по разным плоскостям? Они столкнутся.

Потому что планеты и солнце образовались из одного облака материи, которое изначально вращалось в одной плоскости.
Это подтверждается тем что солнце и все планеты вращаются в одну и ту же сторону

Это не совсем так... плоскости вращения разных планет Солнечной системы отличаются правда не сильно..