По какому принципу передавался русский престол в XVII веке до Петра I и после него? От отца к сыну? Или как-то иначе?

До Петра порядок престолонаследия в России никак не регулировался законом, и целиком определялся традицией.
В киевской Руси порядок престолонаследия определяло лествичное право
.Система княжения, при которой княжат по старшинству, переезжая из города в город называется лествичная.
То есть:
- старший брат (Киев)
- младшие братья по порядку (в зависимотсти от «престижности» удела и желания отца) ;
- сыновья старшего брата (по старшинству) ;
- сыновья остальных братьев (по старшинству) ;
- внуки, правнуки также по старшинству и т. п.
с XIII века наблюдается изменение лествичного порядка престолонаследия, в первую очередь, в Галицко-Волынском княжестве. На смену приходит удельный порядок владения, характеризующийся прекращением перемещения князей из города в город (то есть образованием личного удела) и возможностью передачи владения старшему сыну.
С правления Ивана Калиты Великим Князем почти всегда становился старший сын предшествовавшего Великого Князя, у которого не оказывалось ко времени его смерти младших братьев. Счастливое сочетание обстоятельств было в том, что дяди уходили из жизни раньше, чем могли бы предъявить свои права старшинства перед племянниками – сыновьями старшего брата. До самой Смерти Василия Дмитриевича (сына Дмитрия Донского) переход по нисходящей линии не вызывал споров и, наконец, этот порядок стал обычаем, отчеством, дединой, нормой долженствования.
Петр 1 в 1722 г. издал указ о порядке престолонаследия, согласно которому царствующий монарх при жизни назначает себе преемника, причем император может сделать своим наследником кого угодно (предполагалось, что царь назначит своим преемником «самого достойного») . Этот закон действовал до царствования Павла I. Сам Петр не воспользовался законом о престолонаследии, так как умер, не указав преемника.
Вступив на престол, в 1797 году Павел I в день коронования обнародовал Манифест о престолонаследии, составленный им и его женой Марией Фёдоровной ещё при жизни Екатерины. Согласно этому манифесту, отменявшему петровский указ, «наследник определялся самим законом» по полусалическому наследованию (аналогично австрийской системе) . Намерением Павла было исключить в будущем ситуацию отстранения от престола законных наследников и произвола. Однако новые принципы ещё долгое время не воспринимались дворянством и даже членами императорской фамилии. Так, после убийства Павла в 1801 г. его вдова Мария Фёдоровна, соавтор павловского манифеста, восклицала «Я хочу царствовать!» . Манифест Александра I о вступлении на престол (позже — также манифесты о присяге Грузии и др. ) содержали петровскую формулу «и его императорского величества наследнику, который назначен будет» , несмотря на то, что по закону автоматическим наследником Александра был его брат Константин Павлович (который затем тайно отрёкся от этого права, что также противоречило павловскому закону) . Стабильным российское престолонаследие стало только после кризиса 1825 г. и вступления на престол Николая I.

До Василия II Темного - по лествичному праву, т. е. старшему в роду.
Потом от отца к сыну, за исключением Смутного времени. По окончании Смуты Михаил Романов - избран Земским собором, после него опять от отца к сыну.
Петр установил новый порядок наследования, согласно которому он сам должен был назначить наследника, но умер, не успев назначить, что и привело к череде переворотов с участием Гвардии и правлению нескольких императриц. Павел I в 1797 году установил новый порядок наследования, который и сохранился до конца существования Российской Империи - от отца к старшему сыну. В случае отсутствия прямого наследника (сына) , власть переходила к ближайшему родственнику, например, брату умершего монарха (в частности, от Александра I к Николаю I).