Я читал, что говорить Of course – это грубо. Но, при этом, несколько раз слышал это слово в сериале.

обычно говорят sure

Любое слово может прозвучали грубо, если употреблено неуместно.

Грубо - это "coаrse". Созвучно, и поэтому кое-кому кажется грубым. На самом деле вполне нормальное слово.

ничего грубого в этой фразе нет ))) глупости... как и с любой другой фразой надо знать, когда ее вставлять и где.

It's OK. (not rude).

Иногда, отвечать на вопрос фразой «Of course», действительно грубо. Если вам задают личные вопросы, или предлагают что-нибудь, то лучше не отвечать «of course».
Например:
Would you like another cup of tea?
Shall I open the window?
Do you like running?
Have you been to Moscow?
В таких вопросах, ответ «Of course» = очевидно. А человек, вполне возможно, понятия не имеет, были вы в Москве или нет, любите бегать или нет, хотите еще чай или нет. Выходит, что тот, кто спрашивает у вас подобные вещи, может посчитать, что он не понимает что-то очевидное, и вы ему на это указываете. Согласитесь, обидно. Поэтому, в подобных ситуациях, лучше отвечать «Yes, sure!» - Конечно.
А вот другая ситуация. У вас просят что-то одолжить или помочь с чем-то. Например, Can you help me with homework? – Of course! (Вы имеете в виду, что с радость согласитесь помочь).
Я оставлю ссылку на статью про фразу «Of course», там сможете еще примеры посмотреть. https://linguafromhome.com/blog/pro-of-course-ili-kak-ne-obidet-sobesednika/