Как сделать морфемный разбор слов: жучок, значок?

Это имена существительные, то есть слова склоняемые, следовательно, окончания у них есть, просто оно не выражено в произношении звукам, а на письме – буквами, то есть НУЛЕВОЕ. Это видно из сопоставления данных словоформ с другими:
◆ ЖУЧОК – жучка, жучку, жучком;
◆ ЗНАЧОК – значка, значку, значками.

При формоизменении в суффиксе происходит чередование О с нулём звука (беглая гласная).

Разбираем так:
◆ жуч/о́к/_ – корень/суффикс/нулевое окончание;
◆ знач/о́к/_ – корень/суффикс/нулевое окончание.