
В общем, ПРИ ОПРЕДЕЛЕНИИ РОДА НЕСКЛОНЯЕМЫХ СУЩЕСТВИТЕЛЬНЫХ СЛЕДУЕТ РУКОВОДСТВОВАТЬСЯ ПРАВИЛОМ, а не ассоциациями, и первый же пункт правила состоит из двух позиций.
Согласно первой, НЕСКЛОНЯЕМЫЕ НАРИЦАТЕЛЬНЫЕ СУЩЕСТВИТЕЛЬНЫЕ (именно такие употреблены мной в первом абзаце) ОТНОСЯТСЯ К СРЕДНЕМУ РОДУ. Во второй позиции называются несколько исключений из этого пункта, которыми являются несклоняемые существительные мужского рода (кофе, пенальти, тенге) и женского рода (авеню, кольраби, салями).
Эту табличку я составила по материалам школьного учебника. На ней сведения и о том, какие существительные относятся к несклоняемым, и о том, как определить род таких существительных:

Слово БРОККОЛИ в школьном учебнике среди исключений не названо (все исключения не называются – только самые употребляемые). Существительное БРОККОЛИ тоже исключение. Доказать это нам помогают словари – род несклоняемых существительных указывается здесь обязательно:

ВЫВОД: несклоняемые существительные КОЛЬРАБИ и БРОККОЛИ, являющиеся нарицательными и при этом неодушевлёнными, относятся К ЖЕНСКОМУ РОДУ вовсе не потому, что обозначают сорта капусты, а потому, что слова эти стали ИСКЛЮЧЕНИЯМИ ИЗ ПРАВИЛА.
А по роду общего слова мы определяем род несклоняемых собственных наименований, чаще всего названий географических объектов (слово Душанбе мужского рода, так как это город, существительное Миссисипи женского рода, если это река, но мужского рода, если имеется в виду штат). Странно, но эти два пункта правила многие смешивают, путают.