C# Если я использую код внутри unsafe он по скорости работы сравним с нативный (неуправляемым) кодом?

Лучше вынеси в библиотеку и вызывай из основной программы.

Иначе тебе прийдется помечать всю сборку с unsafe, как небезопасную, а зачем отменять валидацию кода CLR для всей сборки, если можно вынести опасный функционал за рамки безопасного?

А функцию можно вызывать через PInvoke и unsafe не понадобится (правда на маршалинг native -> managed потери будут).