Чем физически (и в изготовлении) отличаются GPU от CPU?

В изготовлении - ничем. И то и то делается с помощью электронно-лучевой литографии, потоком частиц через матрицу светят на подложку. Это как телевизор и магнитофон. И там и там есть микросхемы, резисторы, конденсаторы, только одно играет, другое показывает.

Чисто физически - практически ничем. Что там, что здесь - многоступенчатый процесс, от подготовки подложки из чистого кремния, фотолитографии до многоуровневого и многоступенчатого травления и наращивания структур, дорожек, выводов транзисторов и т. д.

Принципиальное отличие только в архитектуре и самой схеме.

В одном случае - процессорные ядра и логика вокруг них,
в другом - исполнительные блоки, много много графических ядер (процессоров, которые занимаются чисто графикой).

То есть сама схема, которую делают на кристалле, разная.

Ну а так, с физической точки зрения, что CPU, что GPU - и то и другое микросхемы.

Подложка, служащая основой и разводкой выводов, кристалл с самой схемой, и (в зависимости от модели) теплопроводная крышка.

Что касаемо цены, то очень значительное влияние вносит площадь кристалла, чем она больше (больше ядер и прочего понапихано) - тем резко оно становится дороже в производстве.

В изготовлении разницы почти никакой нет. Одно и то же оборудование выполняет схожие операции с кремниевыми пластинами. Разница лишь в проектировании.
https://youtu.be/Yldpy8zqsyg?t=69
вот тут в начале есть кусок рассказа о производстве процессоров

Ну строением. Хотя в cpu бывает встроенный gpu

Принципиально ничем. На обоих чипах основную работу выполняют транзисторы. Их там миллиарды

Хотя бы тем, что буквы разные.

На одном можно майнить (физически майнить битки) а на другом нельзя или это будет не эффективно.