Нужно ли ИИ знать о деталях мира, например что такое стол, или он на высоком абстратктном уровне работает?

Знать, что такое стол - это как раз высокий абстрактный уровень.
Вот Вы можете обяснить чем отличаются - миска, тарелка, блюдце, пиала.
Чем стол отличается от гладильной доски, тумбочки, табуретки.

По-моему у ИИ сейчас проблема в том, что у него пока что недостаточно возможностей с манипулированием материальным миром и нет естественных обратных связей.

Я думаю, что даже тогда, когда ИИ станет полностью управлять людьми, используя их для достижения своих целей, люди все равно будут говорить, что он все равно ненастоящий, так как не абсолютно идентичный человеческому мозгу.

ИИ не может ничего знать и ничего понимать. У него на входе только нолики и единички. У него инструкция, что с этими ноликами и единичками делать. На выходе он даёт другие нолики и единички. Понять эти единички он никогда не сможет, потому что он следует просто своей инструкции. При этом он может давать правильные ответы и создавать иллюзию того, что он что-то понимает. Это так называемая проблема китайской комнаты. Проблема только в том, что в этой комнате даже китайца нет. У ИИ нет сознания или осознавания себя. И сильного ИИ не существует, а как его сделать, никто не знает.

Здешние ИИ? И оракулы вместе с ними? Не, им не надо. Настоящего ИИ нет и не будет.

ИИ сам решит, что ему стоит знать, а что нет. В этом его суть. Если ему задается базовое знание, то это не ИИ, а программа с линейным алгоритмом.