В чём ещё трудность общения с иностранцами, кроме не знания языка? Или это и есть главная трудность

Конечно, это главное. Пока человек мало знаком, и неизвестно, чем он может быть тебе близок или чужд, с ним можно обмениваться только формальной информацией - а это предназначение языка. Уже потом, когда с таким человеком знакомишься близко, имеешь общие интересы и воспоминания, становится возможен обмен напрямую эмоциями - тогда в работу может уступать язык мимики, интонации и т. п. А иностранцы имеют, как правило, совершенно чужой для нас менталитет, и добиться с ними родства на эмоциональном уровне намного труднее, чем с соотечественниками. Поэтому язык - первый и самый важный способ общения, ничего не поделаешь! Но зато - этот способ и самый легкий из всех.

Разная среда обитания и жизненный опыт, традиции.
Свежайший случай . На предложение сходить в БАНЮ последовал вопрос "What's special about it?" , что приблизительно равно )))): "Что в этом особенного? ", или примерно так. Его английский, как и мой, далеки от совершенства) ) При этом мне удалось правильно перевести словосочетание "positive pressure", как избыточное давление. У переводчицы здесь возникли проблемы
Иностранец был из арабской страны.
Я не говорил по-английски лет десять, бо не с кем и не о чем )) , а он шпрехал постоянно, поскольку представляет интересы одной конторы и постоянно перемещается по миру

Разное мировоззрение и менталитет. . да и традиции .. и ценности...

Если не знаете языка, то до всех остальных трудностей просто не доберётесь.
Чтобы оценить разницу в менталитете и чувстве юмора нужно, как минимум, поговорить с человеком, причём, желательно, не на уровне:

- What watch?
- Five watch.
- Such much?
- To whom how.
- Leningradskij Injaz?
- You ask!

также разный менталитет

Все произрастает из детства.. . Разница в воспитании и окружающего общества.
Характерное и известное нам с самых малых лет, совсем не доступно иностранцам. Никакой иностранец не поймет и не оценил как можно есть эти "мокрые пирожки" ( пельмени) , пить водку и петь за столом . Что хотите от них???

Менталитет может быть другой. Например то что вы считаете нормальным - иностранец может не принять.

у них своеобразное чувство юмора, особенно у Англичан.
Хотя может это у нас оно своеобразное :)

Это не главная трудность. Общаясь с американским кавалером я не могу пошутить! Наш юмор не перевести!