Можно ли говорить "мясо рыбы", или мясо только у животных?

Можно.
Мясо и у животных (хотя у наиболее распространенных, оно имеет специальные названия – говядина, свинина, крольчатина...) ,
и у птиц (названия их мяса обычно совпадает названием самой птиц: утка, курица, реже курятина, индейка–индюшатина и т. п.) ,
и у рыб (обобщенное название такого мяса "рыба", хотя некоторые виды имеют также собственные названия, например, – осетрина, а некоторые совпадают с названием вида рыбы – сельдь, лосось, семга)

Добавлено: если "попросить" любой поисковик найти сочетание "мясо рыбы", будет очень много ссылок, и можно видеть, что оно применяется отнюдь не безграмотными людьми...

Если плоть рыбья МЯГкая, то это МЯСо. Так же, как и МЯКоть в плодах.
"Мясо", "мякоть" и "мягкий" однокоренные слова.

Так что, пожалуй что да.

Мя́со — скелетная поперечно-полосатая мускулатура животного с прилегающими к ней жировой и соединительной тканями, а также прилегающей костной тканью (мясо на костях) или без неё (бескостное мясо) . Также, мясом иногда называют некоторые субпродукты: языки, печень, почки, мозги, сердце, диафрагмы, мясо голов и пищевода и т. д. Мясо используется преимущественно как пищевой продукт.

Я думаю, если так придираться, то лучше все-таки остановиться на варианте рыбное филе))

С логической и биологической точек зрения словосочетание "мясо рыбы" вполне нормально, но по-русски так не говорят.
Точно так же как не говорят "ложить" или "покласть", не смотря на то, что никакую логику этим бы не нарушили.

Так что лучше так делать не надо. рыбное филе звучит естественнее.

С каких пор рыбы перестали быть животными?

По-моему можно. А вообще - согласна с Дмитрием ;)

Пищевой продукт убоя в виде туши или части туши, представляющий совокупность мышечной, жировой, соединительной и костной ткани или без нее. Это с ГОСТа. Здесь не вижу запрета употреблять термин мясо рыбы. Более того рыбы тоже животные.

Нет