Что такое бэкап сайта?

Буквально: резервная копия.

это как файлов только сайта

Это в минимальном варианте два файла - дамп БД (часто это специального синтаксиса текстовый документ с расширением sql) и файл архива корневой директории сайта. Первый делается либо через панель управления у хостера, либо специализированным ПО (к примеру phpMyAdmin) второй - аналогично либо в пу хостера, либо же подключением к корню сайта по фтп, скачивания содержимого на машину, и уже архивирование на ней. Считается что имея этот минимум вы сможете к примеру при смене хостера выгрузить туда БД и файлы, и подправив конфигурационники полностью восстановить сайт. Также есть возможность проделать сие действия и на тот же хостинге, откатив сайт на то время когда создавался бекап собственно.

бэкап - от английского "откат", "возврат обратно".
Сайт сохраняют в его определенном состоянии на любом отрезке времени, дабы в случае аварийной ситуации была еще возможность восстановить большинство информации - вернуться к тому, прежнему, стабильному состоянию.
Грубо говоря - это резервная копия сайта (любого файла), которая в случае каких-либо проблем замещает основной файл (сайт).
Иногда делается бэкап (возврат) к прежней стабильно работающей версии программы, настроек, файлов на компьютере, так как, к примеру, теперешняя работает плохо или вовсе не работает.

если уж быть совсем точным и дотошным, та ваш сайт будет скопирован на всякий пожарный