Как можно редактировать исходный код сайта, что бы сохранились изменения?

У тебя должен быть доступ к файлам сайта (права администратора)
Это должен быть твой сайт.

Если сайт под управлением СМС - у тебя должен быть доступ к возможности редактирования-изменения-сохранения, в частности страниц сайта, как отдельно взятой так и всех страниц залпом. Это в панели управления твоим сайтом, что обычно предоставляется при размещении сайта на хостинге. Если СМС у сайта нет, если ты засылаешь страницы на хост, например, через FTP, и прописываешь всё вручную, а может быть, что у тебя ещё и свой сервер, что вообще всё под рукой, то для удобства, обзоведись какой-нибудь программой-утилитой, например, - Namo WebEditor 9. Она удобна и практична и служит в первую очередь для этих целей.
1.http://namo-webeditor.ru/
2.http://namo-webeditor.ru/download/namo_webeditor.php

Очень просто. Исходный код практически любого сайта можно редактировать и изменять в обыкновенной программе "Блокнот" (от Майкрософт) .
Для этого открываете хтмл-файл веб-страницы с помощью блокнота и вносите изменения, а затем сохраняете их. Открываете хтмл-файл с помощью браузера.
После каждого изменения в исходном коде страницы необходимо обновлять страницу браузера (правда, браузер может кешировать (запоминать) предыдущий вариант
страницы, и тогда изменения будут видны позже. В этом случае можно очистить историю в журнале браузера или открыть страницу в другом браузере. Естественно,
чтобы вносить изменения на сайте необходимо иметь доступ к хостингу, на котором он находится с правами администратора. Второй другой способ - вносить изменения
с помощью встроенного в файловый менеджер редактора - прямо на хостинге. О том как это сделать и другие варианты можно прочитать здесь:
Просто наберите в Гугле "Школа по созданию сайтов" (первая в выдаче, там есть подробный ответ).

А если чужой сайт, то можно визуально, с помощью Js и плагина, я так делал :)