Hogyan kell ezt a "keretes" dolgot megcsinálni htmlben?

Igen, de ez elég elavult dolog, már nem használják.

Csinálj inkább egy sablont div-ekkel, amiből minden egyes lapnál kiindulsz, így pl fent a gombok soha nem változnak.

A kereteket én sem ajánlom, mivel keresőoptimalizálási szempontból nem jó megoldás, ráadásul sokkal profibb módszerek is vannak.

Helyette jobban jársz az AJAX-szal.

Nézz utána az asyncron http request-nek, hogyan tudsz tartalmat betölteni div-be.

Ha nincsenek kliens és szerver oldali programozási ismereteid, akkor előbb a programozásba kellene belemélyedned.

AJAX-szal megoldható, hogy háttérben intézel kérést a szerver felé, és csak az az információ fog visszaérkezni és betöltődni, amit le szeretnél cserélni, vagy új tartalomként be szeretnél tölteni.

Mivel az AJAX valójában JavaScript, ezért a keresők ezeket nem tudják feltérképezni, így a keresők felé el kell érni, hogy HTML tartalmakat lássanak.

ajax seo szavakra keress rá, ha a keresőoptimalizálása is érdekel.

Esetleg PHP-vel is tudsz külső állományokból lecserélendő tartalmakat behúzni, de ehhez is programozási ismeretek kellenek.