Myndighetens verksamhet leds av ÖB och generaldirektören (GD), som ingår i Högkvarteret. Där finns även ledningar, staber och avdelningar med olika ansvarsområden, som leder verksamheten ute på förbanden.
Under myndighetsledningen på Högkvarteret finns en väv av förband, skolor, centrum och andra enheter som sträcker sig över hela landet.
Förbanden delas in i utbildningsförband och insatsförband.
Utbildningsförbanden utgörs av regementen (armén) och flottiljer (flygvapnet och marinen), samt två amfibieregementen (marinen). Utöver dessa finns försvarsmaktsgemensamma förband som till exempel Ledningsregementet.
Insatsförband är enheter som är beredda att sättas in i insatser utomlands eller i Sverige.
Skolorna utbildar och fortbildar soldater, sjömän och officerare från alla delar av Försvarsmakten, både teoretiskt och praktiskt. Några av de större skolorna är Flygskolan, Tolkskolan, Sjöstridsskolan, Försvarsmaktens tekniska skola, Markstridsskolan och officershögskolorna i Halmstad och Karlberg.
I Försvarsmaktens centrum samlas den högsta kunskapen och kompetensen inom olika områden. Försvarsmedicincentrum, Totalförsvarets ammunitions- och minröjningscentrum och Försvarsmaktens meteorologi- och oceanograficentrum är några av dessa.
Hos enheterna samlas stöd- och specialistfunktioner för hela Försvarsmakten. Exempel på enheter är Försvarsmaktens idrotts- och friskvårdsenhet och Försvarsmaktens hundtjänstenhet.