Német eredetű zenészcsaládból származott, gimnáziumi és zenei tanulmányait Nagyváradon, majd Pozsonyban végezte, itt írta első zeneműveit. Ezután Kolozsvárra került zenetanárnak, az erdélyi városban már "remekjátszó hangászművészként", azaz zongoristaként is kitűnt, a polihisztor Brassai Sámuel bíztatására a magyaros motívumokat is beépítette szerzeményeibe.
1835-ben került Pestre, a Pesti Magyar (1840-től Nemzeti) Színházban 1838 januárjában vezényelt először. 1840-ben került színre első operája, a Bátori Mária (érdekesség, hogy ennek színlapján szerepelt először a Nemzeti Színház felirat). Későbbi műveihez hasonlóan már ez is a magyar történelemből merítette témáját - igaz, nem a hivatalosságnak megfelelő módon.
Báró Podmaniczky Frigyes, az Operaház intendánsa szemére is vetette az idős Erkelnek: "Annyi dalműve közül egy sem volt, amelyet valamely ünnepélyes alkalommal elő lehetett volna adni... Király- vagy királynégyilkolás, az aristocratia elleni zendülés, nemzetiségi harcok s torzsalkodás nélkül nem lehetett egyetlen librettója sem".
1844-ben született a Hunyadi László, az első igazán magyar nemzeti opera, ennek Meghalt a cselszövő című kórusát énekelték 1848. március 15-én este a Nemzeti Színházban. Erkel ugyancsak 1844-ben megnyerte a Himnusz megzenésítésére kiírt pályázatot (az előző évben nem indulhatott a Szózatra kiírt pályázaton, mert a zsűri tagja volt, de Egressy Béni kompozícióját ő hangszerelte zenekarra).
A fanyalgó Honderű ugyan azt írta, hogy "a Hymnus szelleméhez alkalmazott templomi zene... a nép ajkán visszhangra nem fog találni", az mégis nemzeti ima lett. Erkel a szabadságharc leverése után 1861-ig hallgatott, ekkor mutatták be a Bánk bánt, a legnagyobb magyar történelmi operát, éles kiállásként az önkényuralom ellen.
Későbbi operái, a Sarolta, a Dózsa György, a Brankovics György, a Névtelen hősök már korántsem tettek szert ilyen népszerűségre; utolsó befejezett dalművét, az István királyt 75 éves korában mutatták be az újonnan felépült Operaházban.
Erkel tette "szalonképessé" a verbunkost, a csárdást, legismertebb dallamai "népdallá" váltak. Kiváló karmester is volt, Beethoven, Liszt, Wagner számos művét ő mutatta be a magyar közönségnek. Nevéhez fűződik 1853-ban a Budapesti Filharmóniai Társaság megalapítása,
1865-ben az országos daláregylet "örökös főkarmesterévé" választották, az 1875-ben Liszt Ferenc elnökletével megnyíló Zeneakadémia első igazgatójaként kilenc tárgyat oktatott, olykor Lisztet helyettesítve, emellett sakkozóként is ismert és elismert volt.
Karmesteri működésének ötvenedik évfordulóján kiállítást rendeztek azokból a tárgyakból, amelyekkel a hálás közönség ismerte el művészetét: ezek között volt aranyból és ezüstből készült babérkoszorú, és egy különleges aranypálca is száz aranyat tartalmazó bársony tokban, amelyet 1844-ben kapott a Nemzeti Színház vezetőségétől.
Erkel utoljára 80. születésnapján lépett színpadra, Mozart d-moll zongoraversenyét játszotta. Erkel Ferenc 1893. június 15-én halt meg Budapesten.
