Fleming se narodil 6. srpna 1881 ve skotském Lochfieldu. Ve třinácti letech odjel za bratrem očním lékařem do Londýna, kde vystudoval polytechnickou vyšší školu a čtyři roky pracoval jako úředník u paroplavební společnosti. V roce 1901 se zapsal na lékařskou fakultu při nemocnici sv. Marie, kde pak strávil celý život. Stal se asistentem Almrotha Wrigta, průkopníka na poli očkování a imunologie.
Památný objev penicilinu se zrodil 3. září 1928, kdy se Fleming vrátil po dovolené do své laboratoře a při úklidu se rozhodl nevyhodit, nýbrž blíže prozkoumat pár zplesnivělých vzorků. Plíseň, jež zabíjela okolní mikroby, se stala základem objevu, který později začal zachraňovat lidské životy.
Profesor Fleming byl v roce 1943 zvolen členem Královské společnosti a o rok později mu byl udělen titul sir. Za svou práci obdržel mnohá vyznamenání a tituly, včetně Nobelovy ceny v roce 1945. V letech 1951 až 1954 působil také jako rektor Edinburské univerzity. Je pohřben v londýnské katedrále sv. Pavla.