Co nome de Small Heath, foron membros fundadores e primeiros campións da historia da Football League Second Division. O período de máis éxito da historia do club foi durante a década de 1950 e primeiros anos da de 1960. Acadaron a súa mellor posición na First Division, daquela máxima categoría do fútbol inglés, na tempada 1955-56, acabando na sexta posición, chegando ademais á final de FA Cup ese mesmo ano, e á final da Copa de Feiras en 1960 e 1961, gañando finalmente o seu primeiro e único gran título, a League Cup, en 1963 despois de vencer aos seus veciños do Aston Villa por 3–1. O City ten xogado a meirande parte da súa historia na máxima categoría do fútbol inglés, sendo o seu maior período fóra da categoría entre os anos 1986 e 2002, incluídos dous breves descensos á terceira categoría.
O estadio St Andrew's é o seu terreo de xogo como local dende 1906. O equipo ten unha longa rivalidade co Aston Villa, o seu veciño máis próximo, co que xogan o coñecido como o "Birmingham Derby. O alcume do club é "The Blues", debido ás cores do seu uniforme, sendo os seus fans coñecidos como os "Bluenoses".