Carlisle United werd opgericht in 1904. In 1928 werd de club toegelaten tot de English Football League, als vervanger van Durham City AFC. Na een paar decennia op het derde en vierde niveau geopereerd te hebben, volgde in 1965 een historische promotie naar de Second Division, het tweede nvieau. In 1974 werd Carlisle United op dit niveau derde, waarmee een historische promotie naar de First Division een feit was. Ondanks dat de eerste drie wedstrijden winnen werd afgesloten, eindigde de club hun debuutseizoen op het hoogste niveau als hekkensluiter en degradeerde het weer. Dat seizoen werd ook de kwartfinale van de FA Cup bereikt, de beste prestatie in de clubgeschiedenis. Na twee seizoenen in de Second Divison daalde Carlisle in 1977 nog een niveau af. Nadien speelde de ploeg in de jaren tachtig nog een aantal seizoenen in de Second Division, maar was het vooral pendelen tussen de onderste twee niveaus van het Engelse profvoetbal. Tweemaal degradeerde de ploeg uit de Football League. Na de eerste degradatie in 2004 werd Carlisle gelijk kampioen. In 2025 volgde een volgende degradatie, van de League Two naar de National League.
Het meest memorabele seizoen in de historie van de club is het seizoen 1998/99 toen de club in the Third Division speelde. Het seizoen begon met wat wisselvallige resultaten, waarna het team rond september en oktober steeds beter begon te spelen. Daarna zakte de ploeg echter weg op de ranglijst en kwam het zelfs uit op de laatste positie en leek degradatie naar de Conference National onafwendbaar. De uiteindelijke climax zoals die zich voordeed kon echter niemand voorspellen. Het werd een van de meest memorabele momenten in de geschiedenis van het Engelse voetbal.
Carlisle United moest haar laatste wedstrijd van het seizoen thuis tegen Plymouth Argyle winnen om degradatie tegen te gaan. Directe concurrent Scarborough FC speelde op datzelfde moment tegen koploper Peterborough United en stond 1 punt voor op Carlisle. De wedstrijd aldaar eindigde in 1-1 en dus volstond een overwinning van Carlisle voor behoud in de Third Division. Carlisle kwam echter op achterstand, maar wist nog voor rust op gelijke hoogte te komen. In de tweede helft gebeurde er echter weinig en leek de wedstrijd ook op die 1-1 stand te eindigen. Na 90 minuten stond er nog altijd een stand van 1-1 op het scorebord en zou Carlisle degraderen. De scheidsrechter liet doorspelen en de minuten tikten voorbij. In de 95e minuut kreeg Carlisle een corner te nemen. Doelman Jimmy Glass sprintte naar voren en arriveerde net op tijd om bij de corner aanwezig te kunnen zijn. De corner kwam op het hoofd van Scott Dobie terecht die uiteen spatte op de handen van de keeper. De terugvallende bal kwam recht voor de voeten van Glass terecht. Hij bedacht zich geen moment en haalde de trekker over, met als resultaat een 2-1 stand voor Carlisle United en lijfsbehoud. In de vreugde bestormde een groot deel van de supporters in het uitverkochte stadion het veld. De scheidsrechter zocht de bal en zodra hij die gevonden had liep hij tergend langzaam door de feestende menigte naar de middenstip. Daar aangekomen floot hij voor het einde van de wedstrijd. Glass was de vervanger van de lokale held Tony Caig die de club in de jaren daarvoor al diverse malen had gered. Craig vertrok echter en Glass kwam en kreeg veel kritiek over zich heen. Dat alles was na deze goal meteen verleden tijd. Na de wedstrijd tekende Scarborough beroep aan tegen de uitslag van de wedstrijd tegen Plymouth. Zij gaven als reden op dat Jimmy Glass na het verstrijken van de transferperiode pas op huurbasis naar Carlisle ging. Dit beroep werd door de FA verworpen.