Skansen ble valgt som Tromsø sitt tusenårssted fordi Skansen er et meget betydningsfullt kulturhistorisk og arkitektonisk anlegg som har hatt stor nærmest avgjørende betydning for byens plassering og fremvekst. I "Tromsø bys historie" argumenterer N. A. Ytreberg for at Skansen ble bygd i forbindelse med det utrygge forholdet mellom nordmenn og kareler, og han antar at vollen ble bygd omkring 1250 i forbindelse med reisinga av Mariakirka i Tromsø.
I skriftlige kilder blir Skansen først nevnt i 1743, i en grenseeksaminasjonsprotokoll skriver major Peter Schnitler om Skansen: "Ved denne Havn paa en odde sees endnu Rudera (ruiner) af en gammel liden Jord-Skandse, hvor omkring graver have været. Denne Skandse siunes at have været anlagd for at dække Havnen: Dog har den incommoditet, at nær ved Skandsen ligger høye Berge, baade på Öen i sig selv, og paa den anden Side af Havnen over Sundet paa det faste Indland. Aarsagen til denne Skandse, og Tiden af dens Anlægg veed Ingen af Indvaanerne at sige: Dog er en gammel Sagn at den for Russens Skyld skal være fundered."
I 1769, omtales Skansen i skriftlige kilder av den østeriske jesuittpateren Hell, som betegner Skansen som "de gamle kongers borg". På et kart fra 1788, beskrives Skansen som:" Rundelen, en oppkastet Vold med en Grav, efter formeening levninger af en befæstning, maa ske heller en Vold hvor en bygning har staat i de Catholske Tider da Tromsöen tilhörede Canonici i Trundheim."
I 1878 skrev geologen Karl Pettersen en artikkel i Tromsøposten, der han gir en beskrivelse av Rundellen som på den tiden var den vanligste betegnelsen på Skansen. Han forteller i sin artikkel at så sent som på midten av 1800 tallet hadde Rundellen en vannfylt vollgrav. Han diskuterer samtidig navnet Skansen og hevder at Skansen eller Tollbodskansen var nye benevnelser fra den gang det ble montert kanoner i forbindelse med Napoleonskrigen. (1808). Pettersen hevder at Skansen opprinnelig må ha hett Borgen på grunn av stedsnavnet Borgåsen på bakkekammen ovenfor. Bygningene på Skansen har i senere tid hatt flere funksjoner, de har blitt brukt som tollbod, bolig, skoler, epedemilasarett, aldershjem og bymuseum
I dag er Skansen et festivalsenter, og festivalsenterets hovedoppgave skal være å styrke og utvikle Tromsø som festivalby. I Bårstua har det vært kafedrift de siste årene.