Dei freda bygga er daterte frå første halvdel av 1600-talet og fram til 1950-talet. I tillegg finn vi fleire verneverdige bygg, som røykhus, fjøsbygningar og naustrekkje innanfor fredingsområdet, datert til 1700-, 1800- og 1900-talet.
Kaupanger Hovedgård har namnet sitt etter kaupangen som truleg vart etablert rundt år 1000. Namneforskarar daterer kaupangsnamnet til 900-talet, noko som viser at namnet er tett knytt til vikingtida. Samstundes syner dyrkingslag at garden førebels skal daterast til byrjinga av bronsealderen. Med andre ord hadde garden allereie eksistert rundt 3000 år før kjøpstaden vart etablert. I dag har vi ikkje skriftlege eller andre kjelder som fortel om det opphavlege gardsnamnet. Stadnamn er normalt seige strukturar, der det skal mykje til før det skjer endringar. Dette tyder på at garden relativt fort gjekk over til å bli oppkalla etter kaupangen, noko som understrekar dei omfattande omveltingane i samfunnet i overgangen mellom vikingtida og mellomalderen.
Det er ikkje gjort omfattande arkeologiske undersøkingar i Kaupanger, men funn av stolpehol, kultur- og dyrkingslag viser at garden var veletablert i jarnalderen. Det er òg indikasjonar på at det tidlegare har vore fleire gravhaugar i området, både innafor sjølve kaupangsområdet og i randsona til kaupangen. Det er mellom anna levert inn lausfunn, som kan stamme frå en bortpløgd grav. Kaupanger si lange historie som kyrkjestad, der den første kyrkja truleg var bygd som høgendekyrkje (privatkyrke bygd av ein stormann for han og hans næraste familie) tyder òg på at garden hadde ein viss storleik i overgangen til mellomalderen.
I seinare skriftlege kjelder finn vi truleg spor av den same garden, då som prestegard. Om dette er den same garden som låg her før kaupangen eller om den på eit tidspunkt vart utskilt som eigen prestegard, er det ikkje råd å seie noko om ut frå dei arkeologiske og skriftlege kjeldene. Men vi ser at ætta som er knytt til denne garden er kjent i skriftlege kjelder både i Sverre-soga og truleg utover 1300-talet.
Kaupangen er avgrensa ved kombinasjon av gjenstandsfunn og arkeologiske strukturar som det er naturleg å relatere til kaupangen, som kulturlag (svartjordslag), bygningsrestar, gjenstandsfunn og restar etter omfattande handverksaktivitetar, som jarnsmiing. Dei arkeologiske spora tyder på at det opne kulturlandskapet som omkransa kaupangen vart halde i hevd som slåtte- og beitemarker parallelt med utviklinga av kaupangen.
Korleis kaupangen vart etablert og eventuelt kven som stod bak etableringa, er vanskeleg å lese ut frå det skriftlege og arkeologiske kjeldematerialet som eksisterer. Men vi kan tenke oss at kaupangen vart etablert som sesongmessig marknadsplass i overgangen mellom vikingtida og mellomalderen. Initiativtakar må vi truleg søke i eigar av garden, eventuelt i kombinasjon med fleire stormenn i området. At den første kyrkja var privatkyrkje, styrker denne teorien. At det ikkje er spor etter konge- og kyrkjemakt i kaupangen, styrker også teorien om at lokale stormenn har hatt stor innflyting over staden.
I mellomalderen var det i Norge berre 13-14 byar eller stader med byliknande funksjonar og Kaupanger var ein av dei. Dei norske byane vaks fram i overgangen mellom vikingtid og mellomalderen, ein brytningstid då sentralmakta (kongemakta) og kyrkja gradvis auka makta si. Samstundes ser vi at handel og masseproduksjon av varar og gjenstandar aukar i omfang. Men det var heller ikkje ein tid fri for ufred og vald og midt i alt dette finn vi Kaupanger!
Dei eldste spora etter kaupangen er førebels daterte til overgangen til 1000-talet, mens dei yngste spora er frå første halvdelen av 1400-talet. Ut frå det arkeologiske kjeldematerialet er kaupangen sitt busettings- og aktivitetsområde godt avgrensa. Det totale arealet er anslått til om lag 45 000 m2.