Rari utensili litici trovati nel territorio circostante Gorga, appartenenti al musteriano (da 75.000 a 35.000 anni fa) testimoniano la presenza dell'uomo preistorico.

Più numerosi sono i ritrovamenti di resti fittili riferibili all'eneolitico (età del bronzo), scoperti da Mons. Luigi Scialdoni e datati dal Prof. Ugo Rellini. Di questi preziosi resti non si ha più traccia, si narra che siano stati letteralmente gettati in una discarica dopo la morte dello Scialdoni. Questi reperti appartenevano, con molta probabilità, a qualche tribù Volsca che aveva colonizzato questi territori montani.

Nei secoli successivi si sviluppò un piccolo insediamento che diede vita ad un pagus, come è testimoniato dalla presenza di due necropoli di età imperiale la prima presso l'orto dei Frati, la seconda in prossimità della Chiesa di S. Domenico fuori le mura. Inoltre, allo stesso periodo appartiene una cisterna ubicata in località Ricciali.

Questi primi abitanti vivevano nei tipici capanni lepini di forma conica (vedi foto), con base circolare di scapoli di calcare costruita a secco, che le popolazioni lepine hanno utilizzato fino a qualche decennio fa.

Dal V-VI sec. d.C., a seguito delle invasioni barbariche, gli abitanti del pagus (pagani) divennero cristiani a contatto con i rifugiati della pianura, che scelsero le impervie rupi di Gorga come loro dimora più sicura.

Successivamente, il pagus si trasformò in burgus (villaggio) ed iniziò la costruzione delle prime rudimentali abitazioni in muratura sorte, probabilmente, in prossimità delle rupi della portabballe. Questa posizione è quella che sembra più sicura, per la presenza delle rupi rocciose ed in posizione geografica più favorevole in quanto esposta a mezzogiorno e riparata dai freddi venti di tramontana.

Si accedeva al burgus tramite la Via Piana che dalla portabballe raggiunge il Fosso della Via Piana. Il tracciato presenta pendenze minori rispetto alla Via Nuova Gorga-Segni, aperta nei secoli successivi, che inizia dalla Piazza Vittorio Emanuele II.

Il primo documento storico in cui compare il nome di Gorga è la Bolla di Urbano II del 1088, in cui il castello di Gorga è incluso tra quelli sotto la giurisdizione di Anagni.

Nel 1151 una quota parte delle terre di Gorga viene ceduta al monastero di Villamagna, l'altra quota parte fu venduta, sempre a Villamagna, nel 1216.

In questo periodo esistevano comunque molti proprietari terrieri, probabilmente di Anagni, chiamati condomini.

Nel 1216 viene siglato il primo giuramento di Vassallaggio nella Chiesa di S. Michele Arcangelo.

In questo periodo Gorga non era ancora un comune autonomo ma assoggettato a Villamagna ed era divisa in due Decarcie quella superiore e quella inferiore a capo di ognuna vi era il Comestabile (dal latino comes stabuli cioè conte di stalla),. Questa divisione dovrebbe corrispondere all'attuale suddivisione in portabballe e portammonte.

Nel 1398 accadde un fatto molto grave: i gorgani distrussero Villamagna, probabilmente per ribellione contro il forte potere del monastero e per affermare la volontà di indipendenza del popolo di Gorga.

In questo periodo Villamagna era infeudata ai Conti che iniziarono una lunga lotta con gli altri casati quali i Colonna, gli Orsini, i Borgia e la stessa famiglia Conti era in lotta fra i suoi stessi componenti.