Oderisio II il Grande, si spense nel 1204, e si può dire che con lui terminò tutta la floridezza di S. Giovanni in Venere: seguirono abati non sempre all'altezza dovuta, per cui l'abbazia, spogliata da feudatari invidiosi, derubata da soldati di ventura o mercenari, saccheggiata da normanni, turchi, ungheresi ed altri invasori, abbandonata dai pochi monaci che vi restavano, divenne ambita preda di prelati altolocati che, col vistoso titolo di Abati Commendatari, standosene lontano, ne smungevano le rendite senza curare la sua manutenzione. Si aggiunsero le forze devastatrici della natura: nel 1283 una straordinaria tempesta marina che non si verificava da oltre 1500 anni; i terremoti del 1456 "il più catastrofico di tutta la storia sismica abruzzese", che abbatté il monastero, e produsse il grande avvallamento che vediamo davanti alla chiesa; del 1627 in cui caddero le due navate laterali della chiesa; del 1703 "terremoto del Gran Sasso"; del 1706 "terremoto della Maiella", ed altri di minore intensità, ma che aggiunsero sempre nuove rovine.