Come i grandi principi del Medioevo, i papi di Avignone consideravano i giardini parte integrante del loro palazzo. Riprendendo la situazione dell'orto e dei giardini stabiliti ad est dell'antico palazzo episcopale, Giovanni XXII, Benoit XII, Clemente VI e Urbano V crearono nuovi giardini da quelli dei loro predecessori.
Ma i giardini sono sviluppi fragili: oggi rimangono visibili solo i corpi degli edifici che vi erano stati eretti. Per fortuna gli archivi contabili della Camera Apostolica conservati in Vaticano permettono di ricostruire la storia della realizzazione di questi giardini. Vi troviamo molte informazioni relative alla costruzione dei bastioni, delle fontane e dei vari edifici, ma anche alle specie piantate e alle costruzioni di legno e verde.
All'origine dei giardini: Giovanni XXII
Vescovo di Avignone nel 1310, Jacques Duèse divenne papa Giovanni XXII nel 1316 e si stabilì ad Avignone. Fece annettere gli edifici attigui del palazzo vescovile e fece ricostruire le adiacenti scuderie. Nel 1324 fu riqualificato un frutteto: si spianò il terreno, si piantarono alberi e prati, si predispose un sistema di irrigazione, si costruì un muro per delimitare l'area. Vengono poste le fondamenta dei giardini pontifici.
Giovanni XXII possiede anche una vasta collezione di animali, segno della sua ricchezza e potenza. Vi sono tenuti in gabbie orsi, leoni, cammelli, cinghiali, cervi, gatti selvatici e conigli. I suoi successori aggiungeranno molti uccelli: gru, struzzi o pavoni animano il luogo e ne troviamo traccia sulle decorazioni pittoriche degli appartamenti privati.
Il vecchio giardino di Benoit XII
“Ortus Vetus”: termine che significa “spazio chiuso”, caratteristica principale dei giardini medievali. Si dice che questo giardino sia "vecchio", in risonanza con il Palazzo Vecchio di cui accompagna la costruzione, su un'area di 2000 mq. Il giardino inferiore occupa la parte inferiore del terreno, vicino ai bagni turchi. È dotato di un pozzo, attorno al quale viene seminata l'erba. La parte superiore accoglie un giardino di delizie oltre che un orto, che alimenta la mensa papale: cavoli bianchi, cavoli verdi, spinaci, porri, fagioli, oppure melanzane, bietole e zucche accanto a erbe profumate e officinali come maggiorana, borragine, prezzemolo e finocchio.
Il nuovo giardino di Clemente VI
Viridario Novus. Creato nel 1344, il nuovo giardino si crea verso la torre di Trouillas. Clemente VI lo circondò di mura, e fece numerose sistemazioni anche nel giardino inferiore, in particolare un ricovero per il pozzo nonché una sala relax, collegata ai bagni turchi da un portico in gesso e legno. Molto ombreggiato, questo nuovo giardino è interamente disseminato di prati, cui fanno eco gli affreschi della Chambre du cerf. Al centro si trova una grande fontana, realizzata in pietra bianca di Orgone, alimentata da un profondo pozzo che serve anche i forni vicini.
Il frutteto di Urbano V
Urbano V riserva i giardini per il suo godimento personale, ma nel 1365 crea un ampliamento sottostante, vi scava un nuovo pozzo e vi installa dei pergolati. Nel giardino inferiore Urbano V costruì un edificio (il Roma), riccamente decorato con pavimenti in cotto e utilizzato da Matteo Giovanetti come studio. Questo edificio sarà distrutto intorno al 1835, ma ci sono ancora tracce dei suoi enormi pilastri.