В те времена, когда Папа Климент V будучи главой католической церкви, устал от бесконечных интриг и заговоров, творившихся вокруг папского престола, он решил построить себе новую резиденцию. Для этой цели был выбран живописный прованский город Авиньон. Там и началось строительство нового папского дворца. Этот отрезок времени в истории католицизма называется еще как «период авиньонского пленения пап».
После переезда в Авиньон обустройство собственной папской резиденции произошло не сразу. Первое время папы довольствовались обыкновенными кельями в доминиканском монастыре или же в старом епископском дворце. И только папа Бенедикт XII принял решение об ознаменовании своего восшествия на папский престол постройкой новой папской резиденции. В 1335 году он дает указание о перестройке старого епископского дворца без изменения планировки. Почти все работы практически выполнялись местными мастерами, исключение составили только росписи стен и потолков, которые были выполнены исключительно итальянскими художниками. Строительство дворца проводилось в очень сжатые сроки. После его окончания ту часть дворца, что была построена при папе Бенедекте XII, стали называть «Старым дворцом» или же «Дворцом Бенедикта XII».
По внешнему виду папская резиденция более напоминает крепость, нежели обитель понтифика. В двенадцати башнях замка располагаются церемониальные, хозяйственные и жилые помещения. Некоторые башни имеют высоту до пяти этажей.
