L'insieme circondato da mura degli edifici confinanti con la piazza dei Signori, la contrà del Duomo, la chiesa di San Nicolò e la Stra'Maggiore - l'attuale via Dante - costituiva una vera e propria insula nel cuore della città. configurata nel tempo, a partire dai primi interventi di Ubertino da Carrara, come una dimora sontuosa da cui il nome di Reggia col quale era conosciuta. Essa era impostata su di un corpo centrale, quadrato, a peristilio interno chiaramente visibile nella pianta di Padova edita da Giovanni Velle nel 1784 e in cui si svolgevano parate, giostre e tornei. Tale peristilio veniva demolito nel 1820 per decisione del Comune di Padova che ne vendeva all'asta le colonne di marmo rosato. Di questo corpo centrale sopravvive soltanto la grande Sala degli Uomini Illustri - ora Sala dei Giganti e annessa al Liviano - che veniva utilizzata come sala per ricevimenti ed era così chiamata per le figure dei grandi dell'antichità realizzate su suggerimento del Petrarca. La doppia loggia dell'Accademia, terminata nel 1343, che ancora oggi possiamo ammirare doveva riprendere il modulo architettonico del cortile centrale e costituiva la loggia esterna dell'abitazione dei principi. Essa delimitava per due lati un vasto spazio detto Praetto confinante a ponente con la cinta muraria e tenuto a giardino. Del lato di levante della loggia, demolito nel 1877 dall'architetto Camillo Boito nonostante le proteste sue e di un buon numero di storici illustre, sopravvivono solo le prime due colonne dell'ordine inferiore ricordando idealmente il corridoio di passaggio che univa l'abitazione dei principi alla Sala degli Uomini Illustri. Verso la Cattedrale e la Curia era stata costruita una gran torre - non è l'attuale torre di piazza dei Signori - sui cui veniva collocata la straordinaria macchina astronomica di Jacopo e Giovanni Dondi dall'Orologio.

Dalle loggie si accedeva non solo alla Sala degli Uomini Illustri, ma pure alla più antica Sala Tebana e a tutta una serie di ambienti riccamente decorati secondo il classicismo caratteristico dei Carraresi: sono ricordate la Stanza di Camillo, la Stanza di Lucrezia, la Stanza di Nerone e la cancelleria carrarese decorata con il mito di Ercole. Si ricorda ancora una Stanza delle Navi - forse per ricordare la vittoria navale dei Padovani sugli Spartani del re Cleonimo - e la Stanza delle Brentelle. Ad esse si aggiungevano sale di servizio, uffici, archivi, la sala riscaldata destinata aconservare l'argenteria, sale d'armi e una scuola. Un lato della lggia dell'Accademia nel 1345 veniva chiuso per costruire un luogo devozionale, di preghiera e di raccoglimento: questa Cappella veniva affrescata dal Guariento.

Dalle mura di ponente partiva, su 28 arconi, un vero e proprio viadotto chiamato traghetto alto nove metri da terra, largo tre, merlato da ambedue i lati che conduceva dal palazzo fino alla porta dei Tadi e al Castello con la Torlonga. Anche quest'opera, considerata fatiscente, veniva smaltellata e distrutta nel 1777.