Giovanni da Nono, il primo a fornirci una vivace descrizione della città di Padova, si soffermava con particolare attenzione sul suo centro economico, politico e amministrativo. C'erano, racconta, quattordici palazzi quattro dei quali erano destinati direttamente all'amministrazione della cosa pubblica, mentre gli altri dieci facevano loro corona ed erano distribuiti secondo i quattro punti cardinali. Il nostro cronista non specifica l'ordine con cui erano stati costruiti e dice solo genericamente che alcune erano state erette prima della morte di Ezzelino III, altre dopo e altre ancora erano state distrutte, ma si può ricavare qualche elemento indiretto da alcune allusioni. Anzitutto il rinnovamento del Palazzo della Ragione nel 1308 e la demolizione nel 1302 dell'Alodio - la bisca comunale - e forse dello stesso Peronio che si trovavano nel mezzo delle piazza detta appunto del Peronio - ora piazza della Frutta - e alla cui ombra si svolgevano numerose attività. Agli inizi del XIV secolo sorgeva il Fontego delle Biade, sulla destra del Palazzo del Podestà, occupando in parte l'area ricavata dalla demolizione di altri edifici quali la Casa dei Merciai, distrutta per allungare la piazza delle Erbe e proprio per dare più stabile sede al mercato delle biade.

Il palazzo ora noto con il nome di Palazzo degli Anziani, sorgeva presso la torre - 1215 ? - venduta dai Camposampiero al Comune. Vicino alla torre - non è azzardato supporre che a essa si appoggiasse, come tuttora, l'edificio destinato a ospitare i primi uffici cittadini - veniva costruito, forse, il primo Palazzo del Comune, ma questo può essere confuso con altri due edifici adiacenti e successivi che erano il Palazzo del Consiglio e il Palazzo del Podestà. Secondo Andrea Gloria, grande paleografo e studioso degli antichi archivi cittadini, esiste traccia dell'esistenza di Palazzo Comune fin dal 1166 e qui avevano sede i pubblici uffici.

Come oggi il centro di tutto era il Palazzo della Ragione.