Il palazzo, incastonato tra navata e transetto della cattedrale e antica residenza dei canonici, è documentato dall'XI secolo. Venne modificato nel XVI e nel XVIII secolo ed deve il suo aspetto in larga parte ai restauri integrali del 1923-1926, quando vennero riaperte le bifore e aggiunto il corpo di fabbrica terminale con merlatura, dove un tempo si trovavano abitazioni civili che chiudevano la piazza.