Staden var förr omgiven av vallar med fem portar, vilka dock förstördes under början av 1900-talet; nu återstår endast Porta del Ponte, Porta Rimini och en sträcka av vallarna. I staden finns ett kastell (Rocca Costanza), senare ett fängelse, och över Foglia går en antik bro från Trajanus tid. Vid sidan av katedralen, S. Francesco, kan nämnas prefekturpalatset (hertigarnas av Urbino gamla palats), Rossiniteatern (öppnad 1818), Palazzo Almerici, med stadens museum, innehållande bland annat en betydande majolikasamling, Olivieribiblioteket och ett antikmuseum.
Gioacchino Rossini ("Svanen från Pesaro"), som var född i staden, testamenterade sin förmögenhet till ett musikläroverk, och hans staty restes 1864 i detta. Pesaro har musikkonservatorium och prästseminarium. Hamnen, som endast är tillgänglig för mindre fartyg, försvarades förr av ett fort som fransmännen byggde.