Del Castello, fatto costruire nel Quattrocento da Sigismondo Pandolfo Malatesta, è rimasto solo il nucleo centrale. Sigismondo iniziò a costruirlo il 20 marzo del 1437, penultimo mercoledì di quaresima, alle ore 18.48 giorno. Ne proclamò la conclusione “ufficiale” nel 1446, un anno per lui particolarmente fortunato: ma in realtà vi si lavorava ancora nel 1454. Il castello fu concepito come palazzo e fortezza insieme, come degna sede per la corte e per la guarnigione e come segno di potere e di supremazia sulla città. Sigismondo si è servito dell’opera di diversi professionisti e specialisti; ci sono notizie di un’ importante consulenza eseguita a lavori da poco iniziati da Filippo Brunelleschi, che nel 1438 fu a Rimini per un paio di mesi e compì tutta una serie di sopralluoghi alle principali fortezze malatestiane in Romagna e nelle Marche.
La costruzione conserva un notevole fascino, con le sue grosse torri quadrate e le poderose muraglie a scarpa, il cui effetto originario, quando si innalzavano dal profondo fossato, doveva essere formidabile. Roberto Valturio le paragonava a delle piramidi, per la loro inclinazione e grandiosità. L’ingresso verso la città è ornato da uno stemma costituito dal classico scudo con bande a scacchi, sormontato da un cimiero a testa d’elefante crestato e affiancato da una rosa quadripetala: si tratta di un rilievo d’ispirazione pisanelliana, di buona qualità, scolpito da un artista probabilmente veneto, come dimostrano le cadenze goticheggianti della figurazione. A sinistra e a destra dello stemma è scritto “Sigismondo Pandolfo” in caratteri gotici minuscoli, alti e pittoreschi. Fra lo stemma ed il portale marmoreo è murata una delle epigrafi dedicatorie del castello, con un solenne testo latino scolpito in caratteri lapidari (uno dei primi esempi di “rinascita” dei caratteri classici).
Per Sigismondo il castello doveva rappresentare visivamente la fortezza del potere, secondo un concetto ancora del tutto medievale, realizzato necessariamente in forme tradizionali, come dimostrava la mutevole prospettiva delle torri, la compattezza delle cortine merlate, l’uso costante di archi acuti e di inserti lapidei e ceramici, lo sfarzo delle dorature e degli intonaci colorati in verde e rosso (i colori araldici malatestiani) documentati dagli scrittori. In questo suo amatissimo castello Sigismondo è morto il 9 ottobre del 1468.