Voluta dal granduca Ferdinando I per accogliere i pellegrini che si recavano al Santuario della Fontenuova, l’Osteria dei Pellegrini fu costruita a più riprese a partire dal 1607 su disegno dell’Arch. Gherardo Mechini. Nel 1833 vi si stabilì la sede della cancelleria trasferita a Monsummano da Buggiano, e nel 1855 l’edificio fu acquistato dalla Comunità di Monsummano e Montevettolini per collocarvi gli stabilimenti carcerari, in ottemperanza alla nuova legge 1849. Alla fine degli anni 90 l’edificio è stato oggetto di importanti interventi di consolidamento e restauro che ne hanno consentito il completo recupero, trasformandolo in un centro culturale polivalente per le attività del Comune. L’Osteria dei Pellegrini ospita oggi nei suoi locali la Biblioteca e parte dell’Archivio Storico del Comune, il Museo della Città e del Territorio con l’annesso Centro Studi e Ricerca, ed accoglie inoltre esposizioni temporanee, convegni, conferenze e attività didattica. Al secondo piano è stata conservata integra una cella delle carceri ottocentesche, per preservare la memoria storica.