La biblioteca è sita nella Confraternita di sant'Agostino, chiesa ora sconsacrata.
Il sant'Agostino nacque come Cappella dedicata alla beata Vergine Maria, sul luogo dove in precedenza era stato eretto un Pilone Votivo ,e il primo atto ufficiale di quest'edificazione risale al 13 dicembre del 1541 a opera di Gio.Giorgio Bolleri, Consignore del Sarmatorio.
E' del 1763 la trasformazione consistente nella costruzione della Chiesa Alta, capace di rimodellare l'intero aspeto dell'edificio.
L'uso di questo edificio religioso, è cessato totalmente circa un quarto di secolo fa.