Castiglione d'Intelvi (ora Comune di Centro Valle Intelvi) è un borgo formato da tre frazioni: Visonzo, Montronio e La Torre che deve il suo nome ad un'antica torre oggi non più visibile. Nella frazione di Montronio si è conservata pressoché intatta una casa-forte nota con il nome di Casa Rinaldi che conserva al suo interno un ciclo di affreschi quattrocenteschi con scene di caccia e di vita cortese (Camera picta).

Il nome "Castiglione", che allude di per sé a un luogo fortificato, comparve nell'anno 852 in un documento del Codice Diplomatico Santambrosiano che descriveva una divisione di beni tra Adalburga vedova di Adelgisi de Sclanno (Schianno) di origine alamanna e il cognato Balderici. Tra le terre è nominata la località di Castellione (Castiglione).

Nell'anno 859, in una promessa fatta da Teoperto ad Ellenone, il paese venne menzionato come "Castelione sito inter lacus", e un solo sito in Lombardia che porta il nome di Castiglione è posto tra due laghi: Castiglione Intelvi tra il lago di Como con Argegno e il lago di Lugano con Osteno.

Le fonti che ci possono aiutare a capire qualcosa in più della fortificazione, "castrum", a cui la torre apparteneva sono scarne. In una pergamena del Codice Diplomatico Santambrosiano redatta nell'anno 804, si parla di una donazione fatta all'oratorio di San Zenone di Campione dal chierico Orso, detto Pietro, figlio di Aroaldio di Calendasco sul Po; tra i beni citati compare una casa in terra intelvese (Antellaco è un antico toponimo della Valle Intelvi), nel contado del Seprio, in un luogo chiamato castello Axongia, governato da un certo Lorenzo.

In una seconda pergamena redatta nell'anno 807 viene invece evidenziata una vendita fatta da Giseperto a Totone di Campione di due servi di nome Mauro e Ansa, figli di Teuderada, di castello Axongia.

In un carteggio del 987 si parla di beni situati "in castro Castillioni", scambiati tra il monastero di Sant'Ambrogio di Milano e un certo "Vuido abitator roco Castillione sito loco Entelavo".