Il castello iniziò ad essere costruito probabilmente intorno all’anno 860 poco prima del pieno Medioevo, dalla famiglia Aldobrandeschi su preesistenti costruzioni di epoca longobarda; passò successivamente nella Contea di Santa Fiora a seguito della spartizione dei beni tra i due rami della famiglia.

Quello di Arcidosso è il più antico palazzo extraurbano di governo statale in Italia e uno dei più antichi d’Europa, qui risiedevano i Visconti del Monte Amiata nominati da Ugo. Gli Aldobrandeschi trasformarono e ampliarono il castello sopraelevando di due piani il palazzo costruendo le sue torri e le due cinte murarie merlate, anch’esse provviste di torri. Gli ultimi interventi medievali furono eseguiti dalla Repubblica di Siena dopo il 1332. Infatti nel corso del Trecento i senesi cercarono più volte di espugnare il luogo, cosa che avvenne nel 1331 grazie all’assedio portato avanti da Guidoriccio da Fogliano; da allora Arcidosso e il suo castello entrarono a far parte della Repubblica di Siena. Gli eventi storici successivi si legano con la storia della Repubblica senese. Nel 1980, nel Palazzo Pubblico di Siena, è venuto alla luce un affresco di probabile attribuzione a Simone Martini, in cui appare il castello di Arcidosso in un contesto di non facile interpretazione, ma che sembra riferibile alla conquista di Guidoriccio da Fogliano del 1331.
Nella seconda metà del Cinquecento, a seguito della definitiva caduta di Siena, il luogo venne inglobato nel Granducato di Toscana, seguendone le sorti da quel momento in poi.