Původně gotický hrad byl postaven v polovině 13. století na rozsáhlém skalisku, podle kterého byl také pojmenován. První písemné zmínky jsou z let 1316 a 1318. V letech 1327 až 1504 je Kámen královským lenním hradem. Od roku 1523 hrad téměř 200 let vlastnila jedna z větví významného českého rodu Malovců. V polovině 16. století dosáhlo panství Kámen největšího rozmachu. K hradu patřilo stejnojmenné městečko a deset poddanských vsí. Z maloveckých držitelů se do historie Kámenu nejvýznamněji zapsal rytíř Jan Kryštof Malovec z Malovic (držel hrad od roku 1640). Za něho byl hrad znovu přestavován, bylo vystavěno jižní obytné křídlo a vstupní věž (1673). Na západním okraji vsi dal vystavět ranně barokní kapli Panny Marie Bolestné a v ní zřídil rodinnou hrobku. V průběhu 18. a 19. století se držitelé hradu a panství často střídali a hrad ztrácel na svém významu. Po roce 1948 byl hrad poslednímu soukromému majiteli Antonínu Fleissigovi vyvlastněn. Státním kulturním majetkem byl Kámen prohlášen v roce 1953. V letech 1964 až 2002 byl hrad Kámen zřizován ONV, později Okresním úřadem v Pelhřimově. Od 1. 1. 2003 byl hrad Kámen samostatnou příspěvkovou organizací Kraje Vysočina a od roku 2011 se hrad Kámen stal pobočkou Muzea Vysočiny Pelhřimov, p. o. Zdroj:http://www.hradkamen.cz/o_hradu.html