As Casas Pintadas devem o seu nome ao singular conjunto de frescos quinhentistas que decora a galeria e o oratório anexo integrados no jardim.
À época da execução dos frescos, as Casas Pintadas pertenciam a D. Francisco da Silveira, 3º Coudel-mor de D. Manuel I e de D. João III e um poeta de referência no Cancioneiro Geral.
Em finais do século XVI, as Casas Pintadas foram anexadas ao Palácio da Inquisição para servir de moradia aos juízes do Santo Ofício.
As decorações da galeria do jardim são das mais interessantes manifestações artísticas do género existentes em Portugal e um exemplar único da pintura mural palaciana da primeira metade do século XVI.