La chiesa fu eretta nel XV secolo dalla comunità di Castello di Panicale; verso la metà del secolo fu utilizzata per ospitare le persone affette dalla peste che già dilagava nel secolo XV. Ancor oggi sull'architrave del portale si legge la scritta “ECC[LESI]A S[ANC]TI SEBAST[IAN]I C[AST]RI PANICALIS.

 

All'interno in origine era preceduta da un portico del quale rimangono solo due arcate. È una chiesa emblematica e di interesse artistico, in quanto all'interno è sito il famoso affresco del Martirio di San Sebastiano dipinto da Perugino, il più importante pittore umbro del Rinascimento.

 

Nei primi del XVII secolo fu poi ceduta ai gesuiti e infine acquistata dall'Ordine delle Vergini Marie per poter disporre di una struttura rivolta all'istruzione delle giovani fanciulle.