A aqui é dito que uma série de fantasmas a assombram o castelo de Sissinghurst, algumas das quais parecem derivar do tempo de reinado da Rainha Maria, quando o mal Sir John Baker residiu no castelo. Sir John era conhecido pela execução de centenas de protestantes, por isso ele veio a ser conhecido como "Bloody Baker".
A lenda conta que uma vez, duas mulheres, se esconderam debaixo da escadaria principal do castelo para escapar de sua execução. Neste momento, Sir John e seu servo estava carregando uma mulher recém-assassinada através do castelo, quando de repente, a mulher ainda viva agonizando pegou sua mão no corrimão. Baker não tinha tempo para tais inconvenientes, e cortou a mão fora do corpo para libertá-la. A mão caiu no esconderijo das outras mulheres.
Eu mais recente, Lady Nicholson, que foi responsável pela restauração do castelo, havia visto um cão negro que não o deixava passar para o local onde este evento supostamente ocorreu.
Os acontecimentos paranormais ligados Sissinghurst inclui um monge fantasma que vagueia frequentemente nos jardins e o som de passos e caminhando aparentemente vindos do ar.
