Im Dezember 1984 veröffentlichten die Hauptsongwriter Genesis P-Orridge und Alex Fergusson vom Underground Kunstkollektiv PSYCHIC TV eine limitierte Platte mit Ideen und Skizzen für Songs. Manche der Songs sollten im Nachhinein komplette Arrangements werden, andere wurden fallengelassen und wieder andere sollten als Coverversionen auftauchen und zollten den Schöpfern der Songs Tribut. Das Album wurde aufgrund der nahenden Feiertage ,A Pagan Day" getauft. Ganz so, wie es sich für PSYCHIC TV gehörte, war die Veröffentlichung des Albums von Gerüchten und Mythen umrankt. Die meisten Gerüchte drehten sich darum, dass das Album in nur einer Session über eine Tasse Kaffee und einem einsamen Vierspurgerät in einem alten YMCA-Gebäude in London aufgenommen wurde. In Wahrheit jedoch stammten die Aufnahmen von verschiedensten Sessions aus den Jahren vor der Veröffentlichung. Nachdem ,Pagan Day" Hals über Kopf auf Vinyl gepresst wurde, war es nur einige Stunden am 23. Dezember 1984 im Londoner Rough Trade Plattenladen erhältlich - als Picture Disc mit einem Photo von P-Orridges Tochter Caresse, limitiert auf 999 Stück.