Stichting Specifiek Jongerenwerk is gevestigd in een monumentaal pand, een voormalige pastorie. Het pand is volledig gerenoveerd, zowel aan de binnen- als aan de buitenkant. Mede dankzij de gemeente Rijssen-Holten, lokale ondernemers en de verschillende fondsen heeft de renovatie plaats kunnen vinden.
Het pand is in 1870 gebouwd, waarbij de eerste steen gelegd werd door HG Stokkers en J Dikkers op 27 april van dat jaar. Het pand ging na oplevering dienen als pastorie voor wat nu de Ontmoetingskerk is.
Nadat het pand als pastorie niet meer nodig was, is het een school voor basisonderwijs geworden, en later voor speciaal onderwijs. Begin jaren 1970 werd het pand betrokken door Stichting Sociaal Cultureel Werk, een voorloper van het huidige jongerenwerk.
In 2008 is het pand grondig gerenoveerd, wat hard nodig was. Het is terug gebracht in zijn oorspronkelijke staat, inclusief gedetailleerd houtwerk, luiken en knipvoegen.
Pand 11 dankt haar naam aan het vroegere huisnummer, de Giezen 11. Echter, sinds het verdwijnen van Uitgaanscentrum Lucky uit het centrum van Rijssen, en de daarmee gepaard gaande herindeling van huisnummers, werd het adres de Giezen 12.