Am 4. Februar 1782 wurde die dem heiligen Josef geweihte Einsiedelei aufgehoben, den gesamten Besitz der Eremie ersteigerte der Hofkriegsrat Leopold Edler v. Kriegl um 28.550 Gulden. Er verkaufte die Eremitenhäuschen einzeln an Ärzte, Beamte, Maler und andere Privatpersonen. Die St.-Josefs-Kirche mit der historischen Kapelle sollte als Tanzlokal Verwendung finden. Allerdings nahm Kriegl wieder Abstand von diesen Plänen und ließ die Kirche instand setzen beziehungsweise umbauen. Am 21. Dezember 1783 wurde sie neu eingeweiht; gleichzeitig errichtete man auch einen Waldfriedhof, den Kahlenberger Friedhof.

1784 erhielt die Ansiedlung ihren heutigen Namen Josefsdorf.

1809 wurde die Pfarre aufgehoben, und die Siedlung kam zum Kahlenbergerdorf. Josefsdorf hatte keinen Bürgermeister mehr und wurde vom Kahlenbergerdorf mitverwaltet. Es blieb eine sehr kleine Siedlung. 1832 gab es 53 Bewohner in 27 Häusern, 1890 waren es 52 in 37 Häusern. 1892 wurde Josefsdorf als Teil des Kahlenbergerdorfes gemeinsam mit den benachbarten Vororten als Bezirk Döbling zu Wien eingemeindet. Sie ist die kleinste der Döblinger Katastralgemeinden.