Małżeństwo Schwarzów zostało deportowane do Litzmannstadt 28 października 1941 r.
w transporcie nr 9. Do getta przybyli następnego dnia, 29 października, w grupie 1000 osób jako czwarty transport z Wiednia. Zgodnie z deklaracjami przywieźli ze sobą 95 RM (to niewiele, zważywszy na fakt, że 100 RM było maksymalną kwotą wwozu na osobę). Podobnie jak inni przesiedleńcy z różnych miast Rzeszy oraz Protektoratu Czech i Moraw, łącznie prawie 20 tys. osób, zostali skierowani do miejsc zbiorowego zakwaterowania określanych „kolektywami”. Potocznie nazywane były one od miejsca pochodzenia przybyszów i numeru transportu. Kolektyw „Wiedeń IV” mieścił się
w dwóch domach przy ul. Limanowskiego (Alexanderhofstrasse) 25 i 45 (część z tych zabudowań istnieje do dnia dzisiejszego). Warunki sanitarne i mieszkalne w zbiorowych kwaterach, nawet na tle warunków panujących
w całym getcie, był tragiczne. Dopiero po pewnym czasie wyrażono zgodę na wyprowadzenie się do oddzielnych mieszkań.
Z możliwości tej skorzystali Schwarzowie przenosząc się 29 stycznia 1942 r. na ul. Brzezińską (Sulzfelderstrasse) 35 m. 11 (obecnie ul. Wojska Polskiego). Nie byli jedynymi lokatorami, wraz z nimi izbę zajmowali inni wiedeńczycy: Seraphine Schindler oraz Kurt Schick z dwóch dzieci: Igorem i Trude.
Podobnie jak inni przesiedleńcy musieli doświadczać początkowych problemów ze znalezieniem pracy. Wynikało to z nieznajomości miejscowych realiów oraz języka jidysz lub polskiego. Z zachowanej dokumentacji wynika, że przed wojną Anni była gospodynią domową,
a Erich pracował jako inżynier projektant. Byli jednak w o tyle lepszej sytuacji, że należeli do osób młodych (Anni miała 31 lat, a Erich 47 lat) względem innym deportowanych z Wiednia (wśród których przeszło 40% osób liczyła ponad 60 lat). Niestety ich bliższe losy w getcie pozostają nieznane, najpewniej dzielili ciężki los nowo wsiedlonej ludności.
Kilka tygodniu po przybyciu do getta w styczniu 1942 r. rozpoczęły się masowe wysiedlenia jego mieszkańców do obozu zagłady w Chełmnie nad Nerem. W pierwszych miesiącach pomijano Żydów zachodnioeuropejskich. Ostatecznie podjęto decyzję, że zasilą oni szeregi deportowanych w ostatniej akcji przebiegającej między 4 a 15 maja 1942 r. W przedostatnim