Historie domu je spjata s boromejkami již od počátku prostřednictvím Johanky Neumannové, rodné sestry Jana Nepomuka Neumanna. Johanka Neumannová se narodila 19. 5. 1813 v Prachaticích. Byla jen o dva roky mladší než její bratr Jan. Při jeho odchodu na misie do Ameriky v roce 1836 mu slíbila, že půjde do kláštera a bude se za něj modlit.
Když Milosrdné sestry sv. Karla Boromejského přišly z Francie do Čech, stala se jejich první kandidátkou. Při slavnostním oblékání hábitu dostala nové jméno – sestra Karolina. Složení řeholních slibů při mši svaté se konalo za přítomnosti pražského arcibiskupa Josefa Aloise Schrenka 17. května 1843. Pak byla poslána sloužit nemocným do nemocnice v Mělníku Podolí.
Roku 1850 zakládala novou komunitu v Českých Budějovicích, kde pak byla představenou. Sestry se zde ujímaly chudých, nemocných a sirotků.
V roce 1854 byly řádové sestry požádány o spolupráci v oblasti vězeňské služby, aby svými zkušenostmi a přístupem přispěly k nápravě odsouzených osob. Kongregace převzala službu v ženské trestnici, donucovací pracovně a vychovatelně pro mladistvé v Praze na Hradčanech. Jako představená této nové filiálky byla jmenována právě sestra Karolina. Bylo tam 312 trestanek a 50 káranek.
V roce 1858 byla zvolena do čela Kongregace jako třetí generální představená. Na tento úřad již za rok rezignovala z důvodu svého nedostatečného zdraví.
Na přelomu let 1854-1855 přijel z Ameriky do Čech její bratr Jan, tehdy už jako biskup. Tato událost dává tušit velkou radost ze vzájemného setkání po mnoha letech odloučení.
Zanedlouho po této evropské cestě Jan začátkem roku 1860 ve Philadelphii náhle umírá. V témže roce se těžce roznemohl v Prachaticích i jejich otec. Ještě před smrtí daroval svůj dům Kongregaci boromejek. Johanka – sestra Karolina – tak dostala podivuhodným způsobem rodný dům zpět. Jako odkaz jej hlubším způsobem rozvinou až pozdější generace sester boromejek – a sice jako odkaz jejího bratra Jana Nepomuka Neumanna, jehož pověst svatosti se již pozvolna začala šířit v zámoří i v Českých zemích. V roce 1860 tedy Johanka založila komunitu ve svém rodném domě, kde pak působila až do své smrti, téměř 30 let. Zřídila zde nejprve dobročinný ústav, pracovnu pro dívky, později dívčí školu a po doporučení pana starosty opatrovnu pro děti. Zakrátko Kongregace zakoupila několik dalších sousedních domů i školu.
V roce 1886 byla sestra Karolina na konsistoři v Českých Budějovicích vydávat svědectví o životě svého zemřelého bratra, protože se na jeho přímluvu děly četné zázraky a začal proces k jeho blahořečení. Zemřela 22. 4. 1887 v 74 letech. Je pochovaná v Prachaticích. V Kronice se o ní říká, že byla perlou Kongregace pro svoji pokoru, skromnost a obětavou lásku.
Až do roku 1945 měl dům vždy obyvatele německé národnosti, ať už to byla škola, sirotčinec či zaopatřovací ústav pro věkem pokročilé. V roce 1945 se dům zadlužil, neboť mimo obyvatel přibylo mnoho dalších lidí německé národnosti, kteří zde byli soustředěni na tzv. odsun, čímž se velmi zvýšily náklady, zvláště na stravu. Dodnes žijí pamětníci těchto těžkých časů, kteří nám o tom s pohnutím vyprávějí.
Rodný dům sv. Jana Neumanna je spojen se jménem další boromejky, jejíž proces beatifikace nyní probíhá. Je to sestra Vojtěcha Hasmandová. V 50. letech byla v Prachaticích místní představenou a poskytla v komunitě sester úkryt františkánskému knězi Remigiu Jančovi, který náhodou unikl hromadnému zatýkání řeholníků v Praze. Byl však prozrazen. Spolu s ním byly zatčeny i sestry z Prachatic v čele se sestrou Vojtěchou, která byla odsouzena ve vykonstruovaném monstr procesu na 8 let odnětí svobody za tzv. velezradu.
V roce 1975 musely sestry nakonec vlivem totalitního režimu dům úplně opustit. Ještě než stačily vystěhovat mobiliář kaple, už přišli malíři, aby zamalovali fresku tehdy již blahoslaveného Jana Nepomuka Neumanna. V místnosti kaple civilní vedení Domova důchodců zřídilo „Selskou jizbu“.
V roce 1977 byl Jan Neumann svatořečen. Tento rok nikdo nesměl jeho rodný dům navštívit. Smutné je, že to státní aparát to neumožnil dokonce ani americkému biskupovi Mořkovskému, který do rodného města sv. Jana Nepomuka Neumanna přijel z velké dálky.
V roce 1992 byl dům opět navrácen Kongregaci, byla v něm znovu posvěcena kaple sv. Jana Nepomuka Neumanna a komunita sester začala působit. Ve spolupráci sester a obyvatel z města Prachatic vzniklo Občanské sdružení sv. Jana Nepomuka Neumanna za účelem založení stejnojmenného hospice (otevřen 2005). V den 60. Výročí zatčení Matky Vojtěchy (2012) byl posvěcen Domov nesoucí její jméno, který slouží nemocným s Alzheimerovou chorobou. Občanskému sdružení sv. Jana Nepomuka Neumanna pronajala Kongregace oba objekty k provozování neziskové charitativní činnosti za 1 Kč na 25 let.
Protože samotný rodný dům světce zůstal ve velmi špatném technickém stavu, rozhodly jsme se pro generální rekonstrukci i tohoto objektu. Naším záměrem je navrácení vnějšího vzhledu památky do stavu blížícího se původnímu, před přestavbami prováděnými v minulém století. Protože do tohoto domu, zvláště do kaple, která je vybudována v místnosti, kde se sv. Jan narodil, jezdí mnoho poutníků nejen z Čech, ale i ze zahraničí, připravujeme tam galerii sv. Jana Nepomuka Neumanna a ctihodné služebnice Boží Matky Vojtěchy Hasmandové.
Věříme, že se díky sv. Janu Nepomuku Neumannovi bude dílu milosrdenství v jeho rodném domě dařit i v dnešní době. A prosíme jej o přímluvu, abychom mohly žít z Božího milosrdenství a prokazovat ho i v budoucnu.