Ify Lajos az 1940-es évek elejére virágzó plébániát vezetett a fonyódi Várhegyen, központi szerepet betöltve a közösség életében. Ezüstmiséjét 1942. május 31-én tartotta, amelyen több mint ezren vettek részt. Az ezüstmiséről szóló híradást követően a források szűkszavúvá válnak, és Ify Lajos váratlan nyugdíjazásáról tudósítanak. Még „csak” 55 éves volt 1948-ban, amikor felmerült a nyugdíjazás ténye. Egyháza szerint ennek okai a következők: nem fektet elég hangsúlyt a pasztorációs tevékenységre, a hitoktatásra, elhanyagolja a fürdőtelepi kápolnákat, nem szedi be az egyházi adót, de felbukkant indokként a harmóniumépítésre fordított sok idő és a Szent György-hegyi kirándulásai is. Ify levelekben tiltakozott feletteseinél a kényszerű nyugdíjazás ellen, olykor izgatott hangon kérte annak átgondolását, nem törődött bele a döntésbe, de csak azt érte el, hogy az egyházmegye kiközösítéssel fenyegette meg. A fonyódi hívek is meghatározó érveket sorakoztattak fel mellette. Sikertelenül. Az Ify Lajos életét bemutató írások nagy része állítja, hogy a közelgő kommunista diktatúra miatt kellett Ifynek távoznia, de ez az indok csak részben lehet igazolható. A katolikus egyháznak ugyanis a megváltozott történelmi viszonylatban már valóban gondot jelentett egy olyan autonóm, nehezen irányítható és kontrollálható személy, mint amilyennek Ify Lajos bizonyult. Az egyházi vezetés ekkoriban még úgy gondolta, hogy szorgalmas, hangjukat kevésbé hallató, a lelki pasztorációra nagy hangsúlyt fektető, az egyházi hierarchiába rugalmasan és elfogadóan beilleszkedő papokra van szükségük a fennmaradáshoz. Ify Lajosnak nem volt más választása, mint hogy elvonuljon szeretett hajlékába, Szent Gyögy-hegyi kápolnájába.