Győrzámolyban született. A győri Czuczor Gergely Bencés Gimnáziumban érettségizett, az esztergomi papi szemináriumot elvégzése után 1963-ban szentelték pappá. Egyházi szolgálatát Tát-Dorogon kezdte meg, 1966-tól a zugligeti Szent Család Plébánia káplánja volt, 1968-tól a budapesti Belvárosi Ferences Templom (Alkantarai Szent Péter Templom) lelkészeként tevékenykedett. A fiatalokat a templomba becsalogató beszédeit magnóra vették és szamizdat kiadványként terjesztették, prédikációi után nem egyszer állambiztonsági ügynökök kísérték kihallgatásra. 1977-ben a zugligeti Szent Család Plébániára helyezték át, ahol felkarolta a környék szegényeit, létrehozta az ifjúsági és családpasztorációt.
A Németországban élő, de Magyarországon született Csilla von Boeselager bárónő az 1980-as évek második felében határozta el, hogy adománygyűjtést szervez a rászoruló magyarországi emberek és szervezetek megsegítésére. Kezdetben orvosi műszereket gyűjtött németországi kórházakban, Magyarországon pedig kereste azt a helyet, illetve személyt, aki az adományokat képes eljuttatni a rászorulókhoz. Így találkozott 1987 augusztusában Kozma Imre atyával, aki vállalta a feladatot. Idővel együttműködésük intézményes keretei is kialakultak: Csilla von Boeselager 1988 decemberében hozta létre Németországban az Ungarischer Malteser Caritasdienst szervezetet, majd – Magyarországon első civil szervezetként – 1989. február 4-én Kozma Imre atya vezetésével megalakult a Magyar Máltai Szeretetszolgálat Egyesület, amely működését február 10-én kezdte meg.
A német segélyszolgálat nevet a magyarban szeretetszolgálatra cserélték, arra gondolva, hogy annyi segély nincs a világon, amennyire szükség van, de a szeretet sosem fogy el, mindössze olyan emberi szívek kellenek hozzá, amelyek az ember méltóságát Istenre hivatkozva minden elé helyezik.
1989 őszén az akkori nyugatnémet követség kérésére a zugligeti plébánia kertjében keletnémet menekülteknek adtak szállást. Az idővel 48 ezresre duzzadt budapesti menekülttáborok lakóinak ellátása három hónap alatt az egyik legnagyobb európai segélyakcióvá növekedett. Erre a ma már történelmivé vált időszakra Kozma Imre így emlékezett vissza: a menekültek befogadása, majd a szeretetszolgálat is abból a szellemiségből bontakozott ki, ami akkor a zugligeti egyházközség meghatározója volt, és amit úgy lehet megfogalmazni, hogy nincs kereszténység karitatív cselekedetek nélkül.