Gelei József 1938-ban született Kunmadarason. Édesapja kétéves korában meghalt, édesanyja pedig szűkös körülmények miatt, félárvaként intézetbe adta, ahonnan két év múlva vette ki, mikor újra férjhez ment. A Rottenbiller utcai általános iskolába kezdett járni, ahol Lakat Károly kiváló edző és későbbi szövetségi kapitány figyelt fel tehetségére és irányította a Fradi utánpótláscsapatához, ahova azonban nem fért be, így került az MTK-hoz.

Junior éveit is e klubnál, illetve lakatosinasként a Beloiannisz csapatánál töltötte, majd 1957-től immár profiként, ismét a kék-fehéreknél folytatta. A 1961/62-es idényben tagja volt a Közép-Európa-Kupában győztes Vasas csapatának, majd Tatabányára igazolt a visszavonuló Grosics Gyula helyére, itt és ekkor érte el legnagyobb sikereit. Tagja volt az 1964-es tokiói olimpián aranyérmet nyert csapatnak, a magyar labdarúgóválogatott színeiben tizenegyszer lépett pályára, szerepelt a ’66-os angliai világbajnokságon.

Aktív sportolói pályafutását 1969-ben hagyta abba, utána edzőként dolgozott itthon és külföldön egyaránt. 1990-ben az indiai labdarúgó-válogatott szövetségi kapitányává nevezték ki, majd 1992-ben az ománi Omán Clubnál kezdett el dolgozni. 1994 és 1995 között a Magyar Labdarúgó-szövetség utánpótlásszakágának vezetője volt, majd visszatért Ománba, ahol az en-Naszr csapatánál edzősködött. 1996-ban egy évig a PMSC edzője, majd 1998-ig az egyiptomi el-Ittihádnál dolgozott, utána nyugdíjba vonult. Edzői pályafutásának inkább a külföldi állomásai voltak sikeresek, ahol fontos fejlesztési munkákat végzett.

Nős, két fia közül a kisebbik, Gelei Károly egyszeres válogatott futballkapus, unokája Gelei Vince szintén hálóőrként viszi tovább a családi hagyományokat.

Gelei József 2014-ben részt vett az 1964-es tokiói olimpia emlékére rendezett 50 éves emléktúrán is.

Gelei József a magyarfutball.hu oldalán beszélt a pályafutásáról:
"Kétéves voltam, amikor meghalt az édesapám, az édesanyám meg Kunmadarasról Pestre és Pest környékére járt dolgozni, egyebek között a fóti gyermekvárosba. Mivel szűkösek voltak a lehetőségeink, félárvaként intézetbe rakott, de két évvel később, amikor újra férjhez ment, első dolga volt, hogy kivett onnan, és hozzájuk költözhettem. A Rottenbiller utcai általános iskolában kezdtem tanulni, és ez meghatározta az életemet.
Szerencsém volt, mert ott tanított Lakat Károly magyart, történelmet és testnevelést. A kiváló edző hamar észrevette, hogy mocorog bennem némi tehetség. Érdekes, hogy mezőnyjátékosként kezdtem, de a kapusunk több potya gólt beszedett, és mivel magas srác voltam, engem állítottak be a kapuba. Aztán ott is ragadtam.
Nagy Fradi-szurkoló voltam, a nevelőapám és a nagybátyám is sokszor elvitt az Üllői úti meccsekre. Lakat tanár úr is fradista volt, nem csoda, hogy a Fradihoz irányított. El is mentem, de annyi gyerek nyüzsgött ott, hogy nekem nem jutott szerelés. Aztán valaki ajánlotta, hogy menjek három trolimegállóval arrébb, az MTK-hoz. Ott tényleg örömmel fogadtak, és nem utolsósorban leigazoltak.
Lakatos ipari tanuló lettem, így ifistaként a Beloianniszhoz kerültem és az inaséveimet ott töltöttem. Mondhatom, nagyszerű iskola volt az a három év. Szerencsére az MTK-nál nem felejtettek el, és 1957-ben visszaigazoltam.
1956 decemberében az ifiválogatottal kint túráztunk, és az itthoni hírek hamar eljutottak hozzánk. Én is aláírtam a svájci Union Genfhez, ám amikor az édesanyámat felhívtam telefonon, és elmondtam neki, hogy Svájcban maradok, ő elsírta magát. Az anyai sírás hangja olyan hatással volt rám, hogy se szó, se beszéd, felültem az első vonatra, és csak Budapesten szálltam le róla."

MTK, 1957-1961

"Száger Misi bácsi, a gyerekek legendás edzője állandóan hívott, hogy menjek a Fradiba, de én akkor már az MTK-é voltam, és nem akartam az adott szavamat megváltoztatni. Nem bántam meg az MTK-nál töltött éveket, világklasszisok között játszhattam. Ragyogó közösség volt, és egészen más hangulat, mint manapság.
...
Amikor Hidegkuti Nándor volt az MTK edzője, nála biztos csapattag voltam. Ám Nándi Olaszországba szerződött, és jött Szűcs Gyula, s hozta magával Kovalik Ferit a Vasasból. Meg is kérdeztem Gyula bácsit, hogy mi az elképzelése velem. Őszintén elmondta, hogy Kovaliknak megígérte, hogy ő lesz az első számú kapus, én legfeljebb tartalék lehetek. Barátsággal váltunk el, és így kerültem a Vasashoz."

Vasas SC, 1961-1962

"Nagyon balszerencsés évet töltöttem a Vasasnál: az egyik edzésen eltört a térdkalácsom, ezért csak tavasszal számíthattak rám. Ám az nem akármilyen tavasz volt, mert egyebek között az én közreműködésemmel megnyertük a Közép-Európa-kupát."

Tatabányai Bányász, 1962-1967

"Tatabányán Lakat Karcsi bácsi volt az edző, Grosics Gyula pedig éppen visszavonult, abbahagyta az aktív játékot. Jól döntöttem, hiszen Tatabányán értem el legnagyobb sikereimet. Onnan kerültem be az 1964-es, tokiói olimpián győztes csapatba, majd egy évvel később a felnőttválogatottba. Nagyon sokat köszönhetünk Lakat Károlynak, aki tudatosan, másfél évvel az olimpia előtt kialakította a csapat gerincét, és ötvenkilenc felkészülési meccset játszottunk. Aztán sikerült, óriási élmény volt a győzelem. Még akkor is, ha én már az olimpiára utazás előtt mondtam a családomnak, hogy nagyon csalódott lennék, ha nem aranyéremmel jönnék haza. Nagy csapatunk volt, remek játékosokkal."

(MOB, fotó: MTI)