A győri egyesületekben (DAC, GYAC) kezdett atletizálni. Sokoldalú atléta volt kerületi rekorder volt futó számokban és dobószámokban is. A legjobb eredményeit gerelyhajításban érte el. Iskolánk atlétika sportjának országos hírnevét öregbítette. 1930-ban országos középiskolai bajnokságot nyert gerelyhajításban 52,22 m-es KISOK rekorddal. Ezt a rekordot ebben az évben még kétszer javította meg (52,78 m, 54,15 m) az ifjúsági válogatott gerelyhajítónk. Tanulmányait Budapesten, a TF-en folytatta, ahol elkezdődött és kibontakozott hosszú eredményes sportpályafutása.

Főiskolai világbajnokságot kétszer (1933, 1947) nyert, 1937-ben második, 1935-ben hatodik lett. 1932 és 1952 között húszszor nyert magyar bajnokságot a TFSE, a MAC, a Goldberger SE és a Budapesti Vasas versenyzőjeként. 42-szeres magyar válogatott volt és hatszor javított országos csúcsot. Az Európa Bajnokságokon is kiválóan szerepelt: 1934-ben Torinóban ötödik (65,81 m), 1938-ban Párizsban harmadik lett 72,78 m-es országos rekorddal, amely 17 évig állt fenn. Eredményei, versenyzői pályája igazolják, hogy Várszegi József a magyar atlétika, a gerelyhajítás kivételesen nagy egyénisége volt.

A magyar atléták sorában kiemelkedő alakja mégis - méltatlanul - mára meglehetősen feledésbe merült. Ezért elsősorban az a kor is hibáztatható, amelyben élt. A sportban oly fontos olimpiai versenyeken talán éppen emiatt nem léphetett fel a dobogó legfelső fokára. 1936-ban vett rész először olimpián Berlinben és itt 8. lett 65,30 m-rel (71,84 méterrel nyerték). A következő két olimpiát ki kellett hagynia (a háború miatt elmaradt 1940, 1944) éppen akkor, amikor tehetsége teljességgel kibontakozott és az eredményei a világ legjobb eredményei voltak. 1948-ban (London) már a negyedik olimpiáján vehetett volna részt, de valójában ez a második olimpiája volt, ahol a 3. helyen végzett 67,03 m-es dobással.

A több mint húszéves versenyzői pályája végén 1952-ben (Helsinki) még tagja volt az olimpiai csapatnak, de itt már nem tudott döntőbe kerülni. A versenyzéstől való visszavonulása után a Budapesti Vasas, majd a Honvéd edzője lett. Bár nem Győrben telepedett le, ennek ellenére mindig szívesen látogatott haza. Számtalan versenyen vett részt Győrött, a győri atlétákkal mindig jó kapcsolatot tartott fenn.