Josef Böhmer war Mitglied der KPÖ ab 1920. Von 1921 bis 1924 war er Obmann der KPÖ-Ortsgruppe Kapfenberg. Er lebte später in Berndorf, wo er als Schmied arbeitete. Aus wirtschaftlichen Gründen emigrierte Böhmer 1931 in die UdSSR. Er lebte dort in Podol'sk und in Vorošilovgrad (Lugansk) in der Ukraine, wo er als Maurer in einer Fabrik beschäftigt war. Seine Überführung in die VKP (b) wurde 1933 von der Vertretung der KPÖ beim EKKI (Exekutivkomitee der Komintern) unterstützt. Am 11. September 1937 wurde Böhmer in Vorošilovgrad verhaftet und wegen Spionage, Sabotage und antisowjetischer Agitation angeklagt. Am 23. Mai 1938 wurde seine Ausweisung aus der UdSSR beschlossen. Er konnte über Berlin am 17. Juni 1938 in die "Ostmark" zurückkehren.