Von 1913 bis 1916 besuchte er ein theologisches Seminar in Maulbronn. 1917 Soldat im Weltkrieg, als Infanterist verwundet. Im November 1918 Mitglied des Ulmer Soldatenrates, wurde Mitglied des "Roten Soldatenbundes" und des Spartakusbundes, schloss sich 1919 der KPD an. Schmückle studierte 1919/20 am Tübinger Stift Philosophie und Theologie und gehörte einer kommunistischen Studentengruppe an. Auf Empfehlung von Clara Zetkin wechselte er dann zur Nationalökonomie und hörte in Berlin Vorlesungen über den Marxismus bei Gustav Meyer und Heinrich Cunow. Von 1921 bis 1923 Student in Jena, belegte Seminare bei Karl Korsch, 1924 promovierte er mit einer Dissertation über "Logisch-historische Elemente der Utopie". Seit September 1923 Redakteur bei verschiedenen KPD-Zeitungen u. a. Chefredakteur der "Bergischen Volksstimme" in Remscheid, dann Angestellter der Zentrale der KPD. Ende 1924 reiste Schmückle auf Parteibeschluß in die Sowjetunion, war dort bis 1931 wissenschaftlicher Mitarbeiter unter David Rjasanow am Marx-Engels-Institut in Moskau, ab 1926 Mitglied der KPdSU(B). Leiter der Deutschen Gruppe in der Redaktionsabteilung der MEGA und auch schriftstellerisch tätig. In der Zeitschrift "Unter dem Banner des Marxismus" veröffentlichte er 1928 eine zweiteilige Studie zur "Kritik des deutschen Historismus" und übersetzte 1929 den Band 19 von Lenins Werken sowie "Die Grundprobleme des Marxismus" von Plechanow ins Deutsche. Wegen "versöhnlerischer Ansichten" erhielt Schmückle 1929 eine Parteirüge. Bei der Anfang 1931 einsetzenden Parteisäuberung des Instituts, der Entlassung Rjasanows und der Besetzung des Instituts durch die GPU wurde er mit weiteren Mitarbeitern entlassen. Von 1931 bis 1934 Redakteur und verantwortlicher Sekretär der "Deutschen Zentral-Zeitung" (DZZ), zeitweise auch im Büro der Internationalen Vereinigung Revolutionärer Schriftsteller, von 1934 bis 15. April 1935 kam er als Redakteur der deutschen Ausgabe zur Zeitschrift "Internationale Literatur/Deutsche Blätter". Am 27. August 1936 wurde Schmückle in der "Literaturnaja gaseta" mit anderen Mitgliedern des sowjetischen Schriftstellerverbandes öffentlich als "Parteifeind" angegriffen. Daraufhin erfolgte am 2. Oktober 1936 sein Ausschluß aus der KPdSU(B) wegen "politischer Schwankungen und Verbindung zu trotzkistischen Volksfeinden". Am 8. Januar 1937 wendet sich Schmückle an Wilhelm Pieck und das ZK der KPD und bittet darum, "in den Reihen der Internationalen Brigade am bewaffneten Kampf gegen den faschistischen Feind teilzunehmen" und führt u.a.  Alfred Fedin als einen Leumundszeugen an. Am 30. November 1937 vom NKWD verhaftet, am 24. Januar 1938 zum Tode verurteilt, wurde Karl Schmückle am 14. März 1938 erschossen (1958 vom Militärtribunal Moskaus "rehabilitiert"). Seine Frau  Anna Schmückle, geb. Salomon, geschiedene Bernfeld (* 1. Oktober 1892 in Hirschberg), war Psychologin. Sie kam 1924 mit Karl Schmückle ans Marx-Engels-Institut in Moskau, verlor wie er dort 1931 ihren Arbeitsplatz und war in der VAA beschäftigt. Nach der Verhaftung ihres Mannes 1937 als Ärztin tätig, dann mit dem Sohn Michael (1928-1986) nach Saratow evakuiert, wählte Anna Schmückle 1941 den Freitod.

Institut zur Geschichte der Arbeiterbewegung (Hrsg.): In den Fängen des NKWD. Berlin: Dietz Verl., 1991, S. 205-206; Lukács, Georg, Johannes R. Becher, Friedrich Wolf u.a.: Die Säuberung. Moskau 1936: Stenogramm einer geschlossenen Parteiversammlung. Reinbek b. Hamburg: Rowohlt, 1991, S. 76-79