Ballmann proveniva da una fattoria di Mainfranken e aveva imparato il mestiere di falegname. Veniva da un quartiere in cui c'era un notevole seguito per la SPD e successivamente anche per il KPD. Come molti membri del partito comunista, aveva anche rinunciato alle istituzioni borghesi: aveva lasciato la chiesa, si definiva credente in Dio e dal 1924 viveva con una compagna di partito, una sarta di guanti. Tra il 1922/23 e l'arresto nel 1933, Ballmann fu consigliere comunale a Wiesbaden e infine capogruppo parlamentare del KPD. Dal 1930-32 fu eletto al parlamento comunale di Nassau per il distretto di Francoforte; nel 1933 fu eletto per il distretto di Wiesbaden. Tuttavia, non riuscì a portare a termine il mandato perché gli era stato impedito di partecipare alle sedute a causa della sua appartenenza al KPD.

Insieme ad altri funzionari del KPD, fu preso in "custodia protettiva" nel marzo 1933 e internato nei campi di concentramento di Esterwegen e Sonnenburg fino all'aprile 1939. Nel corso dell'"Aktion Gewitter", avviata dopo il 20 luglio 1944, Ballmann fu nuovamente arrestato e inviato al campo di concentramento di Dachau, dove morì poco prima della fine della guerra.

Burkardt, Barbara/Pult, Manfred (a cura di): Parlamentari di Nassau. Un manuale biografico. Parte 2: Der Kommunallandtag des Regierungsbezirks Wiesbaden 1868-1933. Vorgeschichte und Geschichte des Parlamentarismus in Hessen, vol. 17, Wiesbaden 2003 (Historische Kommission für Nassau 71) [p. 17f.].