L'istituzione della commissione fu stabilita dall'articolo 22: "L'attuazione del Trattato d'Armistizio sarà regolata e supervisionata da una Commissione d'Armistizio tedesca, che svolgerà le sue attività in conformità con le istruzioni dell'Alto Comando tedesco. La Commissione d'armistizio è anche responsabile di assicurare la necessaria conformità di questo trattato con il trattato d'armistizio italo-francese.

Il governo francese invierà una delegazione al quartier generale della Commissione d'armistizio tedesca per rappresentare i desideri francesi e ricevere gli ordini di attuazione della Commissione d'armistizio tedesca". La commissione fu inizialmente presieduta dal generale di fanteria Karl Heinrich von Stülpnagel (1886-1944), a cui fu affidato il comando della 17ª Armata il 15 febbraio 1941 e poi divenne comandante militare in Francia il 13 febbraio 1942, seguito dal generale di artiglieria Vogl. Il presidente della delegazione francese fu inizialmente il generale d'armata Charles Huntziger (1880-1941) fino alla sua nomina a ministro della Guerra nel governo di Vichy il 6 settembre 1940, quindi il generale Doyen, poi il generale Beynet. L'incontro si tenne nella sala da ballo dell'Hotel Nassauer Hof; la delegazione francese fu ospitata all'Hotel Rose.

Per inciso, la Commissione italiana per l'armistizio aveva sede a Torino; delegazioni di collegamento erano state scambiate tra Wiesbaden e Torino. Ispezioni di controllo nella Francia occupata e non occupata e nel suo territorio coloniale nordafricano monitoravano l'attuazione delle condizioni dettate alla Francia. Un ramo della Commissione, la Delegazione per l'Economia dell'Armistizio, aveva sede a Parigi.

Il suo compito comprendeva il controllo della smobilitazione e del disarmo dell'esercito francese, il monitoraggio della "forza di difesa transitoria" francese, il suo armamento e la sua sistemazione, l'industria degli armamenti e il disarmo, le questioni economiche generali, l'estradizione dei prigionieri di guerra e dei prigionieri civili e altre questioni. I negoziati veri e propri furono condotti in "sottocommissioni" (in particolare la Sottocommissione per gli Affari dell'Esercito, la Sottocommissione per gli Affari Navali, la Sottocommissione per gli Affari dell'Aeronautica e la Sottocommissione per l'Industria della Difesa).