La mise en place de la commission avait été définie dans son article 22 : "L'exécution du traité d'armistice est réglée et surveillée par une commission d'armistice allemande qui exerce son activité selon les directives du haut commandement allemand. La commission d'armistice a en outre pour tâche d'assurer la concordance nécessaire entre le présent traité et la convention d'armistice franco-italienne.

Pour représenter les vœux de la France et recevoir les ordres d'exécution de la commission d'armistice allemande, le gouvernement français place une délégation au siège de la commission d'armistice allemande". Le président du comité fut d'abord le général d'infanterie Karl Heinrich von Stülpnagel (1886 à 1944), qui reçut cependant le 15 février 1941 le commandement de la 17e armée et devint ensuite le 13 février 1942 le Militärbefehlshaber in Frankreich, puis le général d'artillerie Vogl. Le président de la délégation française fut le général d'armée Charles Huntziger (1880-1941) jusqu'à sa nomination comme ministre de la Guerre dans le gouvernement de Vichy le 6 septembre 1940, puis le général Doyen, et enfin le général Beynet. Le lieu de la réunion était la salle des fêtes de l'hôtel Nassauer Hof ; la délégation française était logée à l'hôtel Rose.

La commission d'armistice italienne avait d'ailleurs son siège à Turin ; des délégations de liaison avaient été échangées entre Wiesbaden et Turin. L'exécution des conditions dictées à la France était surveillée par des inspections de contrôle en France occupée et non occupée et dans son territoire colonial nord-africain. Une antenne de la Commission, la Délégation économique de l'armistice, se trouvait à Paris.

Son domaine d'activité comprenait le contrôle de la démobilisation et du désarmement de l'armée française, le contrôle de la "force de défense transitoire" française, de son armement et de son hébergement, de l'économie d'armement ou du désarmement, des questions économiques générales, de l'extradition des prisonniers de guerre et des prisonniers civils et autres. Les négociations proprement dites étaient menées au sein de "sous-commissions" (notamment la sous-commission pour les questions relatives à l'armée de terre, la sous-commission pour les questions relatives à la marine, la sous-commission pour les questions relatives à l'armée de l'air, la sous-commission pour l'économie de l'armement).