Po podpisaniu traktatu rozejmowego między Francją a Rzeszą Niemiecką w pobliżu Compiègne w dniu 22 czerwca 1940 r., Niemiecka Komisja Rozejmowa została zwołana w celu wyjaśnienia kwestii związanych z rozejmem, czy to natury wojskowej, politycznej czy gospodarczej.

Komisja rozejmowa z siedzibą w Wiesbaden rozpoczęła swoje obowiązki 30 czerwca 1940 roku. Została ona przydzielona do "Délégation Française auprès de la Commission Allemande d'Armistice" (DFCAA), która była odpowiedzialna za przekazywanie instrukcji Komisji Rozejmowej rządowi francuskiemu oraz informowanie Niemców o francuskich życzeniach i żądaniach. Członkowie DFCAA mieszkali w Hotelu Rose w Wiesbaden, podczas gdy członkowie Komisji Rozejmowej byli zakwaterowani głównie w Hotelu Vier Jahreszeiten i Hotelu Nassauer Hof. Posiedzenia komisji odbywały się również w sali balowej hotelu Nassauer Hof.

Komisja rozejmowa składała się z personelu wojskowego (oficerów, podoficerów i żołnierzy), urzędników i pracowników cywilnych. Początkowo na jej czele stał generał Karl Heinrich von Stülpnagel (1886-1944), którego w lutym 1941 roku zastąpił generał Oskar Vogl (1881-1954), który pozostał na stanowisku do września 1944 roku. Po stronie francuskiej dwóch niemieckich generałów zastąpili generałowie Charles Huntziger, Jean Louis Humbert (1895-1975), Paul Doyen (1881-1974), Etienne Paul Beynet (1883-1969) i Louis Bérard (1886-1968). W 1944 r. Komisja Rozejmowa została zredukowana do 15 osób i przeniesiona do Vilsbiburga w Dolnej Bawarii.