Die Heeresgruppe A entstand im Oktober 1939 durch Umbenennung der zuvor im Polenfeldzug eingesetzten Heeresgruppe Süd und übernahm die Führung der an der Westfront eingesetzten 12. und 16. Armee gegenüber Belgien und Luxemburg, später auch der nördlich angelehnten 4. Armee.

Ab dem 10. Mai 1940 wurde sie im Schwerpunkt des Westfeldzuges eingesetzt, um mit der Masse der gepanzerten und motorisierten Kräfte des Heeres durch die Ardennen hindurch, über die Maas hinweg an die Sommemündung vorzustoßen und so die alliierten Kräfte in Nordfrankreich und Belgien abzuschneiden und zu vernichten („Operation Sichelschnitt“).

Ab dem 5. Juni 1940 griff die Heeresgruppe in der Schlacht um Frankreich aus Stellungen nördlich der Aisne heraus auf Reims an, durchbrach die Stellungen der verbliebenen französischen Kräfte und stieß tief nach Süden und Südosten vor, wodurch die französischen Kräfte in der Maginot-Linie abgeschnitten und im Rücken gefasst wurden.

Die Heeresgruppe A entstand neu im August 1942 durch die Aufteilung der Heeresgruppe Süd in Russland, in die Heeresgruppe A und B.

Die Heeresgruppe griff mit der 1. Panzerarmee und der 17. Armee aus dem Raum des unteren Don heraus auf den Kaukasus und das Erdölgebiet von Baku am Kaspischen Meeres an. Dieser Angriff kam im November 1942 aus Kräftemangel und aufgrund des sich versteifenden sowjetischen Widerstandes am Nordhang des Kaukasus und vor Grosny zum Stehen.

Trotz der sich abzeichnenden Katastrophe der 6. Armee bei Stalingrad wurde die Heeresgruppe bis Dezember 1942 in ihren Stellungen belassen. Erst Anfang 1943 wurde die 1. Panzerarmee an die Heeresgruppe Süd (ehem. Heeresgruppe Don) abgegeben. Die der Heeresgruppe A verbliebene 17. Armee zog sich Anfang 1943 in den Kuban-Brückenkopf zurück.

Im September 1943 wurde die 17. Armee auf die Krim zurückgezogen. Der Heeresgruppe wurde im Oktober 1943 von der Heeresgruppe Süd die (neuaufgestellte) 6. Armee übergeben, die zunächst die Nogaische Steppe zwischen Dnepr und Asowschem Meer verteidigte, sich jedoch im November 1943 hinter den Unterlauf des Dnjepr zurückzog. Die 17. Armee wurde somit auf der Krim isoliert, wo sie im Mai 1944 vernichtet wurde.

Im März 1944 wurde der Heeresgruppe zusätzlich die 8. Armee in NordbessarabienHeeresgruppe Südukraine. unterstellt, die von der Heeresgruppe Süd abgesprengt worden war. Am 1. April 1944 wurde die Heeresgruppe A umbenannt in

Im September 1944 wurde die Heeresgruppe Nordukraine (ehem. Heeresgruppe Süd) umbenannt in Heeresgruppe A. Diese verteidigte Südpolen und die Slowakei9. Armee (von Heeresgruppe Mitte) und der 4. Panzerarmee hinter der Weichsel, der (neuaufgestellten) 17. Armee zwischen Weichsel und Beskiden und der 1. Panzerarmee in der Slowakei. Die Heeresgruppe A wurde Anfang Januar 1945 durch die sowjetische Offensive aus dem Baranow-Brückenkopf an der Weichsel heraus zerschlagen. mit der

Am 25. Januar 1945 benannte Adolf Hitler drei Heeresgruppen um: die Heeresgruppe Nord wurde die Heeresgruppe Kurland, die Heeresgruppe Mitte die Heeresgruppe Nord und die Heeresgruppe A die Heeresgruppe Mitte.