Les Feldgendarmes étaient surnommés les « chiens enchaînés » (Kettenhunde) à cause du hausse-col qu'ils portaient autour du cou, qui avait l'allure d'un collier de chien en métal. Ils eurent un rôle important jusqu'à la fin de la Seconde Guerre mondiale, notamment en traquant les dizaines de milliers de déserteurs connus sous le nom de Fahnenflüchtiger. Selon la formule de Hitler qui disait que « les soldats peuvent mourir, mais les déserteurs doivent mourir », de nombreux déserteurs de l'armée allemande furent exécutés sommairement.
Vers la fin de la guerre, alors que le soutien populaire pour des actions autres que défensives commençait à diminuer, la Feldgendarmerie reçut le surnom de Heldenklau (approximativement « voleur de héros ») à cause de toutes les missions impopulaires qui lui incombaient. Ces missions, notamment la recherche des déserteurs parmi les réfugiés et l'envoi des populations de l'arrière vers le front, contribuent à entacher l'image des gendarmes de la Wehrmacht.
En outre, certaines unités de Feldgendarmerie sont chargées des missions d'occupation des territoires sous contrôle de la Wehrmacht. Elles prennent aussi une part active dans les missions de traque de Juifs, y compris en Europe de l'Ouest.
Ceci s'entend du contrôle du trafic aux missions de police civile en passant par la poursuite et l'exécution des résistants et des soldats ennemis isolés, le contrôle de la chasse de la pêche et de l'agriculture ou encore l'interception de tracts parachutés par l'ennemi.
Lorsque les unités quittaient une région, le contrôle était transféré aux unités SS. La participation de la Feldgendarmerie aux massacres et crimes de guerre commis par les SS n'a jamais été prouvée officiellement, même si, d'une façon générale, l'histoire de cette unité au cours du second conflit mondial a fait l'objet de nombreuses publications et recherches.