Der AVR ist zuständig für den Abschluss von bundesweit geltenden Tarifverträgen und führt dazu Verhandlungen mit den Gewerkschaften. Er vertritt seine Mitglieder gegenüber den Organen der Gesetzgebung, den Ministerien und Behörden sowie gegenüber sonstigen Institutionen auf Bundesebene und europäischer Ebene.

Im Rahmen seiner Arbeit informiert er seine Mitglieder über neue Entwicklungen, Gesetze und Rechtsprechung auf dem Gebiet des Arbeits- und Sozialrechts und fördert sie durch Unterstützung in Grundsatzfragen. Die Personalarbeit in den Banken unterstützt der AVR durch Personalkennzahlen, die aus den regelmäßigen statistischen Auswertungen abgeleitet werden. 

Der AVR ging 1979 aus dem Zusammenschluss der damals getrennten Arbeitgebervereinigungen für Volksbanken und Raiffeisenbanken hervor. 1991 übernahm er auch die Tarifzuständigkeit für die Genossenschaftsbanken in Ostdeutschland.