La commanderie fut fondée en 1140 lorsque les chevaliers de Penne firent don d'un terrain à Pierre Humbert.

On dénombrait seulement une dizaine de chevaliers, le reste s'était établi dans diverses dépendances de la région telles que: Montricoux, Cahors, Lacapelle-Livron,...

Les chevaliers templiers étaient exonérés de droits et taxes seigneuriales en échange de leur protection envers la population locale.

Le pouvoir de la commanderie s'étendait sur sept cantons et jusque dans le Quercy. Cette influence s'est mise en place grâce aux dons des religieux de Septfond et de la Chancelade ainsi qu'à ceux du Comte de Toulouse.

Il n'existe que peu de documents sur la vie à Vaour. En 1307, lors de la querelle entre Philippe IV le Bel et le pape Boniface VIII, le commandeur de Vaour, Bernard de Rocha, prit le parti du roi de France.

La commanderie se situe sur une butte, où l'on a retrouvé une dalle à rigole, ce qui permet d'hypothéquer qu'il s'agit d'un lieu voué au culte de l'eau.

Elle était entouré d'un mur d'enceinte de forme trapézoïdal.
                       

La commanderie était composée de plusieurs bâtiment dont une grange qui a été restaurée soutenue par neuf contreforts de grande taille.

Au rez-de-chaussée du logis se trouve la cuisine avec un four à pain et le réfectoire tous trois en enfilade.

Une tour octogonale (aujourd'hui effondrée) permettait d'accéder aux appartements du Commandeur. L'église était située au rez-de-chaussée du donjon coiffé de hourds qui mesurait 20 mètres de haut.