Kunstschaffende, als begnadete Nachahmer, wurden schon in frühchristlicher Zeit «Affen Gottes» genannt.

Die Geschichte des Namens der Gesellschaft ist bis heute nicht gesichert.

Es wird angenommen, dass die Zunftgesellschaft den Namen „zum Affen“ erhielt, weil das Zunfthaus, welches die Zunft im Jahr 1389 erwarb, „Haus zum Affen“ hiess.

Für jene „Affen Gottes“, die ihr Leben dem Steinhandwerk widmeten, war am Anfang schon immer „der Aff“, denn in der Sprache der Steinhandwerker ist der Aff der unbehauene Quader, der aus dem Steinbruch kommt. Was sich aus dem massigen Quader vom Steinmetzen zaubern lässt, kann man an den wunderschönen Bauten in der Berner Altstadt und insbesondere am Münster bewundern.