Der Kellerberg hat seinen Namen vom Dürnsteiner Kellerschlössl. Der Name ist deshalb auch vergleichsweise jung (1787), und wurde anscheinend als Sammelbezeichnung für eine Vielzahl an kleineren Rieden eingeführt, wovon zwei als Subrieden weiterhin erhalten sind und benützt werden.
Der Kellerberg ist aus Gföhler Gneis aufgebaut, ein Umwandlungsgestein das aus einem granitähnlichem Ausgangsgestein (Plutonit) umgeformt wurde.
Durch die südöstliche Ausrichtung des Kellerberges war die Riede während der Eiszeiten von den Westwinden abgewandt. Dadurch ist mehr Löss liegengeblieben als auf den Westseiten. Löss ist heute noch inselartig am Kellerberg vorhanden. Durch Erosion am Hang wurde das eiszeitliche Sediment mit Gföhler Gneis-Material vermischt. Dieser spiegelt sich auch in den dichteren Weinen des Kellerberges wieder.