Es gibt keine schriftlichen Aufzeichnungen darüber, wann Kelburn Castle erbaut wurde, man geht jedoch davon aus, dass dies um 1143 geschah. Das erste Bauwerk war ein hölzerner Turm. Dieser wurde im 13. Jahrhundert durch einen normannischen Bergfried aus Stein ersetzt, von dem Teile noch heute genutzt werden.
