天梯山石窟创建于东晋十六国时期的北凉（397—439）。由北凉王沮渠蒙逊于公元412年至439年开凿。 1958年，为解决黄羊河流域土地的灌溉问题，决定在天梯山石窟附近修建黄羊河水库。除大佛窟外，距地表几十米高处的小石窟内的数十尊造像、三百余平方米壁画均运送至甘肃省博物馆保存。

天梯山石窟距今已有1600多年的历史。它是中国早期石窟艺术的代表，历代延续修建，文物层叠分布是天梯山石窟壁画和雕塑的重要特征。