相传与汉武帝有关。汉武帝刘彻封禅南岳天柱山时，路过此地竟然两个月没能走出此山，感叹道：“此山之大，别于天下。”大别山得名于此。
李白给其取的名字。相传李白登上大别山高峰白马峰，欣赏了山上风景发现山南北两边风光不尽相同，令其赞叹道：“山南山花烂漫，山北白雪皑皑，此山大别于他山也！”大别山因此出名。
有神话色彩传说。相传远古洪荒年代，天地浑然一体，亿万生灵被挤压在昏暗天地之间。后来有一座山巍然升起来用它的脊梁撑起一片天，从此有了天地之分，万物获得了光明。因为这座山分出了天地、也分出了白天黑夜，使天地有别便取名大别山。