Одна из легенд гласит, что крепость была названа Голубац (Голубиный город) из-за византийской принцессы Елены, которая была заключена в тюрьму в главной башне. Для того, чтобы облегчить свои страдания и одиночество, принцесса стала разводить голубей, отсюда и название города. По другой легенде, когда-то в крепости жила прекрасная девушка с именем Golubana. Рассказы о ее красоте дошли до турецкого паши, и он начал за ней ухаживать, принося подарки из шелка и жемчуга, пытаясь убедить ее выйти за него замуж. Красавица Голубана отказаласть от подарков паши и тогда он приказал казнить ее, привязав к скале над Дунаем. Ее пытали и оставили на растерзание птицам, которые изуродовали ее тело. Есть также истории, утверждающие, что город был назван так из-за формы его башен, напоминающих голубей на скале . Есть еще другие легенды, которые утверждают, что дикие голуби селились на скалах и что крепость была названа в их честь.