唐詩雲：“昔人已乘黃鶴去，此地空餘黃鶴樓。”詩中的“昔人”指的大概是仙人王子安或費禕。不過，到瞭宋朝，黃鶴樓又與仙人呂洞賓聯系到瞭一起。
傳說，有一個姓辛的老板在蛇山上開瞭一傢酒店。一位道士常常來喝酒，但從不給錢。辛老板也不以為意。一次，道士臨走之前，用橘子皮在墻上畫瞭一隻黃鶴，如果客人對著黃鶴拍手，黃鶴就下來翩翩起舞。如此一來，酒店的客人越來越多，生意也非常興隆。
十年後，道士再次來到酒店，從腰間取出笛子，吹出悅耳的音樂。黃鶴徐徐飛出墻壁，道士騎上黃鶴緩緩飛走。據說，這位仙人就是呂洞賓。
為瞭紀念仙人和黃鶴，辛老板出資在山上興建瞭黃鶴樓。後人每每登高至此，總會想起這美妙的傳說。