據(jù)今800多年前的南宋初期,武陵蠻王向氏,不皈王化,自稱天子,踞險抗雄｡朝廷便遣楊門五女提師進剿｡向王匿于洞中,有兩位民婦侍護｡官兵攻而不克,楊八姐腦怒,便炮圮洞門｡只見巨石空裂,一男二女便哀死洞中｡土人見晨暮之際,崩石隙間有煙霞靄靄,如虹如霓,深感其義,傳為仙蹤魅跡｡

　　元季,道士張玄陵云游至此,路憩崖下,依松入夢,見二婦人持拂塵而立,道貌仙姿,一婦曰:“吾乃紫姑也｡”指另一婦曰:“彼乃霞姑也,我們與向王禁于此地,得呂祖超度,羽化為仙｡向王被封為青崖山君,宿天子園｡令我等在此保佑民眾,今已冷落三百余年矣｡”言罷,道士夢醒,譫言其事,后便在此結(jié)草為庵,始開山禁｡

　　明嘉靖中期,道士張香庭住在草庵,時逢荊南分守兼九(溪)永(定)兵備胡桂芳過此,以為婁山之陰,洞云深處而無一寺一觀,為淳民風,便出資建觀｡明崇禎末年,此觀被賊所毀｡到清朝雍正年間,當?shù)赝寥司虻孟扇俗阚E石后,又聚資重建｡由于當時慈利縣城有紫霞觀一座,此地為慈邑所轄,便在此同名建觀,合祀為一｡同治年間,此觀又毀于兵燹｡地老天荒,知者少也｡直到1992年,由于武陵源旅游業(yè)興,人們見山水風光奇殊,人文景觀遜色,由是,俚人懷古,集資于故址重建今日之紫霞觀｡