1984년 2월 29일 전라남도문화재자료 제40호로 지정되었다. 대한불교조계종 제19교구본사 화엄사의 말사(末寺)로 금오산(金鰲山)이 바다와 맞닿은 가파른 언덕에 있다. 왼쪽에는 중생(衆生)이 서원(誓願)에 감응하였다는 감응도, 앞바다에는 부처가 머물렀다는 세존도, 오른쪽에는 아미타불이 화현하였다는 미타도가 있다. 《여수군지》와 《여산지》에 따르면, 659년(백제 의자왕 19) 원효대사가 원통암(圓通庵)이라는 이름으로 창건하였다고 하지만 신빙성이 적다. 또 950년(고려 광종 9) 윤필(允弼) 거사가 이곳에 수도하면서 원통암을 금오암(金鰲庵)이라 개칭하였다고도 하지만 역시 믿을 만한 자료로 받아들여지지 않는다. 조선시대에 이르러 1713년(숙종 39)에 당시 돌산주민들이 논과 밭 52두락을 헌납한 지 3년 뒤인 1715년에 인묵대사(仁默大師)가 지금의 자리로 암자를 옮기고 향일암이라고 명명하였다고 한다. 향일암이라는 명칭은 금오산의 기암절벽 사이에 울창한 동백이 남해의 일출과 어우러져 절경을 빚는 데서 유래되었다고 전한다. 경내는 대웅전과 관음전·용왕전·삼성각·종각·요사채·종무실 등으로 이루어져 있다. 이 건물들은 모두 1986년에 새로 지은 것인데, 2009년 12월 20일 화재가 발생하여 대웅전과 종각·종무실이 전소하였다. 대웅전은 정면 3칸, 측면 2칸의 팔작지붕 구조에 배흘림 기둥을 세우고 그 위로는 창방(昌枋)이 얹고 헛첨차를 결구한 건물이었으며, 1983년에 조성한 소형 범종, 1987년에 조성한 청동석가모니불과 관음보살 및 지장보살, 1988년에 조성한 영산회상도와 금니(金泥)로 채색한 신중탱화 등이 봉안되어 있었다.