1595년 미조항 첨사 성윤문의 꿈에 한 노장이 나타나 장군의 진영(眞影)이 해안에 있으니 잘 모시라고 했다. 첨사는 잠을 깬 후 봉장군(수문장)을 보내 찾아보게 하였다. 봉장군은 나무궤를 발견하고 뜯어보니 최영 장군의 진영, 명패, 장도가 들어있었다. 첨사는 발견된 장소의 산 정상에 한 칸 초당으로 건립하고 최영 장군의 영정을 봉안했다.

그 후 어느 날 강풍으로 봉안소가 부서지고 영정이 지금의 자리에 날아와 이곳에 사당을 지어 장군당이라고 불렀다고 한다. 그 후 연대를 알 수 없는 화재로 인해 없어진 것을 재창건하기 위해 1954년 보존회를 결성하여 사우 중건을 결의했다.

1955년 음력 8월 22일 상량식을 하였고, 1960년 음력 9월 9일 무민공 최영 장군을 봉안하고, 첨사 성윤문을 배향한 후 무민사(武愍祠) 현판을 걸었다. 이홍주를 초대 회장으로 현충회를 창립하고 음력 3월 중정일을 제향일로 정했다. 1969년 병조참의 최헐을 배향했다. 2008년부터 제향일을 4월 13일로 변경했다. 사당은 팔작지붕 목조와가로 정면 3칸, 측면 2칸이며, 부속물로 내삼문, 외삼문, 관리사가 있으며 7기의 선정비가 있다.