そもそも当山の由緒は孤峰山福泉寺と號し、武田氏等の兵火にあい、伝記等不詳ながら、寺蹟にただ小堂と五輪の石碑のみ存していました。当時、当山東側近くは波打ち際でした。

たまたま、開山月桂禅師、一宿し諷経の後、緑端に定座し、伊豆の山岳と湾内風光を眺望すると、堂前に大小2つの雲気が現れました。禅師は、是れ有縁の霊地なりと深く感じ、遂に三宇（本堂・庫裡・書院）を建立し、此の因縁により大小山慶雲寺と改称しました。時に天文元年（西暦1532年）4月11日（室町時代）のことでした。