室町時代末期より碓氷川の南側、鼻高村の高台には行基菩薩が彫られたとされる四尺ほどの厄除・子授け・縁結びにご利益のある観音様を祀る小さな観音堂がありました。
延宝年間（１６７３～１６８１）のある年のこと、大雨が降り碓氷川が氾濫したことがありました。水が引けた頃、村人が川の中をのぞきこむと黒光りした大きなかたまりが流れついていたので、引き上げてみると香りのする大きな古木でした。村人たちは霊木として観音堂に納めることにし、観音像の前に安置すると、不思議にも紫の霞がたなびいたので皆はよいことがある前兆であると喜びました。
洪水があった頃、全国を廻る一了居士という行者さんの夢枕に達磨大師が立たれ「この私の像を彫りなさい、彫る木は鼻高にある」とおっしゃいました。延宝八年（1680）、一了居士は鼻高を探しあて、村人に夢枕の話をすると、それなら観音堂に納められた霊木のことだろうと村人が案内すると、一了居士はひと目でそれが達磨大師のお告げの木であると判り、涙を流して喜びました。
一了居士は、沐浴斎戒（身を清めて、肉・魚・酒や臭いのきつい野菜などを絶つこと）をして、心をこめて一刀三礼（一彫りごとに五体投地の礼拝をすること）の最高の彫り方で見事な達磨大師の坐禅像を彫りあげました。しかし観音様を降ろして厨子（仏像を安置する堂の形をした仏具）に安置しようにも大きすぎて納められず困っていると、大雨がありまた大きな木のかたまりが流れつきました。それを使って一了居士が厨子を彫ると、ちょうど達磨像が納まったので観音様の隣に安置されました。
この信心を凝らして彫られた達磨大師の像は村人たちの評判となり、この観音堂のあたりはいつともなしに“達磨出現の霊地”として「少林山」と呼ばれる用になり近隣に広まりました。その頃の領主・酒井雅楽頭忠挙公は厩橋城（前橋城）の裏鬼門を護る寺として、水戸光圀公の帰依された中国僧・東皐心越禅師を開山と仰ぎ、弟子の天湫和尚を水戸から請じて、元禄十年（1697）少林山達磨寺（当時：曹洞宗寿昌派）を開創しました。
享保十一年（1726）水戸徳川家から三葉葵の紋と丸に水の徽章を賜い、永世の祈願所とされました。