300年ほど前、この寺のあたりは前橋藩酒井公の領地で、その頃は観音様をまつる草葺きの小さなお堂があっただけでした。ここにまつられる9尺ほどの十一面観世音菩薩像は行基菩薩の作で、厄除け・安産・子授けなどに御利益があるとされ、お参りの人が絶えなかったようです。
さて、延宝年間（1673―1680）のはじめころ、大洪水があって碓氷川が氾濫したときのことです。 水が引けたある夜、村人が川の中に何やら怪しく光る物を見つけました。 不思議に思った村人達は夜が明けるのを待って調べてみると、どこから流れついたのか奇異な形の黒光りする大きな古木でした。 そして引き上げてみると、お香のような良い香りまでするのです。 みな不思議に思い、霊木として観音堂に奉納しておきました。
それから数年過ぎた延宝8年（1680）の春、この鼻高村に諸国を廻る一了という老行者がわざわざたずねてやってきました。 不審に思った村人がここに来た訳を尋ねると、一了老人は不思議な夢の話をしました。それによると、ある時達磨大師が夢枕に立たれて言われるのに、「一了よ、鼻高の聖地に霊木があるから、坐禅をしているこの私の姿を彫りなさい。」と申されたので尋ねてきたのだそうです。 村人はすぐにあの霊木だと気がつき観音堂に案内しました。 一了老人は涙を流して感激し、さっそく沐浴して身を清め、信心を凝らして、ひと彫りするごとに五体投地の拝礼を三度する、一刀三礼という最高の彫り方で四尺ほどもある達磨大師の坐禅像を彫り上げました。
さて、その達磨像を観音様と並べて安置しようとしましたが大きすぎて納まりません。 困っていると、ある日碓氷川に朽ちて大きな穴の開いた大木が流れつきました。村人達はまた観音堂に運ぶと、一了老人は達磨大師の厨子に丁度良いのではないかと思い、入れてみると不思議にもぴったりと納まりました。 村人達は一了老人が心を込めて素晴らしい達磨像を彫り上げたので、「有難い達磨大師が鼻高に現れたぞ！」と噂をするようになりました。 この達磨座像の噂は、たちまち近郊近在に知れわたり「活然大師（達磨大師のこと）出現の霊地」として、誰言うとなく村の人たちが「少林山」と呼ぶようになったそうです。貞享元年（1684）の「前橋風土記」の領内の名山案内のところに「少林山─碓氷郡鼻高村ニ在リ」と記されているように、この頃には少林山の名が一般に知られていたようです。
さて、当時前橋藩の第五代藩主で名君として誉れ高い、酒井雅楽頭忠拳公は、たまたま領地巡見の際にこの霊勝を知り、少林山の達磨像に参拝し、ついにここに寺を建てることを発願しました。 それには訳があるのです。 この周辺の領地は厩橋城（前橋城）から見ると、ちょうど裏鬼門の方位に位置し、つねづね何か悪いことがあると困るなと心配していたのです。 それでここに方位・方角の災いを除ける為のお寺を建てて、領地の安全を計ろうと思い立ったのでした。 しかし、当時幕府の方針で新しくお寺を建てることへの規制はとても厳しかったのです。当時の宗教法人法に当たる寺院法度には新たに寺院を建てることを禁じたばかりではなく、庵室の類を寺院に取り立てることも禁じられていました。ですから、庵室の類に当たるこの少林山の観音堂を寺院に昇格させることは、当然この法度に触れてしまうのです。
そこで酒井公は当時、特に厳しく宗教政策を進めていた、天下の副将軍・水戸黄門こと徳川光圀公に進言して、水戸公が心から帰依し、水戸の天徳寺（後の祇園寺）で曹洞宗寿昌派を興された、中国からの渡来僧・心越興儔禅師を少林山に迎え、禅の道場を開くことにしました。ところが、この話が進んでいる元禄7年心越禅師は病に倒れ、翌8年9月30日遷化されてしまいました。酒井公はやむなく元禄10年に心越禅師の法嗣で高弟の誉れ高い天湫和尚を向かえて、「少林山達磨精舎」と名付けて、正式な寺院ではなく、禅の道場として開創したのです。
このような状況で草創の頃は「少林山達磨寺」という名称は使えず「少林山達磨精舎」「少林山達磨禅窟」「少林山達磨禅刹」などと称していました。天湫和尚は師の心越禅師を追請開山に奉じて、自らは少林山第二世になって伽藍の整備と心越禅師の伝えられた中国曹洞正宗の禅を広めるために尽力されました。
さて、現在の放生池の場所に本堂が建てられ、そこには十一面観世音菩薩と前橋領の安泰と鎮護国家・武運長久を祈るため、心越禅師が中国から奉持された尊星板梓と北辰鎮宅霊符尊像を祀りました。そして、その隣に達磨堂を建てて、一了老人の彫った達磨大師像を納めました。しかし残念なことに一了老人もまた諸堂の完成を見ずして元禄6年8月16日に示寂されました。
また、中国曹洞宗の流れの道場として建てられたので、大石段を上り詰めたところには、中国式の天王殿もあり弥勒菩薩の化身としての布袋尊やその裏に韋駄天、そして四方には四天王を祀りました。その他に、正徳2年（1712）4月8日に鐘楼が完成しました。さらに正徳4年には黄檗鉄眼版一切経を発注し、5,000人もの多くの人々の喜捨を得て享保元年（1716）に無尽法蔵に納められたとその奥書に書かれているので、現在の観音堂（旧経蔵）はその頃までには建立されていたと思われます。
その後、享保16年（1731）漸く長年の念願であった寺院に昇格することができました。それは、高崎市箕郷町富岡にある長純寺の末寺である鳳台院が白川の氾濫によって伽藍は倒壊し、境内地も押し流されてなくなったのを知り、水戸の祇園寺の進言で、その名義を譲り受けることができて少林山鳳台院達磨寺となったのです。江戸時代の古地図（深堀家文書）には鳳台院の名前で表わされているので、少林山達磨寺となったのはいつのことなのかはっきり判りません。