据记载，少林寺始建于北魏太和二十年（公元496年），是由西域沙门跋陀创立的。

    跋陀又译为佛陀，印度人。据说他出家后，一面学习禅观之法，一面漫游各地。后来与他共同修炼的五位道友先后都已得正果，只有跋陀无所收获。尽管他勤苦修持，还是无济于事。因此，他想自杀了却此生。他的得道朋友劝导说：“修道要藉机缘。你与震旦（中国）很有缘分，为什么不到那里去修炼呢？”

    道友的话让跋陀顿开茅塞，于是跋陀开始随朋友游历各国。他们先西行，到过拂林国——就是东罗马帝国，它的一部分领土在地中海东岸。然后，又沿着丝绸之路东行，经过西域诸国，来到佛法兴隆的北魏国都平城（今山西省大同市）。这时正是孝文帝太和十四年前后。

    孝文帝喜好佛法，因此对西域来的高僧优待有加。孝文帝为跋陀“别设禅林，凿石为龛”，供给资供。“石龛”又称“石室”“石窟”，是和尚们尘禅及观像的场所。跋陀的石龛就在大同市西郊的云冈石窟中。

    平城城内有一位姓康的富翁，特别爱好佛法。他特为跋陀建了一所小寺院，跋陀常常在这小寺院内坐禅。有一次，孩子们从门缝内看见室内似乎起了火，惊慌地报告了康家主人。但当人们赶到时，却只见跋陀依然在室内潜心坐禅。于是人们议论跋陀禅法玄妙，他已“得道”了。

    太和十九年（495年）九月，孝文帝为了进一步推行“汉化政策”，不顾保守势力的反对，迁都洛阳，跋陀也随之南迁，来到河南洛阳。孝文帝在洛阳为跋陀设立了“静院”，以供禅修，可是跋陀喜好清净，多次前往嵩山隐修。于是第二年，孝文帝又在少室山为跋陀建寺院，名为少林寺。

    少林寺既立，各地的善男信女慕跋陀之名常聚集于少林寺，人数达数百人之多。跋陀一面教弟子们坐禅，一面又辑出一些经义，供弟子们学习，少林寺蔚然成为禅学一大中心。

    跋陀是少林寺的创立者和第一位住持，他在寺内翻译了《华严》《涅槃》《维摩》《十地》等经，有弟子慧光、僧稠等人。

    关于跋陀收慧光为徒，还有一段传说故事。

    据说是在太和廿二年四月初，跋陀到洛阳城去参访，他信步漫游在大街上，忽然看到有一童子正在街上踢毽子玩，正踢，反踢，一连踢了五百个。围观的人为之鼓掌喝彩。跋陀思量：“此小儿有功夫，将来学佛法也会是好样的。”他就把这童子唤过来，用禅杖轻轻地敲敲他的头，声音清彻，知是可以培养的法器。他问道：“你愿意跟我出家吗？”童子高兴地回答：“我早就想出家了！”在与童子的家长交涉后，跋陀便将他带回了少林寺，取法名慧光。当时慧光仅十二岁。在跋陀的精心传授下，慧光终于成为弘扬《四分律》的律学大家。