华林寺前身叫西来庵。隋代以前此地为珠江岸。南朝梁武帝普通七年(526年),天全国（即古印度）高僧菩提达摩东渡来到中国传教。他首先在今西来初地处登岸，并在登陆处建西来庵。后世信徒尊奉达摩为中国佛教禅宗的始祖，因而称其当年登陆地为西来初地。华林寺距今已有1400多年，历隋、唐、宋、元、明诸代，传灯不绝。