據說該寺在建設期間，資金發生困難，眼看就要半途而廢，施工主人們準備去遠方化布施。早晨起來，發現院中兩頭駱駝背負重囊，朝東而臥。主人認為是行腳駝，駝的主人定會尋來，直到夜幕降臨未見有人來趕走，于是有人解囊啟袋，發現約有九千余兩白銀。得此銀后不僅完成了預定的規模，還增建了殿堂。

寺院定名時人們認為若無這西來之資定難完工，今能完工乃西主資助之功，遂定名為“西來寺”。

西來寺占地面積2184平方米。寺院規模宏大，古樸典雅，是青海境內保存完好的古寺中典型的漢語系佛寺。寺內主要建筑建在坐北朝南的中軸線上，由山門、中殿、大殿和東西兩廂堂館組成兩進院落，庭院內綠樹成蔭，陪襯著佛殿走廊朱紅色檐柱和石綠色斗拱。山門寬3間，進深1架，中為門廊，東西為泥塑四大金剛。進入山門為前院，面對山門為中殿，東西兩廂為堂館，殿、堂均為硬山式建筑，中殿主供阿彌陀佛。大殿面寬5間，進深3架，單檐歇山頂，矗立在臺基上，大殿內供三世佛，中間釋迦牟尼，兩邊為文殊、彌勒，還有阿難、迦葉、弟子、比丘等。東西兩面山墻供菩薩四尊。整個墻面以半立體式浮雕著山水、人物、建筑、樹木、珍禽、異獸等。該寺保存完好，西來寺現為樂都縣歷史文物博物館，陳列樂都地區收藏和出土的珍貴文物以及原寺院遺存的24幅明代卷軸佛像畫。