O veche tradiţie din secolul al VI-lea spune că aici s-a oprit Maica Domnului cu Pruncul, în noaptea în care Dreptul Iosif a primit porunca de la înger să părăsească Betleemul și să fugă în Egipt:

„După plecarea magilor, iată îngerul Domnului se arată în vis lui Iosif, zicând: Scoală-te, ia Pruncul şi pe mama Lui şi fugi în Egipt şi stai acolo până ce-ţi voi spune, fiindcă Irod are să caute Pruncul ca să-L ucidă. Şi sculându-se, a luat, noaptea, Pruncul şi pe mama Lui şi a plecat în Egipt. Şi au stat acolo până la moartea lui Irod, ca să se împlinească cuvântul spus de Domnul, prin proorocul: «Din Egipt am chemat pe Fiul Meu». Iar când Irod a văzut că a fost amăgit de magi, s-a mâniat foarte şi, trimiţând a ucis pe toţi pruncii care erau în Betleem şi în toate hotarele lui, de doi ani şi mai jos, după timpul pe care îl aflase de la magi. Atunci s-a împlinit ceea ce se spusese prin Ieremia proorocul: «Glas în Rama s-a auzit, plângere şi tânguire multă; Rahela îşi plânge copiii şi nu voieşte să fie mângâiată pentru că nu sunt».” (Matei 2, 13-18).

În momentul în care Iosif a primit poruncă, Maica Domnului tocmai Îl alăpta pe pruncul Iisus. În graba plecării, câteva picături au căzut pe piatra grotei, care s-a transformat din culoarea roşie în culoare albă.

Grota Laptelui se află în grija călugărilor franciscani din jurul anului 1347. Din vechea biserică a Sfintei Paula se mai păstrează câteva fragmente de mozaic în apropierea uşii de la intrare. Acestea prezintă motive florale şi animaliere realizate cu multă eleganţă.

Grota este loc de pelerinaj pentru femeile care n-au copii şi mamele creştine, dar mai ales musulmane care n-au lapte destul ca să-şi alăpteze copiii. Pe lângă rugăciune, femeile duc din acest loc, ca leac, praf din piatra cea albă.