Podle svatého Matouše byla Panna Maria, když počala panensky Ježíše, zasnoubená se svatým Josefem, i když spolu ještě nežili (Mt, 1,18). Jednalo se o situaci, která předcházela manželství. Pro židy to byl tak pevný a reálný závazek, že snoubenci se už mohli nazývat manžel a manželka a tento závazek se mohl anulovat jen zapuzením manželky. Z textu svatého Matouše vyplývá, že když anděl zvěstoval Josefovi a vysvětlil mu, že Maria počala z Ducha svatého (Mt 1,20), Maria a Josef se vzali a začali žít společně. Vyprávění o útěku a návratu z Egypta, usazení se v Nazaretu (Mat 2,13-23), jejich společné putování s dítětem do Jeruzaléma a vystoupení dítěte v chrámu, když mu bylo dvanáct let, jak o tom vypráví svatý Lukáš (Lk 2,41-45), to objasňují. Kromě toho když svatý Lukáš líčí zvěstování anděla Marii, představuje ji jako „pannu zasnoubenou s Josefem z domu Davidova“. Proto měl svatý Josef dle těchto evangelií za ženu Pannu Marii. Toto je údaj, který bezpochyby patří do historické tradice zaznamenané v evangeliích.
Pokud by byl toto druhý sňatek svatého Josefa nebo jestliže svatý Josef jako stařec a vdovec si nakonec Pannu Marii nevzal, ale staral se o ni jako o pannu, byla by to témata patřící mezi legendy a nenabízela by žádnou záruku historičnosti.
První zmínka o těchto legendách se nachází v takzvaném „Protoevangeliu svatého Jakuba“ ze II. století. Vypráví, že Maria zůstávala v chrámu od svých tří let a když dosáhla dvanácti let, hledali kněží někoho, kdo by se o ni staral. Shromáždili všechny vdovce z vesnice a poté, co došlo k zázraku - z Josefovy hole vylétla holubice -, předali Pannu do opatrování Josefovi. Podle této legendy si ale Josef Marii za manželku nevzal. Ve skutečnosti anděl, který se mu zjevuje ve spánku, neříká Josefovi jako v Mt 1,20 „neboj se k sobě vzít svou manželku, Marii“, ale říká „neměj strach kvůli Panně“ (XIV,2). Další, pozdější apokryf, který znovu zpracovává tento příběh, takzvané „Matoušovo evangelium dětství“, pochází snad ze VI. století a zdá se, že text naznačuje, že Maria byla s Josefem zasnoubená, neboť jí kněz říká: „měla bys vědět, že nemůže uzavřít manželství s nikým jiným“ (VIII,4); ale obecně mluví o svatém Josefovi jako o opatrovníkovi Panny Marie. To, že Josef si vzal Marii, o tom se naproti tomu jasně mluví v knize „Kniha o narození Marie“, jakési shrnutí Matoušova evangelia dětství, a také v knize „Příběh Josefa, tesaře“ (IV,4-5).
Proto neexistují žádné historické údaje, které by dovolovaly tvrdit, že svatý Josef už byl dříve ženatý. Nejlogičtější názor je ten, že si vzal Nejsvětější Pannu jako mladý muž a byl ženatý jen jednou.