Zdá se, že o Josefovi z Arimatie se mluví ve spojitosti s utrpením a smrtí Ježíše ve čtyřech evangeliích. Pocházel z Arimatie (v hebrejštině Armathajim), vesničce v Judsku, aktuálně Rentis, 10 km na severovýchod od Lodu (Lydda), pravděpodobně rodiště Samuela (1 Sam 1,1). Byl to bohatý člověk (Mt 27,57) a význačný člen velerady (Mk 15,43; Lk 23,50). Měl novou hrobku vytesanou ve skále, blízko Golgoty v Jeruzalémě. Byl Ježíšovým učedníkem, ale jako Nikodém ze strachu před židy tajným (Jan 19,38). Lukáš o něm říká, že očekával Boží království a nesouhlasil s odsouzením Ježíše veleradou (Lk 23,51). Ve chvílích krutého ukřižování se nebojí a odvažuje se žádat Piláta o Ježíšovo tělo (v evangeliu Petr 2,1; 6,23-24, apokryfu z druhého století, přichází Josef s žádostí o tělo ještě před ukřižováním). Když mu prefekt žádost povolil, snímá ukřižovaného, zavine ho do čistého plátna a s pomocí Nikodéma uloží Ježíše do své hrobky, kterou ještě nikdo nepoužil. Potom, co ji uzavřeli velkým kamenem, odešli (Mt 27,57-60, Mk 15,42-46, Lk 23,50-53 a Jan 19,38-42). Takové jsou historické údaje.
Od IV. století vznikaly legendární pověsti, fantastické, v nichž byla postava Josefa opěvována. V apokryfu V. století, Nikodémově evangeliu, se vypráví, že židé jednání Josefa a Nikodéma ve prospěch Ježíše potrestali a Josef byl proto poslán do vězení. Po zázračném osvobození se objevuje v Arimatii. Odtud se vrací do Jeruzaléma a vypráví, jak ho Ježíš osvobodil. Ještě fantastičtější je dílo Vindicta Salvatoris (Pomsta spasitele, IV. století?), které se hodně rozšířilo v Anglii a Akvitánii (francouzský region). V knize se vypráví o pochodu Tita v čele svých legií, který má pomstít smrt Ježíše. Po dobytí Jeruzaléma nalézá v jedné věži Josefa, který tam byl zavřen v hladomorně, ale který byl živen nebeským pokrmem.
V stoletích XI. až XIII. byla legenda o Josefovi z Arimatie na britských ostrovech a ve Francii v cyklu o svatém grálu a králi Artušovi přikrášlena novými podrobnostmi. Podle jedné z legend Josef omyl Ježíšovo tělo a zachytil vodu a krev do nádoby. Potom si Josef a Nikodém její obsah rozdělili (viz otázka Co je to svatý grál?). Další legendy říkají, že Josef měl tuto relikvii u sebe a evangelizoval Francii (některá vyprávění líčí, že se zřejmě s Martou, Marií a Lazarem vylodil v Marseille), Španělsko (kde ho svatý Jakub vysvětil na biskupa), Portugalsko a Anglii. V této poslední oblasti se Josefova postava stala velmi populární. Legenda ho označuje za prvního zakladatele prvotní církve na britské půdě v Glastonbury Tor. Při spánku jeho berla zapustila kořeny a rozkvetla. Klášter Glastonbury Abbey se stal důležitým poutním místem, dokud nebyl zrušen při reformě v roce 1539. Ve Francii jedna legenda IX. století zmiňuje, že patriarcha Fortunato z Jeruzaléma, v době Karla Velikého, si s sebou vzal kosti Josefa z Arimatie a utekl na západ až do kláštera Moyenmoutier, kde se stal opatem.
Všechny tyto legendy, které nemají žádný historický podklad, ukazují na důležitost, kterou měli první Ježíšovi učedníci. Vývoj těchto vyprávění může být spojován s příležitostnými polemikami některých oblastí (například Anglie a Francie) s Římem. Snažily se ukázat, že určité regiony byly evangelizovány Ježíšovými učedníky a ne misionáři poslanými z Říma. V každém případě nemají nic společného s historickou pravdou.