Însemnările codicografice și votive ale anumitor manuscrise vatopedine dovedesc existența bibliotecii Mănăstirii încă de la începutul istoriei ei. Cu toate acestea, primele indicii despre organizarea rudimentară a volumelor provin din secolele al XIV-lea și al XV-lea, în timp ce prima mărturie istorică despre amplasarea bibliotecii o furnizează Proskynitarion-ul lui Ioan Comnenul – cel care, în 1698, a văzut în Mănăstire două biblioteci: una deasupra narticii bisericii principale (katholikon-ului) și una în skevofilakion (locul în care se păstrează obiectele de valoare). În a doua bibliotecă se pare că au fost mutate cele mai multe cărți după anul 1700 – conform mărturiei lui Barskij care, pe la 1725, a văzut acolo circa 2000 de volume. O nouă mutare trebuie să fi fost făcută la începutul secolului al XIX-lea, când biblioteca a fost adăpostită în două camere de lângă paraclisul Sfinților Apostoli. În 1867, biblioteca s-a mutat în turnul Maicii Domnului, unde se găsește până astăzi, împreună cu arhiva Mănăstirii și colecția de manuscrise a Schitului Sfântului Dimitrie.

Aici se păstrează două mii cincizeci de manuscrise, dintre care o treime sunt pe pergament, precum și douăzeci și cinci de suluri de pergament. Tot aici se păstrează patruzeci de mii de cărți, dintre care multe sunt vechi.

În arhivă se păstrează trei sute zece mii de documente, printre care hrisoave împărătești și sigilii patriarhale. Cel mai important obiect este pergamentul (secolul al XIII-lea) care cuprinde „Geografia” lui Claudius Ptolemeus (125-161), cu patruzeci și două hărți ale Europei, Africii și Asiei. Este cel mai vechi exemplar din întreaga lume. Printre cărțile renumite se află o Psaltire a lui David (secolul al XI-lea), care are semnătura împăratului Constantin Monomahul, un Octateuh (care cuprinde primele opt cărți ale Vechiului Testament) din secolul al XIII-lea, cu o sută șaizeci și cinci miniaturi din Vechiul Testament, codicele cel mai bogat în ilustrații din Sfântul Munte, un hrisov al împăratului Andronic al II-lea Paleologul (1301), un pergament cu Omiliile Sfântului Ioan Gură de Aur în scrierea veche (secolul al VIII-IX-lea) și în scrierea nouă (secolul al XIII-lea).

Datorită metoacelor pe care le-a avut în Țările Române, arhiva mănăstirii are cele mai multe documente românești. Aici se mai păstrează o minunată relicvă a artei bizantine, un potir din matostat împodobit cu aur, argint și pietre prețioase. Acest potir a fost al împăratului Manuil al II-lea Paleologul (1391-1425), care și-a lăsat tronul și s-a făcut monah. Se pare că el a fost dăruit mănăstirii de fiul și urmașul său, Ioan al VlII-lea Paleologul (1425-1448). Se spune că apa care se pune de cu seară în acest potir, până dimineața se face de culoarea laptelui și vindecă mușcăturile de șarpe și scorpion.

Doar câteva manuscrise foarte valoroase sunt păstrate în skevofilakion. În schimb, toate tipăriturile mai noi (începând cu anul 1935) sunt păstrate în biblioteca nouă, aflată în aripa de sud, sub sinodikon.