Cette pièce fut créé pour abriter une partie des collections de Louis XIV. Sous Louis XV, elle prit diverses affectations. Ainsi, elle servit au roi de pièce d'exposition pour son service de vaisselle d'or, d'où l'un de ses noms cabinet de la Vaisselle d'or. Elle fut ensuite rattachée aux appartements de Madame Adélaïde, fille de Louis XV. Cette pièce devient dès lors son cabinet de musique où Adélaïde reçut des leçons de Harpes de Beaumarchais.
La bibliothèque de Louis XVIÀ son avènement en 1774, Louis XVI veut faire concevoir pour lui une pièce dédiée à sa détente. Le choix se porte sur une bibliothèque. Elle est commencée dès le début de son règne. Le décor, dessiné par Jacques-Ange Gabriel, est sculpté par Jules Antoine Rousseau. Jean-Henri Riesener sculpte une grande table à plateau monoxyle pour permettre à Louis XVI d'exposer ses biscuits de Sèvres.