Aia t 19 asunud G. von Roth’i elamu ehitusprojekti koostas F. Hübbe 1884. aasta veebruaris. Neorenessanssi sugemetega hoone projekteerimisel on projekti autor saanud inspiratsiooni Berliini villastiili mõjudest. Kinnistu järgmisele omanikule krahv von Sievers’ile koostas O. Schröder 1888. aasta märtsis hooviküljele trepikoja juurdeehitusprojekti. 1890. aastal tellis Pavel von Sievers fassaadi muudatusprojekti, mille koostas R. Guleke.
20. sajandi alguspoolel elas Aia 19 majas filmioperaator ja -režissöör Theodor Luts abikaasaga. Luts kohandas võttepaviljoniks maja keldri. Maja aias võeti muuseas üles suurem osa esimese Eesti täispika mängufilmi „Noored kotkad“ (1927) stseenidest. Filmi stsenaariumi kirjutas Theodor Lutsu abikaasa Aksella Luts, kes mängis filmis ka kõrvalosa, metsavahi tütart. Lisaks oli Aksella filmi juures ka grimeerijaks, laboratooriumi assistendiks, inspitsiendiks ja monteerijaks.
1932. aastal alustasid Eesti Kirjanduse Selts ja Eesti Kirjanikkude Liit läbirääkimisi Aia 19 maja omandamiseks Friedrich-Voldemar Sieversi pärijatega ning 1932. aasta detsembris omandasid need organisatsioonid Aia 19 maja. Tulevase Kirjanduse Maja hind oli 41 000 krooni, ostuks laenati Eesti Kultuurkapitali kirjanduse sihtkapitalilt 39 500 krooni. Maja haldamiseks moodustati võrdse osalusega majakomitee, halduskulusid kaeti maja tuludest.
1940. aastal natsionaliseeris Nõukogude okupatsioonivõim Eesti Kirjanduse Seltsi varad, sealhulgas Tartu Kirjanduse Maja. Majja Vanemuise 19 asus NSVLiidu Riikliku Julgeolekukomitee Tartu linna ja raudteejaama osakond.
Eesti taasiseseisvumise järel 1992. aastal Eesti Kirjanduse Selts taastati. 1994. aastal tagastati ½ mõttelist osa Kirjanduse Majast Eesti Kirjanike Liidule ning 1995. aastal ka maja teine pool Eesti Kirjanduse Seltsile.
Praegu paikneb Vanemuise 19 majas lisaks nimetatud organisatsioonidele ka kirjastus „Ilmamaa“. Majas on paiknenud ka Tartu Noorte Autorite Koondis (Tartu NAK).
2003. aastal avati Kirjanduse Maja keldris galeriisaal ehk Krüpt. 2014–2019 tegutses keldriruumides kultuurilokaal Arhiiv.
Praegu asub Vanemuise 19 keldris kultuuriklubi Salong. Tegemist on „peavoolu, kõrvalvoolu, alalisvoolu ja vahelduvvoolu kultuuriklubi hubase baariga, kus toimuvad peod, kontserdid, filmiõhtud, viktoriinid, näitused ning loengud kõigile, olenemata vanusest või muudest eripäradest“.
