Kirjasto syntyi 1800-luvulla yksityishenkilöiden aloitteesta. Jo vuonna 1877 oli 12 saksankielistä perhettä perustanut lukupiirin, jonka jäsenet hankkivat vuosittain vähintään yhden kirjan, jota sitten lainattiin piirin muille jäsenille. Tämän lukupiirin perustajajäseniä olivat perheet Haller, Jahn, Kirstein, Kolster, Luther, Mickwitz, Minckwitz, Rohde, Rudolph, Stockmann, Tobisen ja Wetzer. Muutamaa vuotta myöhemmin lahjoitti lukupiiri keräämänsä 60 kirjaa Saksalaiselle seurakunnalle uuden perustettavan kirjaston ensimmäiseksi kokoelmaksi. Saksalaisen kirjaston perustamispäivänä pidetään 4. toukokuuta 1881, jolloin Pastori Kirstein ilmoitti lahjoituksesta seurakunnalle. Pietarista saatujen lahjoitusten myötä kokoelma karttui vuoteen 1914 mennessä 200 niteeseen.

Helsinkiin perustettiin 1900-luvun alussa kaksi muutakin julkista saksankielistä kirjakokoelmaa: Saksalaisen yhdistyksen kirjasto, joka vuonna 1914 käsitti n. 500 nidettä, ja Saksalaisen koulun kirjasto. Nämä kolme kokoelmaa yhdistettiin vuonna 1927 yhdeksi kirjastoksi, joka sai nimekseen Deutsche Bücherei. Järjestelytyössä toimi neuvonantajana Erwin Ackerknecht, Saksan yleisten kirjastojen tunnettu organisaattori. Deutsche Bücherei omisti n. 2000 nidettä ja se oli kaikille avoin kirjasto, jolla oli kaksi tavoitetta: Se pyrki keräämään erityiseen Fennica-osastoon kaiken Suomea koskevan saksankielisen kirjallisuuden ja lähettämään valikoituja kokoelmia Helsingin ulkopuolella toimivien saksankielisten yhteisöjen käyttöön. Samoja päämääriä noudatetaan edelleen: Saksalaisen kirjaston Fennica-kokoelma on karttunut n. 4000 niteeseen ja kirjaston kirjoja välitetään kaukolainapalvelun kautta koko maahan.

Saksalainen kirjasto toimi aluksi osoitteessa Unioninkatu 19, mutta myöhemmin se siirtyi Eteläesplanadi 12:een. Kirjastolla oli lukusali, johon tilattiin saksankielisiä sanomalehtiä. Kirjastonjohtajana toimi vuoteen 1944 Dagmar Hernberg, joka palasi toimeen vielä 1955-59. Hänen työtään jatkoi Alfred Schmidt vuosikymmenten ajan.

Kun Suomi 1944 teki rauhansopimuksen Neuvostoliiton kanssa, Saksalainen kirjasto suljettiin. Helsingin saksalainen kirjastoyhdistys perustettiin 1955 edistämään saksalaisen kirjallisuuden tunnetuksi tekemistä Suomessa. Tämän yhdistyksen perustajajäseniä olivat Max Aue, Wilhelm Dahm, Dagmar Hernberg, Pekka Katara, Emil Öhman, Alfred Schmidt, Geert Sentzke ja Kurt Stude. Saksalaisten rinnalle johtokuntaan valittiin nyt myös suomalaisia ja puheenjohtajana on yleensä ollut yliopiston professori. Yhdistys on edelleenkin Saksalaisen kirjaston ylläpitäjä.

Kirjaston toiminta alkoi uudelleen 1955 ensin Saksalaisen koulun tiloissa, mutta vielä samana vuonna voitiin Saksan liittotasavallan tuella ostaa nykyinen 250 m2 huoneisto Kasarmitorin varrelta. Silloinen 7000 niteen kokoelma on vuosien kuluessa karttunut 40 000 niteen kirjastoksi. Lisäksi kirjastolla on n. 60 m2 varasto.

Nykyään suurin osa kokoelmista on selailtavissa internetissä. Kirjaston kotisivuilta saa myös tietoja yleisötilaisuuksista, uusista hankinnoista ja kirjaston omista julkaisuista.

Saksalainen kirjasto on vuodesta 1967 lähtien julkaissut vuosikirjaa "Jahbuch für finnisch-deutsche Literaturbeziehungen". Vuosikirjan päämääränä on toimia välittäjänä suomalaisen ja saksankielisen kirjallisuuden kesken. Suomalaisen nykykirjallisuuden ensikäännösten ja kirjallisuustieteellisten artikkelien lisäksi siinä julkaistaan aineistoa muiltakin humanististen tieteiden aloilta.