Devrin Osmanlı padişahı II. Abdülhamit döneminde, 30 Mayıs 1906 tarihinde yapımına başlanmıştır. 19 Ağustos 1908 tarihinde tamamlanıp hizmete girmiştir. Bir rivayete göre binanın bulunduğu sahaya III. Selim’in paşalarından Haydar Paşa’nın adı verilmiştir. Binanın inşaatı, Anadolu Bağdat adı altında bir Alman şirketi gerçekleştirmiştir. Ayrıca bir Alman’ın teşebbüsüyle garın önünde mendirek inşa edilerek Anadolu’dan gelecek veya Anadolu’ya gidecek vagonların ticari eşyasını yükleme ve boşaltma işlevi için tesisler yapılmıştr.
İki Alman mimar Otto Ritter ve Helmuth Cuno tarafından hazırlanan proje yürürlüğe girmiş, garın yapımında Alman ustalarla İtalyan taş ustaları birlikte çalışmıştır. I. Dünya Savaşı sırasında gar deposunda bulunan cephanelere 1917’de yapılan bir sabotajla çıkan yangın sonucu binanın büyük bir bölümü hasar görmüştür. Yeniden onarılan bina bugünkü şeklini almıştır. 1979’da Haydarpaşa’nın açıklarında Independenta adlı tankerin bir gemiyle çarpışması sonu meydana gelen patlamadan ve sıcaktan dolayı binanın O Linneman adlı ustanın yaptığı kurşun vitrayları hasara uğramıştır. 1976’da aslına uygun olarak yeniden geniş çapta onarılmış ve 1983’ün sonunda dört dış cepheyle iki kulenin restorasyonu tamamlanmıştır.
28 Kasım 2010 tarihinde çatısında çıkan ağır yangından dolayı çatısı çökmüş ve 4. katı kullanılamaz hale gelmiştir.
Ankara-İstanbul Yüksek Hızlı Tren Projesi kapsamında Istanbul-Eskişehir bölümündeki demiryolu çalışmaları nedeniyle, 1 Şubat 2012 tarihinden itibaren 24 ay süreyle ülke çapındakı tren seferlerine ara verildi.