Как было упомянуто выше, первоначально Королевская картинная галерея располагалась в перестроенных королевских конюшнях и была открыта для придворных королевская двора Саксонии. До середины 19-ого столетия коллекция располагалась в королевском дворце, а затем городской совет Дрездена выдвинул предложение выделить средства и построить отдельное здание для художественного музея. Решение было утверждено, выбрано место и выделены средства.

Известный саксонский архитектор Готфрид Земпер (тот самый, который построил здание дрезденского оперного театра) предложил свой проект здания будущей картинной галереи Дрездена. Этот проект предполагал возведение здания в стиле Нео-Ренессанс на Театральной площади Дрездена. Именно этот проект был утвержден, и за 8 лет была построена Картинная галерея Дрездена в 1847-1855 гг.

До 1931 года в здании Галереи выставлялась вся коллекция саксонских королей, но к этому времени коллекция значительно выросла, и было произведено разделение на Галерею Новых мастеров и Галерею Старых мастеров. К сожалению, коллекция галереи Новых мастеров значительно пострадала во времена нацистов, когда были уничтожены уникальные работы немецких экспрессионистов. Затем коллекции и здания галерей пострадали во время бомбардировок союзников и советской армии в конце Второй Мировой Войны. Около 300 картин значительно пострадали, а здание Галереи Земпера было почти полностью разрушено.

Здание Земпера было восстановлено в 1950-ых годах, и в 1960-ом году Дрезденская картинная галерея открыла свои двери для общественности. В настоящее время Галерея Земпера расположена в центре Дрездена, там, где и была построена великим саксонским архитектором. Она представляет собой длинное здание в неоклассическом стиле рядом с набережной Эльбы и Цвингером Августа Сильного. С южной стороны Галерея граничит с Цвингером, с северной с Театральной площадью, на которой расположены Земперопера, Собор и Дрезденский замок.