Белый дом, который мы видим сегодня, сильно отличается от образца 1800 г. Каждый въезжавший президент мог реконструировать дом по своему желанию.
В 1814 г. он был полностью сожжен английскими войсками – не осталось ничего, кроме стен. Все имущество был расхищено мародерами. Позднее, удалось вернуть только картину, автором которой был Джордж Вашингтон, и некоторые драгоценности. Джеймсу Хобану пришлось восстанавливать сооружение, следуя оригиналу. Правда, в этот раз стены вместо песочного цвета были выкрашены белым. Тогда дом стали называть «Белым». В ходе следующей реконструкции под руководством Т. Джефферсона были добавлены восточная и западная колоннады. В 1824 и 1829 г. к дому были пристроены две галереи. В 1835 г. в Белом доме были проведены водопровод и центральное отопление. Накануне Гражданской войны, стало очевидным, что дом просто переполнен народом и необходимо новое расширение. Так было достроено Западное крыло. В 1901 г. была произведена электрификация.
При У. Тафте был сконструирован первый Овальный кабинет.Следующее несчастье настигло Белый дом в 1929 г., когда произошел пожар в Западном крыле. Все комнаты первого и второго этажей этого крыла пришлось восстанавливать с нуля. Когда президентом стал Ф. Рузвельт, дом были вынуждены переделывать заново – он был не приспособлен для передвижений человека в инвалидном кресле. Кроме того, был создан закрытый бассейн с подогревом, чтобы президентом мог проходить лечебные процедуры. В 1948 г. при Г. Трумэне в здании появился двухэтажный подвал, который служил штабом оперативного руководства военными акциями. Он же спас дом от полного разрушения, когда выяснилось, что существовавшие деревянные опоры совсем сгнили. После этого они были заменены стальными. Поистине грандиозным преобразованиям Белый дом подвергся во времена жены Дж. Кеннеди, Жаклин. Для каждой отдельной комнаты она продумала свой интерьер в лучших традициях Французской империи или Викторианской эпохи, наводнила дом старинной мебелью 18-19 вв. и музейными экспонатами. Дом постоянно пополнялся новыми реликвиями и антиквариатом. Только при супруге Р. Никсона, Пэт, появилось 600 новых. Здесь можно увидеть и сахарницу Марты Вашингтон, и серебряный кофейник Абигейл Адамс, и туалетный столик Элеоноры Рузвельт. Несмотря на неоднократные реконструкции, первоначальный замысел Джеймса Хобана сохранился.