Основой здания дворца стал особняк герцога Букингемского, построенный в 1703 году под руководством архитектора Вильяма Винде. На тот момент он являлся одним из крупнейших и красивейших зданий Лондона, а мы имеем возможность в этом убедиться благодаря гравюре 1710 года с его изображением.
Дворец был официально объявлен главной резиденцией британских монархов при вступлении на престол королевы Виктории в 1837 году. В её правление были сделаны последние большие дополнения, постройка ещё одного флигеля и перенесение бывшего парадного входа, Мраморной арки, на нынешнее место возле Ораторского уголка в Гайд-парке. Перед дворцовыми воротами стоит памятник в честь королевы Виктории.