Территория между Садовой улицей и Фонтанкой по Невскому проспекту в начале XVIII века принадлежала А.М. Девиеру — первому генерал-полицмейстеру Санкт-Петербурга. В 1727 году он был отправлен в ссылку, землю отдали под Преображенский полковой двор и владение лесоторговца Д.Л. Лукьянова. В 1741 году сразу после вступления на трон Елизавета Петровна приказала построить здесь дворец.
Проект дворца принадлежит М.Г. Земцову, он же и начал строительство. С 1743 года после его смерти строительство вёл Г.Д. Дмитриев, завершил Ф.Б. Растрелли к 1754 году. Это первый дворец на Невском проспекте. Название он получил от Аничкова моста, находящегося рядом. В отличие от других зданий на проспекте, фасад обращён не в его сторону. Главная сторона здания обращена на Фонтанку, ко времени постройки дворца — границе города. Многие гости прибывали сюда именно водным путём. От Невского проспекта усадьба была отделена глухой каменной оградой. Изначально боковые трёхэтажные корпуса соединялись двухэтажным переходом с центральным трёхэтажным корпусом. До Садовой улицы устроили сад с павильонами и скульптурами.
Дворец был построен к 1756 году. К этому времени у императрицы Елизаветы Петровны появился молодой фаворит Иван Шувалов, своему прежнему фавориту Алексею Григорьевичу Разумовскому в утешение она и подарила новый особняк. После смерти Алексея Григорьевича дворец перешёл во владение его брата — К.Г. Разумовского.
В 1776 году Екатерина II выкупила его у Разумовского и подарила усадьбу графу Г.А. Потёмкину. Для него дворец был перестроен в 1776–1778 годах по проекту И.Е. Старова. При перестройке высоту здания выровняли, засыпали гавань, перепланировали сад. У князя Потёмкина к тому времени уже был Таврический дворец. Он решил не тратить попусту деньги, и продал императорский подарок купцу Шемякину. Решив что от царских подарков отказываться не подобает, Екатерина II снова выкупила дворец и отдала его Потёмкину. Однако в 1785 году усадьба оказывается проданной вновь, на этот раз в казну.
С 1794 года в здании разместили Кабинет Его Императорского Величества. Дворец стал использоваться как личная канцелярия царя.
В 1803–1805 годах Д. Кваренги на территории парадного двора построил торговые ряды. По первому их ярусу проходила открытая аркада. Ряды расширили в 1809–1811 годах по проекту Л. Руска, сюда из здания дворца переместили Кабинет Его Императорского Величества. Территория усадьбы со стороны Садовой улицы также была «урезана». Здесь построили здание Публичной библиотеки, один из садовых павильонов был переоборудован для выступлений итальянского театра.
В 1809 году Александр I подарил дворец своей сестре великой княгине Екатерине Павловне. Дворец ей был подарен по случаю замужества с принцем Георгом Ольденбургским. Для их семьи здание перестраивал Л. Руска. Георг Ольденбургский умер в 1812 году, а в 1816-м Екатерина Павловна вышла замуж за наследного принца Вильгельма Вюртенбургского и уехала на родину нового мужа. Перед отъездом дворец был ей продан в казну за 2 000 000 рублей.
В 1817 году Александр I отдал Аничков дворец во владение своему брату великому князю Николаю Павловичу, будущему императору Николаю I. Для нового владельца в 1817–1820 годах К.И. Росси перестраивал усадьбу: построил Сервизный корпус, два садовых павильона, перепланировал сад. Усадьба вошла в единый ансамбль площади Островского. Именно при Николае в Аничковом дворце проходили балы которые так не любил А.С. Пушкин, и которые так любила его жена Наталья Николаевна. Николай Павлович, даже уже будучи императором, продолжал месяцами жить здесь. Дворец называли «собственным Его Императорского Величества».
После смерти Николая I в 1855—1860-х годах усадьбу делили вдовствующая императрица Александра Фёдоровна и великий князь Николай Николаевич, которому строили собственный дворец.
В 1865 году над Аничковым дворцом работал архитектор Жибер для наследника престола, сына Александра II, великого князя Николая Александровича. Однако Николай Александрович внезапно умирает, его младший брат великий князь Александр Александрович женится на датской принцессе Дагмаре. В 1866 году дворец стал резиденцией великого князя Александра Александровича, будущего Александра III. Здесь ж