Строительство дворца было начато при Козимо Первом Медичи под руководством Джорджио Вазари в 1560 году, как место для офисов флорентийских судей, о чем до сих пор свидетельствует название галереи. Уффици с итальянского переводится как офисы. Строительство было закончено в 1581 году. Внутренний двор дворца является длинным и узким, напоминает галерею. Он открыт со стороны реки Арно, а на другом конце украшен дорическим ордером, который формирует пространство.

Вазари был в первую очередь живописцем, а потом архитектором, что отразилось на проекте дворца Уффици. Так Вазари подчеркнул перспективную длину непрерывных карнизов крыши фасадом, дополняя их карнизами между этажами и тремя непрерывными ступенями перед главным фасадом дворца. Ниши чередуются с колонами, и были заполнены скульптурами известных мастеров в 19-ом столетии.

Палоццо дельи Уффици объединял под одной крышей Государственный Архив, Административные офисы и Трибунал. Проект был также запланирован Великим Герцогом Тосканы Козимо Первым и для того, чтобы разместить в нем основные произведения искусства из коллекций Медичи. После своего возведения дворец еще несколько раз перестраивался и дополнялся, став постепенно одним из самых крупных хранилищ и выставочным залом для картин и скульптур из коллекции, собранной семьей Медичи.

После того, как дом Медичи прекратил свое существование, шедевры из коллекции Медичи остались во Флореции по условиям договора с Анной Марией Луизой, последней наследницей Медичи, таким образом, сформировав один из первых современных музеев изобразительного искусства в мире. Галерея была открыта для посетителей при предварительной договоренности с 16-ого столетия, а с 17-ого столетия галерея стала музеем с открытым доступом для общественности.

Из-за огромной коллекции некоторые из работ, хранившихся в этой коллекции, были направлены в другие музеи и галереи Флоренции. В частности, некоторые статуи были отданы в Баргелло.