Хорошо, когда деньги и власть сосредоточены в одних руках, и совсем не важно, что будут думать о вас потомки. Примерно подобные мысли были в головах представителей рода Боргезе, которые и стали основателями прекраснейшей коллекции скульптуры и живописи. Маркантонио Боргезе в 1550 году перебрался из Сиены в столицу и сразу же купил большой земельный участок, где и построил свою виллу. Его старший сын получил должность римского папы Павла V. Сам же он сначала усыновил Кафарелли, своего племянника, а затем сделал его кардиналом. Так что именно кардинала Боргезе нужно благодарить за прекрасную коллекцию сокровищ искусства Италии. Шипионе Боргезе, обладая деньгами, властью и имея «священную» любовь к искусству, принялся удовлетворять свои пристрастия, порой не очень здоровые. Чтобы пополнить свою коллекцию, великий кардинал был способен и на насилие, и на угрозы. Однажды под давлением шантажа и угроз кардинал Сфондрато можно сказать отдал даром свою коллекцию работ Тициана. Туда входило 70 работ, и за них Боргезе заплатил всего 4 000 скуди. Более того, шедевр Рафаэля «Снятие с креста» просто выкрали монахи прямо из церкви Сан-Франческо. Даже возмущенные протесты местных жителей не принесли никаких результатов. Шипионе Боргезе был полностью уверен, что для церкви будет достаточно обычной копии полотна.

Как только кардинал Боргезе начал собирать коллекцию, он придумал построить для своих картин отдельный дворец, куда он бы мог приезжать развлекаться и отдыхать вместе с друзьями. В 1633 году Шипионе Боргезе написал завещание, в котором говорилось, что после смерти кардинала вся коллекция перейдет к его брату Боргезе II. В завещании было указано главное условие, согласно которому коллекцию нельзя делить, а передавать в первоначальном виде от одного наследника к другому. Для выполнения данного пункта завещания была назначена особая комиссия.

В начале XVIII столетия у семьи Боргезе появилось еще одно увлечение – разведение лошадей, поэтому коллекционирование предметов искусства встало на второй план, а коллекция в этот период совсем не пополнялась. Некоторые произведения искусства исчезали при разделе наследства и переездах с места на место. Например, Рафаэль был отнюдь непостоянным гостем в этой коллекции: его работы то исчезали, то снова украшали стены дворца. При Наполеоне коллекция пострадала больше всего.