В 1368 году герцог Галеаццо Висконти 2-ой решил строить оборонительные сооружения за пределами миланских стен. В то время был возведен первый замок, но который был намного меньше по размеру, чем современный. Следующий Висконти уже превратил его в свою резиденцию, соответствующую могуществу династии, а последний Висконти в итоге нанял знаменитого архитектора тех времен Брунеллески, который и построил необычайно роскошный замок Сфорцеско.


Однако во время последующих беспорядков он был частично разрушен.  Но уже в 1450 году Франческо 2 Сфорца, несмотря на требования народа вообще снести замок, начал проводить восстановительные работы.Тогда же и появилась башня высотой 70 м., известная как Филаретова или Умберто 2, построенная возле главных ворот.

К 1466 году строительство замка уже было почти завершено - появились две угловые башни, ров с деревянным мостом. К сожалению, до наших дней сохранились только следы устройства, благодаря которому мост можно было поднимать и опускать.

В 1469 году следующий Сфорца уже въехал в свою новую резиденцию, но к тому времени были расписаны не все залы, а поэтому некоторые помещения только задрапировали бархатом, а еще один зал просто покрыли сусальным золотом.