Visingsborg, Per Brahe den äldre (f 1520, d 1590) var greve, riksdrots och hade en morbror som hette Gustav Vasa. Per Brahe d ä uppförde den västra längan under 1560-talet, då hade Näs borg på sydspetsen varit ruin sedan länge. Tegel togs från bl a klostret i Alvastra och säkerligen borgen i Näs. Slottet blev centrum i ätten Brahes grevskap, än så länge bestod den mest av Visingsö.
Sonen Magnus Brahe (f 1564, d 1633) uppförde den ståtligaste södra längan samt en östra länga som innehöll kök och ekonomiutrymmen.
Per Brahe den yngre (f 1602, d 1680) avslutade med en nordlig länga för betjäningen och förgyllde allt med sex torn och omgivningarna med ett antal karpdammar samt fem trädgårdar. Vallar och bastioner bestyckades med kanoner, en rustkammare med vapen för 800 män och en egen liten armé på 200 man inrättades på ön. Snart omfattade grevskapet nära 850 mantal fördelade över 20 socknar i Småland och Västergötland och var därmed rikets största grevskap. Brahe uppförde även Brahehus uppe på klippkanten, byggde om Västanå slott och grundade Gränna 1652.
Per Brahe d y som i sin tjänst anlade många städer i Finland och Åbo universitet byggde sig ett imponerande bibliotek på Visingsborg och ett tryckeri och ett eget pappersbruk, samt trots motstånd från kyrkan en skola år 1636 och senare ett gymnasium för traktens invånare.
Per Brahe d y var riksråd och generalguvernör och riksdrots över Finland där han bl a grundade städer som Brahestad, Kristinestad, Tavastehus och Kajana samt Åbo universitet. Åbo akademi är världens enda svenskspråkiga universitet utanför Sverige. Han flyttade även Helsingfors till sitt nya läge närmare havet. Faktum är att Per Brahe är grunden till uttrycket "i grevens tid", han var en populär generalguvernör i Finland och ursprungligen menade finnarna med uttrycket att det var en lyckosam tid som flytt då Per Brahe styrde, det var bättre förr, men med tiden har uttrycket fått betydelsen "i sista stund".

Visingsborg, Per Brahe the older built the row towards west during 1560, at this time the castle of Näs had been a ruin for a while. Bricks was taken from the Alvastra monastery and from the ruin of Näs castle. The Visingsborg Castle became the centre in the family Brahe's county.
His son Magnus Brahe built the most impressive row to south and the east row that contained the kitchen amongst other things.
Per Brahe the younger finished the castle with a row to north that was for the servants. He added several ponds for carps and five gardens. Ramparts and bastions was armed with cannons, weapons for 800 soldiers was manufacturered to the 200 soldiers. Brahe's county comprised nearly 850 farms in Småland and Västergötland and was the biggest county in the kingdom. Per Brahe built an impressive library at Visingsborg and even a printing works and a own papermill, and though resistance of the Church he founded a school for the locals.
He also built the Brahehus on top of the cliff and founded the small city of Gränna. For the King he also had the commission to be guvernor of Finland where he founded several cities: Brahestad, Kristinestad, Tavastehus and Kajana and he also established the Academy of Åbo. Actually the Finns were very pleased with Brahe and grateful for his work, they even had an expression that said “in the old lucky time of the count”…