Medeltiden betraktas ju som en expansiv period för Visby och Gotland i stort, även om det var skilda världar i och med att Hansan hade grepp om Visbys ekonomiska och sociala utveckling, medan Gotländska landsbygden levde och verkade efter egna traditioner och förutsättningar. Men – 1350 kom digerdöden eller svarta pesten till ön och reducerade öns befolkning från troligtvis ca 40 000 till omkring 10 000. Bara det måste ha inneburit att t ex gårdar övergavs skördar ruttnade bort för att för få kunde hantera dem, husdjur övergavs och förvildades osv. Lagom den kvarvarande befolkningen börjar komma igång med livet-går-vidare-köret kommer så Valdemar Atterdag, mest för att ge Hanseaterna en näsbränna genom att hota Visbyborgarna med invasion om inte borgarna går med på hans villkor. Förmodligen hade han inte räknat med att den efter digerdöden kvarvarande befolkningen skulle möta honom med vapen i hand, han visste säkert att ön var kraftigt åderlåten på öbor, och de som var kvar skulle nog inte bli nåt problem. Han hade väl sina spioner han med..
Samtidigt pågår en maktkamp mellan unionsdrottningen Margareta och Albrecht av Mecklenburg, där den senare blir belägrad i Stockholm. Men han har vänner i Tyskland som gärna hjälper honom med allehanda förnödenheter, en försörjning som snart övergår i sjöröveri på Östersjön. Så växer Vitaliebröderna fram som en terroristfaktor. De blir med tiden så självgående att de anlägger Visborgs Slott, Vivesholm i Sanda, Slite slott och förmodligen några till. De kan härja tämligen fritt på både landsbygden och till sjöss eftersom ön ännu är tämligen glesbefolkad efter alla olyckor. Men – Makthavarna runt Östersjön ser med oblida ögon på hur sjöröveriet utvecklas och att spridda försök att stävja det misslyckas, och till slut griper Tyska Orden in och fördriver Vitaliebröderna. Man lär ha stationerat 15000 man på ön för detta ändamål och inte förrän i början på 1400-talet kunde man lämna ön med en öbunden förvaltning. Men då var Gotland under danskt fogdevälde.