Prima rezidenţă cunoscută a familiei Károlyi la Carei datează de la sfârşitul secolului al XV-lea. Trebuie să fi fost o clădire solidă, dotată cu elemente de fortificaţie, dacă nobilii comitatului au considerat-o o ameninţare şi au cerut regelui demolarea ei. La sfârşitul veacului următor, din pricina accentuării pericolului turcesc, rezidenţa din piatră a fost transformată într-o cetate dotată cu şant şi zid de fortificare patrulater şi patru bastioane de colţ, prevăzute cu nişe de tragere pentru tunuri. Datorită poziţiei sale strategice şi a formei solide, în secolul al XVII-lea cetatea din Carei face parte din sistemul de fortificaţii împotriva turcilor. Pentru a face faţă cu succes unui eventual atac, fortificaţiile cetăţii sunt lărgite între 1661 și 1666, iar după refacere aici este repartizată o garnizoană germană, beneficiind de artilerie proprie. Ulterioarele atacuri turceşti nu au reuşit să distrugă cetatea, dar i-au provocat avarii grave, reparate prin lucrările din anul 1678.