Die Kasbah von Agadir wird auch Agadir Oufella genannt, was "die Zitadelle von oben" bedeutet. Sie wurde 1540 von Sultan Mohammed ech-Cheikh, der der Dynastie der Sâadienne angehörte, erbaut, um sich vor möglichen Invasionen, insbesondere der Portugiesen, zu schützen.
Vor ihrer Zerstörung durch das Erdbeben von 1960 beherbergte die Kasbah ein Krankenhaus, eine von Türmen gestützte Außenmauer zu Verteidigungszwecken, eine große Moschee, Häuser, Gassen, die Schatzkammer und das Postgebäude, einen jüdischen Tempel und ein Heiligtum.