Lillo-fort ligt te midden van de haveninstallaties op de rechter Scheldeoever ten noordwesten van Antwerpen. Het polderdorp Lillo met de gehuchten Oud-Lillo, Kruisweg en Lillo-Fort werd door de wet van 22 maart 1958, samen met Berendrecht en Zandvliet bij de stad gevoegd; door de expansie van de Antwerpse haven in de jaren 1960 verdwenen de polderdorpen Oud-Lillo en Lillo-Kruisweg evenals Oorderen, Oosterweel en Wilmarsdonk.

De militaire oorsprong van Lillo gaat terug tot de Tachtigjarige Oorlog toen, ter verdediging van Antwerpen, in 1578-1580 onder meer de tweelingforten Lillo en Liefkenshoek (respectievelijk rechter- en linker-Scheldeoever) werden gebouwd in opdracht van Willem van Oranje. Door de strategische ligging aan de Schelde en de tactiek van kunstmatige overstromingen was Lillo-Fort tijdens het Ancien Régime een belangrijke, vaak belegerde, vesting met militaire controle over de scheepvaart. Na de val van Antwerpen (1585) bleven Lillo en Liefkenshoek (laatsgenoemde van 1584 tot 1664 bezet door de Spanjaarden) protestantse enclaves in handen van de Noordelijke Nederlanden. Tijdens de achttiende eeuw kwam Lillo, naargelang van de krijgskansen, afwisselend in handen van de Fransen (1747-1748, 1792, 1795-1814) en de Oostenrijkers (1785, 1793). Vanaf 1814 en tijdens de Belgische onafhankelijkheidsstrijd bleven Lillo en Liefkenshoek tot in 1839 in Nederlands bezit.

Het fort werd in de loop der tijden dikwijls gewijzigd en aangepast aan de evoluerende krijgskunde. Vanaf midden negentiende eeuw waardeloos geworden voor de verdediging van Antwerpen, werden de forten Lillo en Liefkenshoek in 1894 buiten militair gebruik gesteld en afgetakeld.

De plattegrond is nagenoeg dezelfde als in de zestiende-zeventiende eeuw : omwalde vesting met oorspronkelijk vijf, thans vier bastions zogenaamd "Vuurbaken-, Magazijn-, Engels en Antwerps bolwerk", binnen de vesten woonhuizen en militaire bouwwerken.

Tussen 1896 en 1898 werd de westgracht tussen Vuurbaken- en Hoofdbolwerk gedempt, de ophaalbrug verwijderd en enkele kazernes en magazijnen gesloopt (zie huidig parkeerterrein). In 1903-1906 werd het haventje gegraven waardoor het Hoofdbolwerk verdween en het Antwerps bolwerk herleid werd tot rompbastion. Aan de oostzijde werd een doorsteek gemaakt in de wal en een dam aangelegd in de gracht. In 1975 werden de wallen opnieuw in profiel gebracht en beplant.

Als voormalige militaire vesting heeft Lillo-Fort door de beperkte ruimte slechts enkele kleine en smalle straatjes met hoofdzakelijk bebouwing uit de negentiende en twintigste eeuw, sommige woningen met oudere kern (ankers, volume, nokrichting, dakhelling). De militaire resten gaan, behalve de grondvesten van de wallen, terug tot de Napoleontische (ca. 1810) en Hollandse tijd (1815-1830: verzwaring van de wallen).

Het thans toeristisch aantrekkelijke Lillo-Fort vormt, samen met het beschermde schorregebied "Galgeschoor" ten noorden, een polderenclave tussen de opgespoten gronden met industrievestigingen, het dorp zelf wordt omringd door de gebastioneerde wallen (opnieuw onder profiel gebracht en beplant in 1975) met ten noorden de zogenaamde "Franse wapenplaats" van 1811: een halfcirkelvormig terrein waarvan het tracé van de droge gracht en de wal nog te zien zijn in het landschap; aan de overzijde van de toegangsweg, die half rond het fort gaat, staat het "Blokhuis", een rechthoekige bakstenen sterkte met getoogde deur, gedateerd 1810. Ten zuidwesten getijdehaventje van 1903-1906 verbonden met het eigenlijke fort via een dijkpoort; op een hoogte aan de Scheldeoever: tolhuisje uit het eerste kwart van de twintigste eeuw (zie Tolhuisstraat). In de noord- en westwal poternes van 1810.