Du 13 Juin 1803 (24 messidor An XI) au 12 Janvier 1814, date de leur départ pour Blois, de nombreux détenus (otages), des familles de ces hôtes forcés, des prisonniers de guerre « anglais » étaient présents à Verdun.

En effet, le 26 floréal An XI (16 mai 1803), faisant de la question de Malte un casus belli, le gouvernement britannique dirigé par Henry Addington décidait de rompre la paix d’Amiens signée le 6 germinal An XI (27 Mars 1802), saisissant 1200 bateaux français et hollandais au mouillage dans les ports britanniques et s’emparant de 200 millions de francs de marchandises. La Grande Bretagne déclara la guerre à la France le 30 floréal An XI (20 mai 1803).
Napoléon Bonaparte, Premier consul, se voyait contraint de prendre des mesures de rétorsion et fit arrêter tous les « Anglais » âgés de 18 ans et de moins de 60 ans se trouvant en France.
Ces détenus étaient des voyageurs, des commerçants, des marins arrêtés dans les ports français et même des galériens échappés du banc du roi. Ils furent rejoints au dépôt de Verdun par des prisonniers de guerre capturés sur les champs de bataille, expédition de Walcheren aux Pays-Bas en 1809, lors de la guerre d’Espagne par exemple ou par des marins capturés lors du combat, pris par des corsaires ou victimes de tempêtes.
Ils furent plus de 1000 à séjourner dans une petite ville qui ne comptait que 9200 habitants.
Prisonniers sur parole, ils étaient libres dans la place et purent rapidement circuler aux alentours, aller jusqu’à Paris pour certains, suite à l’assouplissement des appels. Les prisonniers sans ressources étaient hébergés à la caserne de cavalerie, et les autres logeaient en ville.