Le Mémorial se compose d’un bâtiment moderne, créé par Rudy Ricciotti et Passelac & Roques, et des vestiges du Camp Joffre laissés en l’état.
Les vestiges du camp ont été confortés, de façon à limiter leur dégradation (interventions de maintien structurel, consolidation des murs, installation d’étais) sans procéder à leur restauration. Pendant les décennies de fonctionnement du camp, les baraques ont été plusieurs fois reconstruites et ont souvent été en très mauvais état. Certaines périodes ont même été marquées par l’hébergement sous tentes, notamment en 1962 à l’arrivée des harkis et de leurs familles.
Depuis 2000, les baraques de l’îlot F sont protégées suite à leur inscription à l’inventaire supplémentaire des Monuments historiques.
Aujourd'hui, ces vestiges, chargés d'une valeur de témoignage indiscutable, sont un espace d'évocation et de référence du drame humain de l'internement et de l'histoire du camp de Rivesaltes. Pour Rudy Ricciotti : « L'érosion, parfois la destruction de certains bâtiments provoquées par la force du temps, sont perceptibles, marquant ainsi l'effacement et l'absence, questionnant le visiteur sur le souvenir ou l'oubli. La reconquête acharnée du site par une végétation spontanée et vivace n'est pas altérée, mais mise en valeur pour constituer un espace de déambulation libre, propice au recueillement et à la sérénité. »