Le premier collège de Perpignan, créé en 1667 par les Jésuites, place de la République, est détruit par un incendie en 1789. L'abbé Jaubert, ecclésiastique éminent, réussit à convaincre la municipalité de fonder un collège communal et d'en prendre la direction. Ainsi, l'ancêtre du collège puis du lycée Arago, le Collège Py, voit-il le jour en 1807 à la limite de l'enceinte de la ville, non loin de la porte d'Assaut.
Avec le développement de Perpignan au 19e siècle, l'établissement, qui est le seul de la ville et du département, doit s'agrandir. La municipalité, après avoir racheté un îlot de maisons dans la rue contiguë et les avoir démolies, édifie un grand bâtiment pour y installer le réfectoire et les dortoirs. Léon Baille, architecte de la Ville, en établit les plans en 1898. Resté célèbre dans le département, notamment pour avoir dessiné l'hôtel du Belvédère à Cerbère, il exprime dans ce beau bâtiment scolaire à la fois beaucoup de rigueur, de pureté, de sobriété et d'élégance dans les lignes.
La construction du lycée Arago, au milieu des années 1950, désaffecte cette annexe, qui devient, plus tard, celle de l'école des Beaux-Arts, installée rue Foch.
Après une restructuration des espaces accompagnée d’une rénovation de l’intérieur du bâtiment, le Centre d’art contemporain est inauguré le 13 octobre 2013, à l’occasion du vernissage de la première exposition Entropia 1 – Métamorphose(s).