Suite au démantèlement du Château de L'Hermine, le terrain sur lequel était élevé le Château fut cédé, en 1784 à Julien Lagorce de son état, traiteur pâtissier. Ce dernier s'employa à effacer les derniers restes du Château de L'Hermine qui étaient, essentiellement, deux tours déjà bien arasées. A la place du Château de l'Hermine, Julien Lagorce éleva, en 1785, un hôtel particulier qui prit le nom de son propriétaire. Toutefois, en souvenir de l'ancienne résidence des Ducs de Bretagne, les Vannetais substituèrent, communément, à l'appellation Hôtel Lagorce, l'appellation de Château de l'Hermine. L'Hôtel Lagorce était un restaurant réputé sous le Consulat. Ce restaurant péréclita et l'Hôtel Lagorce fut acquis en 1876 par l'Etat pour y installer l'Ecole d'Artillerie du XI ième corps d'armée. De 1960 à 1974, l'Hôtel Lagorce hébergea la Trésorerie Générale du Département du Morbihan. En 1976, l'Hôtel Lagorce fut cédé à la ville de Vannes qui l'affecta à l'Ecole de Droit du Morbihan et aux différentes associations culturelles dont l'Institut Culturel de Bretagne. Suite au départ de l'Ecole de Droit du Morbihan pour le campus universitaire de Vannes, deux grandes salles du rez-de-chaussée servent de salles d'exposition.