Het zogenaamde "Huis Voortman" was de luxueuze woning van de familie Voortman van het aanpalende textielbedrijf. Abraham Voortman, oprichter van het bedrijf, gaf in 1810 opdracht aan de gerenommeerde Gentse architect J. B. Pisson een buitenhuis te ontwerpen, gelegen naast zijn katoendrukkerij op de Vogelenzang. De Vogelenzang was toen nog een kaai aan de Lieve, gedempt in 1972, en aan de versterkte 16de-eeuwse stadsomwalling. In het zelfde jaar nog overleed de opdrachtgever en zijn weduwe en zonen zetten het bedrijf verder en lieten zes jaar na zijn overlijden de bouw van het zogenaamde "maison de campagne" optrekken. Een uitgestrekte landschapstuin met vijver vormde een groene oase tussen de fabrieksgebouwen.

De geschiedenis van het bedrijf Voortman begint in 1790, wanneer Abraham Voortman en Frans De Vos, een zwager van Lieven Bauwens, een katoendrukkerij oprichtten. Vanaf 1805 was Voortman de enige vennoot. Hij bouwde de katoendrukkerij uit tot de grootste in Gent. Na zijn overlijden in 1810, breidden zijn erfgenamen de drukkerij uit met een mechanische spinnerij en weverij. In 1876 werd de firma A. Voortman omgevormd tot de N.V. Texas. Op 13 maart 1880 werd de spinnerij getroffen door een brand; weverij, drukkerij en machinekamer bleven gespaard. In 1887 werd de nieuwe spinnerij gebouwd. De katoendrukkerij bleef in werking tot 1890. In de 20ste eeuw fusioneerde het bedrijf met de Louisiana tot de N.V. Loutex om in 1967 op te gaan in de N.V. UCO . De diensten van de N.V. UCO-Texas werden na de stopzetting van het bedrijf in 1988 verkocht aan de Zusters van Liefde.

Het herenhuis werd gebouwd in 1816 naar het ontwerp van bouwmeester J.B. Pisson van 1810. Jean Baptiste Pisson (1763 - 1818), stadsarchitect van 1802 tot 1809, was de leidende figuur voor de Frans geïnspireerde empire-architectuur in Gent. Het door Pisson ontworpen zomerverblijf van de familie Voortman is een zeldzaam en gaaf bewaard voorbeeld van een buitenhuis in empirestijl. De woning telt drie bouwlagen afgedekt met een schilddak en is voorzien van bepleisterde gevels op een arduinen plint. Het nogal revolutionaire bouwplan laat een rechthoek zien met aan de tuinzijde afgekante hoektraveeën. Het huis was oorspronkelijk toegankelijk via de verhoogde begane grond in de rechter afgekante hoektravee van de tuingevel. Later, nog in het tweede kwart van de 19de eeuw, werd het buitenhuis aan weerszijden vergroot.

De fraaie tuingevel in empirestijl contrasteert sterk met de uiterst sobere straatgevel. De tuingevel is een strak symmetrisch opgebouwde lijstgevel met een geaccentueerde middenpartij. Met deze stijlelementen beantwoordt de gevel volledig aan de hoofdkenmerken van de lokale empirebouwkunst. Het centrale deel van de gevel telt drie traveeën met op de bel-etage een serliana en rondboogvormige zijtraveeën en op de verdieping erboven een rondboogvormig drielicht met zwartgeverfde sfinxen als deelzuiltjes en rechthoekige zijtraveeën. De afgekante zijtraveeën worden bekroond met een van een oculus voorzien driehoekig fronton. Drielichten met blinde zijlichten en hermen als deelzuilen verlichten de zijtraveeën . De borstweringen tussen de bovenverdiepingen zijn versierd door decoratieve panelen met typische empiremotieven: een gestileerde palmetfries met putto.

Het huis bewaart een verzorgd interieur in empirestijl. In de rechter, afgekante hoektravee van de tuingevel bevindt zich op de eerste bovenverdieping de vestibule met halfcirkelvormige binnenwanden ingeschreven in een driehoek en voorzien van houten zuilen en wanden met imitatiemarmerschildering en een prachtige vloer met marmeren incrustratie. De beeldnis in de vestibule was destijds verfraaid met een Hermesbeeld. De wenteltrap met mahoniehouten leuningen in het aansluitende trappenhuis is overwelfd door een koepel met een sierlijke gewelfschildering. Ook de ontvangkamer, centraal gelegen naast het trappenhuis, bezit een plafondbeschildering in empirestijl en drie deuren met grisailles met mythologische voorstellingen.