Les personnages historiques les plus mémorables semblent mêler plusieurs destins. Négociant, soutien de chefs de guerre, époux volages, toutes facettes se réunissent en la personne de Hu Xuyuan, premier millardiaire de Chine, dont l'ascension fut aussi rapide que sa chute.

Hu Xueyan (1823~1885) fut un grand négociant sous la dynastie des Qing (1644-1911). Né à Hangzhou, chef-lieu de la province du Zhejiang, il travailla comme guichetier pendant son adolescence, avant de devenir responsable d'une banque privée quelques années plus tard. Pendant cette période où la Chine était perturbée par des troubles intérieurs et des menaces d'invasion, Hu apporta son soutien financier à l'armée de l'Etat qui fut en guerre avec les soldats de Taiping, mouvement politique et religieux qui agita l'Empire du Milieu de 1851 à 1864.

En raison de son aide au général Zuo Zongtang dans la répression des soulèvements du Nord-Ouest de la Chine en lui fournissant des céréales, vêtements, armes et munitions, celui-ci sollicita la cour impériale de lui attribuer un titre officiel de deuxième rang en guise de récompense, avec le privilège de se déplacer à cheval dans l'enceinte de la Cité Interdite. C'était un cas unique dans l'histoire de la dynastie des Qing. A l'apogée de la gloire du milliardaire-mandarin, tout le monde éprouva une vénération envers sa famille. En passant par la porte de sa résidence, le fonctionnaire dut sortir de son palanquin et l'officier, descendre de son cheval en signe de respect, sans exception pour le gouverneur de la province du Zhejiang de l'époque.

En 1872, le capitaliste chinois déboursa des sommes considérables pour construire une résidence gigantesque dans la ville de Hangzhou. Avec des matériaux très recherchés et un travail d'une grande finesse, ce bâtiment représente le plus haut niveau architectural de la résidence de cette région. Cette maison en forme rectangulaire est composée de quatre parties. On y trouve des rochers, des étangs, des ponts de diverses formes, des kiosques, des pavillons. En bref, toutes les sortes d'architectures chinoises s'assemblent autour de ce bâtiment.

Lorsque Hu Xueyan lança les travaux de sa nouvelle maison, son entreprise était en pleine prospérité avec une fortune familiale de 40 millions de taels d'argent, l'équivalent de la moitié de recettes fiscales de la cour impériale. On dit que les matières premières utilisées étaient identiques à celles du Palais d'été de Beijing.

Insatisfait d'une colline artificielle qui lui coûtait 100 000 taels d'argent, le premier capitaliste national ordonna de la détruire et invita les artisans chevronnés de Beijing à la refaire en se référant à la colline de Feilai du Temple Lingyin. Ces derniers réussirent à miniaturiser le paysage du Lac de l'Ouest dans le jardin familial. De nos jours, ce site devient la plus grande grotte karstique artificielle existant à l'intérieur du pays.

Pour bien s'adonner aux plaisirs de la vie, Hu Xueyan épousa 12 femmes et les installa dans les chambres séparées de manière à éviter les querelles éventuelles. De plus, il fit installer un « système téléphonique » reliant sa chambre avec les harems de ses concubines. En effet, ce dispositif ressemble beaucoup au mécanisme de communication par tuyau en cuivre largement utilisé dans les paquebots de l'époque. La nuit tombée, toutes les portes des chambres de ces femmes furent verrouillées et ces dernières se contentèrent d'utiliser le « téléphone » pour appeler leurs servantes.