Malheureusement, l'argent de Hu Xueyan partit plus vite qu'il était venu à flots. Une dizaine d'années après son installation dans sa somptueuse résidence, il se déclara en faillite. Le bruit courait que la disposition de sa maison à l'encontre du principe de Fengshui lui avait coûté des sommes astronomiques.

Au cours des travaux, le commerçant eut envie d'acheter à tout prix le terrain d'un salon de coiffure situé dans nord-ouest de sa résidence, mais le propriétaire ne voulait pas lâcher prise. Pour lui, la coiffure n'était pas seulement un métier, mais plus encore un héritage familial. Indulgent, Hu accepta finalement de devenir son voisin, au lieu de forcer le coiffeur à déménager. Selon des diseurs de sort locaux, le salon de coiffure était en réalité un gouffre financier qui dévorait la richesse du négociant bienveillant.

Mais cette version de l'histoire n'a jamais été vérifiée. L'échec total de Hu Xueyan était plutôt imputable à des investissements non performants et à la perte du soutien de l'autorité centrale quand il faisait tout seul une guerre commerciale avec des concurrents occidentaux.

En 1882, pour briser le contrôle du commerce de soie et du thé en Chine par les hommes d'affaires étrangers, Hu Xueyan acheta des soies crues et des millions de kilos de soies nouvelles à un prix très élevé, en dépensant au total 20 millions de tael. Furieux, les magnats occidentaux refusèrent d'acheter des soies chinoises. En été de l'année suivante, le négociant fut obligé de les revendre à bas prix, accusant une perte de 10 millions de taels. A cette nouvelle, les déposants se ruèrent sur ses banques privées pour retirer leurs avoirs. Ensuite, la cour impériale ingrate précipita la chute de Hu, en ordonnant à relever ses fonctions, à confisquer ses biens et à le traduire en justice.

Avant la confiscation, certains membres de la famille Hu suggèrent de transférer les avoirs mobiles vers l'extérieur sous le couvert de la nuit. Mais le milliardaire refusa catégoriquement cette proposition. Ainsi, tous ses biens privés furent réduits à néant d'un seul coup. Plus tard, il mourut dans la mélancolie. Cette fin tragique tombait juste au dixième anniversaire de son entrée dans la résidence luxueuse.

Après le décès de son propriétaire, la résidence changea à maintes fois de mains et vécut bien des histoires. À partir des années 1950, ce bâtiment devint une école, une usine et bien d'autres choses, jusqu'à servir de résidence pour 135 familles. Faute d'entretien, le vestige fut dégradé.

En 1999, la municipalité de Hangzhou décida de restaurer l'ancienne résidence du représentant d'élite de la première bourgeoisie nationale. En janvier 2001, ce bâtiment fut officiellement ouvert au public. Plus de 190 000 personnes y viennent chaque année. Lors des périodes de pointes, on compte quelque 1200 touristes par jour. Beaucoup d'entre eux sont des hommes d'affaires. On y remarque également des dirigeants du Parti et de l'Etat.

Beijing Information