Intervention de Vincent Drezet

Avant d'aborder le débat sur d'éventuelles réformes, il faut évoquer la situation actuelle.

Certains éléments se retrouvent souvent dans le débat public passionnel que suscite la fiscalité du patrimoine. À lui seul, l'impôt de solidarité sur la fortune – ISF – symbolise les caractéristiques et les travers du système fiscal français. Par exemple, les niches fiscales de l'ISF se traduisent par un manque à gagner supérieur à 1,2 milliard d'euros, soit près du tiers du rendement de cet impôt. L'exonération liée aux pactes d'actionnaires engendre une économie d'impôt moyenne de 10 000 euros par ménage, celle qui porte sur les placements financiers des non-résidents représente 12 000 euros, l'exonération des titres détenus par les salariés mandataires sociaux 11 000 euros, la réduction d'impôt accordée par la loi TEPA pour les investissements dans les PME 11 000 euros également. La question de l'assiette de l'ISF est donc directement posée.

Quel est l'impact économique de ces niches ? L'a-t-on évalué ? L'administration fiscale a constaté, par exemple, que des fonds ouvrant droit à réduction d'impôt pour investissement dans les PME, quand ils étaient collectés par les holdings, n'étaient investis qu'après un certain délai. Plus généralement, on observe des dérives dans certains dispositifs comme les holdings familiales.

Au-delà se pose la question du cumul des niches fiscales applicables à la fois à l'impôt sur le revenu et à l'ISF. Comme votre commission l'avait démontré en 2008, des contribuables utilisent les niches pour réduire leur impôt sur le revenu – IR –, puis étendent leur stratégie de défiscalisation à l'ISF.

Concernant les donations et successions, l'évolution préoccupante des droits de mutation à titre gratuit – du fait de la loi TEPA notamment – provoque notamment une baisse du rendement et une réduction du nombre de successions imposables.

L'allégement de la fiscalité du patrimoine n'est pas sans effets économiques et sociaux, puisqu'il accroît les inégalités entre patrimoines.

En outre, on relie souvent la question de l'ISF à celle de l'expatriation fiscale. Une étude que nous avons rendue publique à l'automne dernier pointe le manque de données tant au sujet du volume des départs qu'en ce qui concerne le volume des retours ou le nombre, le profil et l'impact des arrivées d'étrangers en France. Les données disponibles en la matière – livrées notamment par les rapports du sénateur Philippe Marini et par le Conseil des prélèvements obligatoires – ne concernent que l'ISF. Elles montrent que les délocalisations sont marginales en volume : 0,15 % des redevables de l'ISF et de 0,5 à 0,6 % du produit et des bases de cet impôt. Mais on manque de données sur les retours, qui représenteraient entre 30 et 40 % des départs, et sur les raisons de l'expatriation. On sait, par exemple, que beaucoup de personnes s'expatrient en Belgique au moment où elles vendent leur entreprise afin d'échapper à l'impôt sur les plus-values et à l'ISF, mais il existe également des motifs personnels et professionnels, concernant, par exemple, les départs vers les pays anglo-saxons.

Bref, la question des expatriations n'a pas été traitée jusqu'au bout. Dans un contexte de libre circulation, les flux entrants et sortants sont permanents, mais nous les mesurons mal.

L'administration des impôts observe également que les non-résidents continuent à détenir dans notre pays des actifs non seulement immobiliers, mais aussi mobiliers. En matière d'ISF, la niche fiscale concernant leurs placements en France concerne 7 300 personnes. L'impact de l'expatriation sur la richesse doit donc être relativisé.

Notre première proposition serait que l'on consacre une étude exhaustive à ce sujet.

En matière de gestion et de contrôle par la direction générale des finances publiques, la DGFiP, les suppressions d'emplois qui touchent nos services rendent difficile la détection de la fraude. Faute de moyens, le contrôle de l'ISF et, plus largement, de la fiscalité du patrimoine se borne généralement à des relances. Le contrôle de la valeur de l'assiette déclarée existe, mais il n'est pas assez développé. De même, peu de personnes sont concernées par l'examen de la situation fiscale personnelle et des comptes bancaires. Certes, ces procédures sont lourdes, mais leur nombre a tendance à baisser en raison, une fois encore, de l'insuffisance des moyens.

Bien que, pour nous, l'ISF soit mal calibré, l'imposition du stock est nécessaire. En effet, notre système fiscal est assis sur les capacités contributives dans leur ensemble et le stock constitue bien une capacité contributive. Son imposition est complémentaire de celle des flux, qui doit elle-même être suffisamment rentable et redistributive. Si l'on n'impose que les flux, on favorise l'accumulation de l'argent qui dort et de la rente, ce qui n'est ni juste socialement, ni efficace économiquement.

Le stock de patrimoine constitue bien une source de richesse : à revenu égal, une personne disposant d'un patrimoine s'en sortira plus facilement et plus rapidement qu'une personne sans patrimoine.

Cela dit, l'imposition du patrimoine ne saurait être confiscatoire, ce qui plaide en faveur d'une assiette large – afin d'éviter la dérive des niches fiscales – et de taux peut-être moins élevés que ceux de l'actuel ISF mais assurant un rendement au moins équivalent. C'est une architecture que l'on peut livrer au débat, en proposant une franchise en base et, comme élément de lisibilité pour les contribuables, une franchise applicable à la résidence principale avec une franchise correspondante sur les droits de donation et de succession. Dans nos simulations, nous prenons l'hypothèse d'une franchise d'environ 500 000 euros sur la résidence principale. Dans ce dispositif à assiette élargie et à taux plus faible – le taux marginal serait inférieur à 1,8 % –, l'imposition sur le patrimoine retrouve une légitimité et une efficacité.

J'ajoute pour conclure que les comparaisons internationales sont malaisées lorsque l'on n'envisage pas les systèmes dans leur globalité. S'il est vrai que de nombreux pays ont, sinon supprimé, du moins réaménagé l'imposition du patrimoine, l'impôt sur le revenu y est également plus fort et joue un rôle plus important en matière de redistribution. Cette remarque vaut pour la fiscalité des revenus du patrimoine, qui devrait être reversée dans le droit commun.