Messieurs, nous vous souhaitons la bienvenue et vous invitons à nous exposer, à la lumière de votre expérience professionnelle, les pistes de réforme de la fiscalité du patrimoine auxquelles vous pensez.

Avant d'en venir aux pistes, il importe de recadrer les objectifs de la réforme – et non de la « révolution » – fiscale. Il faut donc entendre que la contribution au budget de l'État doit être identique, même si elle est déjà proportionnellement supérieure à ce qu'elle est dans les pays voisins.

Nos clients réclament, quant à eux, de la lisibilité, d'où découle une nécessaire proportionnalité de l'impôt en fonction des capacités contributives de chacun. Ils aspirent également à une simplification qui passe avant tout par une limitation des dérogations et par des règles simples, qui sont la condition de l'équité devant la charge fiscale. Il faut également de la sécurité, qui est synonyme de prévisibilité et d'absence de complexité. Par ailleurs, les impôts ne doivent pas nuire à la fluidité du marché, c'est-à-dire au transfert des actifs. La fiscalité englobe non seulement l'impôt sur le stock, mais aussi les impôts perçus au moment des transferts, comme les droits d'enregistrement et la taxation des plus-values. L'attractivité du système fiscal français par rapport à ses concurrents doit également être prise en compte.

En France, on acquitte un impôt lors de l'acquisition du patrimoine – en général, des droits d'enregistrement de l'ordre de 5 % sur la valeur –, ce qui est étrange puisqu'à cet instant l'acquéreur n'en a tiré aucun profit et que cette charge non négligeable va grever le coût d'obtention et accroître le besoin de financement. Cette taxe n'existe pas dans les mêmes proportions ailleurs. La détention du patrimoine est également imposée, par le biais de l'impôt de solidarité sur la fortune, l'ISF, et des impôts locaux. Il ne faut pas oublier la taxe de 3 % payée par les non-résidents sur la détention de patrimoine immobilier, dont il est rarement question mais qui est assez lourde, surtout à un moment où il faudrait favoriser l'acquisition de biens par des étrangers, d'autant qu'elle génère des activités économiques dans son sillage. Outre son aspect quelque peu discriminatoire, cet impôt me semble anti-économique.

La cession de patrimoine est également assujettie à des impôts : la taxation des plus-values et, éventuellement, les droits d'enregistrement qui sont dus soit par l'acquéreur – c'est le cas général – soit par le vendeur. Parmi les impôts sur la cession du patrimoine, figure également l'impôt sur la transmission à titre gratuit, dans le cadre des donations et des successions, et qui excède en théorie ce qui se fait à l'étranger.

S'agissant de l'environnement international, la fluidité de la transmission transfrontalière de patrimoine est assurée par des conventions fiscales, mais elles sont rares à traiter des donations, un peu plus nombreuses à traiter des droits de succession. Dans un environnement économique globalisé, où les migrations de population concernent également des individus à fort pouvoir d'achat, les problèmes de double imposition sont mal traités en l'absence de dispositif adéquat.

Les propositions que je vais vous soumettre tiennent compte des échanges, d'une part, avec nos clients et, d'autre part, avec mes confrères que je rencontre dans le cadre de l'association que je préside actuellement, l'Institut des avocats conseils fiscaux.

Il faudrait – première proposition – réduire, par exemple à trois, le nombre de catégories d'imposition. Le régime actuel repose toujours sur des cédules mises en place au début du siècle dernier, sortes de silos étanches dans lesquels sont traitées indépendamment les unes des autres les catégories de revenus, en particulier les plus et moins-values selon leur origine. Le chiffre de trois peut être discuté, mais il faciliterait le calcul de l'impôt. Nous proposons de distinguer les revenus d'activité, ceux issus du patrimoine, et les plus-values immobilières, qui pourraient constituer une catégorie à part. Les revenus du patrimoine regrouperaient alors plusieurs cédules actuelles qui se verraient fiscalisées selon les mêmes règles – deuxième proposition –, à savoir un taux forfaitaire unique, faible, sur un revenu net mais large – le cas échéant avec un barème progressif pour ne pas pénaliser les contribuables faiblement assujettis – et prenant en compte la spécificité des placements à long terme ou risqués par le biais de réfactions ou d'abattements. Enfin, – troisième proposition –, il faudrait supprimer ou modifier substantiellement l'ISF et, par voie de conséquence, le bouclier fiscal et la taxe de 3 % sur le patrimoine immobilier des non-résidents.

La Suède, quant à elle, distingue trois catégories d'imposition – les revenus d'activité salariée, d'activité professionnelle non-salariée, et du patrimoine. Les Pays-Bas également : revenus d'activité, ceux issus d'une participation substantielle dans une société et ceux issus du patrimoine. Aux États-Unis, où les règles sont compliquées, il existe deux catégories principales – les revenus d'activité et ceux du patrimoine – et les plus-values immobilières sont isolées. Cette nomenclature suppose d'identifier correctement les revenus issus du patrimoine par rapport aux autres, et donc de revenir sur la définition actuelle qui permet de requalifier en revenus d'activité certains revenus du patrimoine et entretient le flou entre patrimoine privé et patrimoine professionnel. Certaines mesures ont été prises, comme la suppression de la théorie du bilan, mais il faut poursuivre la tâche pour éviter les structures artificielles. Nous proposons aussi une lisibilité et une complète transparence pour pouvoir contester les montages du type holding patrimoniale qui permettent actuellement d'échapper à l'imposition des personnes physiques. En les ignorant, on pourrait aller chercher directement les actifs et les revenus qu'ils génèrent.

Une fois correctement identifiés, les revenus qui doivent figurer dans la catégorie des revenus du patrimoine seraient frappés d'une taxe forfaitaire sur un revenu net. L'uniformité de taux est en vigueur en Suède, en Espagne, en Belgique, au Royaume-Uni, et en partie aux États-Unis. Autrement dit, cette proposition n'a rien d'une innovation. Elle vise simplement à une simplification en s'appuyant sur l'expérience d'autres pays.

Si le taux est faible, nous proposons une assiette large en incluant dans les revenus issus du patrimoine ceux acquis en franchise d'impôt dans des structures de capitalisation, en adoptant la règle du mark to market qui permet de prendre en compte la revalorisation des actifs sous-jacents ou les revenus engrangés au niveau des structures intermédiaires, y compris par le biais de l'assurance vie.

Dans le calcul des revenus nets, il conviendrait d'accepter que les pertes ou moins-values générées par certains revenus soient imputables sur les autres revenus, pour respecter le principe selon lequel on est imposé en fonction de sa capacité contributive.

La distinction entre placements à court terme et placements à long terme existe partout, et ce critère pourrait se combiner à celui du risque couru par l'investisseur pour soustraire de la base imposable les capitaux propres des sociétés, notamment des PME. Et, même si la fiscalité des particuliers ne doit pas être le seul canal pour favoriser ce type d'investissement, un dégrèvement peut être envisagé compte tenu de l'intérêt que présente pour les contribuables le développement de l'économie locale.

Cela étant, on comprend bien que, pour des raisons strictement politiques, il faille prévoir des exceptions à telle ou telle règle. Dans pareil cas, nous proposons de les traiter par voie de réduction ou de crédit d'impôt, en somme de recourir à des outils uniformisés pour ne pas créer des « trous dans le gruyère » et ne pas complexifier le système au point de le rendre incompréhensible.

La contrepartie de l'harmonisation consisterait à modifier l'ISF de façon substantielle. Le consensus s'est fait autour d'une base élargie, au besoin après application d'un seuil, et de taux très faibles, de l'ordre de 1 ‰, de sorte que la solidarité joue. Une autre conséquence serait la suppression du bouclier fiscal et de la taxe de 3 %. Initialement, celle-ci était destinée à des contribuables français qui auraient été tentés d'investir dans l'immobilier en France via des sociétés étrangères mais, avec le coût de mise en oeuvre et des procédures qui en résultent, il n'est pas certain que cette taxe anti-évasion se justifie pleinement.

Mon propos se limitera à l'ISF, en complément des propositions de mon confrère.

On parle trop souvent de l'ISF pour qu'il soit un bon impôt. Ses travers sont bien connus. Aussi en soulignerai-je les quelques mérites, qu'il faudrait s'attacher à préserver s'il n'est pas supprimé purement et simplement.

Tout d'abord, il rapporte 4,5 milliards d'euros, ce qui n'est pas négligeable en des temps difficiles. Il a ensuite pénalisé les détentions clandestines puisqu'il s'accompagnait de la taxe de 3 % qui visait les Français s'abritant derrière des sociétés domiciliées dans les paradis fiscaux pour détenir une société française, par exemple. Mais maintenir le taux de 3 % serait absurde si ceux de l'ISF venaient à être réduits puisque la taxe était destinée à sanctionner une absence de déclaration à l'ISF. De même, les bons anonymes sont frappés d'une taxe annuelle de 2 %. Les formes de détention clandestine ont donc été sévèrement contrariées par l'instauration de l'ISF.

Ensuite, l'ISF a incité les chefs d'entreprise à s'accrocher à leur affaire aussi longtemps qu'il était possible, à organiser la conservation familiale des titres et la transmission familiale. L'exonération des biens professionnels, des titres détenus dans le cadre d'un pacte Dutreil, de l'actionnariat salarié sont autant de mesures qu'il faut saluer car elles ont permis à l'économie de respirer malgré l'ISF. Parallèlement, la détention des oeuvres d'art, des forêts et des terres agricoles a été encouragée à bon escient car, dans le premier cas, il y va de notre patrimoine culturel et, dans le second, de l'intérêt de la collectivité nationale.

Au passage, reconnaissons que l'ISF a constitué, pour les avocats, les notaires, les banquiers, une manne financière difficile à chiffrer mais qui ne doit pas être très éloignée des recettes annuelles de l'ISF…

Les défauts de cet impôt sont, quant à eux, plus connus.

Même si son barème est inchangé depuis quinze ans, l'ISF est indéniablement devenu prohibitif car son taux doit être corrélé au rendement du patrimoine assujetti. Or, en 1989, quand l'ISF a été institué, le taux maximal était de 1,5 % et le taux d'intérêt légal de 9,5 % si bien que l'assujetti disposait, après impôt, grosso modo de 84 % du revenu de son patrimoine. Mais, en 2010, le taux d'intérêt légal est descendu à 0,65 % tandis que le taux maximal était de 1,8 %, soit trois fois le rendement du placement.

Son deuxième défaut est qu'il est trop concentré puisqu'il ne frappe que 570 000 contribuables alors que les détenteurs de patrimoine sont assurément beaucoup plus nombreux. Il ne serait pas illégitime de faire contribuer une population beaucoup plus large, qui le supporterait d'autant mieux que, avec un taux proportionné au rendement, le coût individuel serait faible. La « démocratisation » de l'ISF pourrait être une solution au délicat problème consistant à baisser les taux sans provoquer de perte substantielle de recettes, et elle ferait tout de même la différence entre ceux qui détiennent un certain patrimoine et les autres. Les meilleurs impôts sont ceux payés par le maximum de personnes.

Enfin, la réforme, quelle qu'elle soit, devrait laisser subsister un mécanisme de plafonnement de sorte qu'aucun contribuable ne paie davantage d'impôt qu'il ne touche de revenu de son patrimoine, quitte à intégrer les revenus de jouissance des biens détenus, notamment immobiliers, ou qui prennent la forme de capitalisation.

Si la suppression de l'ISF est exclue, son réaménagement ne devrait-il pas être l'occasion de réexaminer les délais de reprise, qui peuvent excéder six ans ?

Comment, selon vous, devrait être traitée la résidence principale, qui est un bien qui ne rapporte rien, qui a déjà subi un impôt au moment de son appropriation, même s'il est porteur d'une plus-value latente ?

Pour préserver la détention de patrimoine à caractère professionnel, le taux de réduction de l'assiette, appliqué dans le cadre d'un pacte Dutreil, qui est de 75 %, est-il suffisant ?

Au fur et à mesure de nos auditions, l'impression générale est que le but de la réforme est de faire payer davantage les classes moyennes supérieures pour épargner les plus grosses fortunes. Dans ce contexte, que pensez-vous de la récente déclaration du milliardaire américain Warren Buffett selon lequel les milliardaires ne se sont jamais aussi bien portés et qu'il faudrait les imposer beaucoup plus qu'ils ne le sont ?

Pourquoi supprimer l'ISF sinon afin d'offrir au Président de la République un prétexte pour supprimer le bouclier fiscal, dont l'instauration a constitué l'une des erreurs majeures de sa politique économique ?

Le patrimoine des Français est évalué à 9 000 milliards d'euros, soit six années de revenu national, contre neuf années dans les années 1980 et trois années dans les années 1960. Autrement dit, il ne s'est jamais aussi bien porté. Les déclarations à l'ISF font état de 900 milliards d'euros. Cet impôt rapporte à l'État 4,5 milliards d'euros, soit un taux de rendement de 0,5 %, qui n'a rien de confiscatoire et ne constitue en rien un frein à l'esprit d'entreprise. Au moment où l'on a besoin de recettes fiscales, supprimer l'ISF ou le réduire viendrait à contretemps d'autant que, depuis plusieurs décennies, les salaires n'ont pas évolué au rythme du patrimoine. Cette décision serait d'autant plus malvenue que les assujettis, comme vous l'avez dit, sont prêts à payer leur conseil autant que d'impôt pour faire de l'optimisation fiscale et contourner l'esprit de la loi, sinon la loi elle-même. Un tel comportement est choquant. Chacun ferait mieux de se rappeler la Déclaration des droits de l'homme et du citoyen de 1789 et « la nécessité de la contribution publique » comme socle de la solidarité nationale.

Recommandez-vous une exonération totale, un abattement en valeur absolue ou une taxation intégrale de la résidence principale ? Quand vous parlez d'imposer le « revenu de jouissance », faut-il entendre que vous préconisez la taxation d'un revenu plutôt que celle d'un stock de capital ?

Finalement, vous avez trouvé à l'ISF plus de mérites que d'inconvénients. Comment dans ces conditions le « démocratiser » ?

Un bon impôt doit avoir une assiette large. Alors, comment élargir celle de l'ISF sinon aux biens professionnels, si l'on maintient notamment l'exclusion des oeuvres d'art de son assiette ?

Je n'imagine pas de gisement d'extension de l'assiette car revenir sur les exonérations justifiées par l'intérêt collectif risque de causer des dégâts. La solution réside donc dans l'élargissement du cercle des assujettis. Et je le dis non par attachement à l'ISF, mais à cause des quelque 4 milliards d'euros de ressources qu'il vous faut maintenir.

La capacité contributive du propriétaire occupant est exactement la même que celle de son voisin locataire, qui détient l'équivalent de la valeur du bien en portefeuille titres. Le premier dispose de la jouissance de son bien, le second perçoit des dividendes. Depuis 1963, le revenu de jouissance du propriétaire occupant n'est plus taxé car le mécanisme s'était retourné contre le fisc : le revenu potentiel était grevé par la déduction de la totalité des charges d'entretien et des dépenses d'amélioration. Ainsi, les Français ont rénové leurs maisons aux frais du Trésor public. Le dispositif a donc disparu. Pourtant, il n'est pas illégitime de traiter la résidence principale comme un bien quelconque. L'abattement de 30 % appliqué pour calculer l'assiette de l'ISF traduit l'occupation du bien qui vaut moins cher puisqu'il n'est pas libre de jouissance, principe reconnu par la Cour de cassation. Il ne s'agit donc pas d'une « fleur » faite par l'administration, mais je ne vois pas comment aller plus loin dans l'exonération.

En revanche, s'agissant du plafonnement de l'impôt consenti en faveur de ceux qui paieraient trop d'impôt par rapport à leur revenu, il ne serait pas illégitime de prendre en considération le revenu de jouissance de la résidence principale, et des résidences secondaires d'ailleurs, puisque ces biens pourraient être loués.

C'est le principe même de la taxe d'habitation, même si les valeurs locatives ne correspondent plus, loin s'en faut, à la réalité !

En ce qui concerne les remarques de Mme Filippetti sur les sommes déboursées par les contribuables pour échapper à l'impôt, il faut savoir que l'assistance aux clients assujettis à l'ISF, ou à ceux concernés par un pacte Dutreil, mobilise des forces considérables. On a affaire à de véritables usines à gaz, avant même de procéder à de l'optimisation fiscale ! De plus, exploiter des marges de manoeuvre n'est pas de la fraude, et elles sont tellement étroites que la meilleure échappatoire est l'expatriation, ni plus ni moins.

Si l'élargissement de l'assiette n'est pas possible, et si l'on admet que les taux sont excessifs au regard du taux d'intérêt légal, si enfin la recette doit être préservée, la solution que vous préconisez est d'augmenter le nombre d'assujettis, avec pour effet de réduire le montant acquitté par ceux qui sont actuellement assujettis.

C'est bien cela.

La LME a proposé un régime pour les « impatriés », de façon à attirer des personnes qualifiées, dans les domaines de l'informatique ou de la finance par exemple, susceptibles de travailler à Londres ou à Francfort. Aux détours des débats, nous avons appris que ce régime était utilisé par des évadés fiscaux, ce qui n'était pas l'intention du législateur. Comment est-ce possible ?

Du moment que les individus en question ont passé plus de six ans hors du territoire français, ils sont considérés, à leur retour, comme des non-résidents, et ont droit à une franchise d'ISF pendant cinq ans.

L'abattement de 30 % sur les biens occupés vaut-il pour tous les biens immobiliers ?

La loi est venue contrer la jurisprudence de la Cour de cassation, en le limitant à la résidence principale. Une résidence louée connaît le sort commun des locaux loués et subit une décote par rapport au marché.

M. Buffett est à la tête d'une fortune qui dépasse 20 ou 30 milliards de dollars et le contexte fiscal américain est complètement différent.

Notre fiscalité du patrimoine, qu'elle frappe la détention, la transmission ou les revenus, a-t-elle une cohérence quelconque ? La réalité contredit la théorie libérale qui prône la péréquation des taux de profit. Les terres rapportent moins de 1 % et les forêts à peu près la même chose, l'immobilier entre 4 et 5 % et les actions sont au sommet de la pyramide. Pourtant, notre système fiscal privilégie ces dernières, de sorte que, paradoxalement, plus c'est rentable moins c'est taxé, et moins c'est rentable plus c'est taxé ! Comment corriger ce défaut ? Le système néerlandais qui consiste à taxer un revenu notionnel du patrimoine y contribuerait-il ?

Il est difficile de procéder à des comparaisons comme vous le faites, surtout quand on additionne droits de mutation, impôt sur le revenu et impôt sur le capital. Tout dépend de la situation patrimoniale de chaque individu et de son mode de vie, plus ou moins sédentaire. À capacité contributive égale, on arrive à des résultats radicalement différents.

Voyez-vous une cohérence d'ensemble ? Par exemple, l'assurance vie est exonérée de droits de succession, son revenu annuel n'est quasiment pas fiscalisé avec une rentabilité voisine de 4 %, alors qu'il s'agit pour une bonne partie de placements à court terme. Pourquoi de tels avantages quand la rémunération du Livret A, détenu par des gens modestes, ne préserve même pas le capital ?

J'ai suggéré de traiter l'assurance vie comme le reste, à l'exception de la partie « actions », qui est risquée.

Votre remarque vaut pour la totalité de l'épargne réglementée. Le régime dérogatoire de la résidence principale remonte au temps où, M. Giscard d'Estaing étant ministre des finances, l'accession à la propriété était encouragée. Mais quelle est la cohérence avec le régime dérogatoire du locatif social et le régime du locatif privé ?

Le raisonnement fiscal a été pollué par des considérations d'ordre politique.

L'ISF s'est ajouté à un empilement d'autres impôts et il a fallu rogner l'assiette pour le rendre supportable.

Quand j'ai demandé pourquoi le bouclier fiscal avait coûté beaucoup moins cher que prévu, vos collègues m'ont répondu que les déclarations étaient systématiquement sous-évaluées puisque les contrôles étaient rares, qu'ils ne coûtaient pas cher et que la prescription était de trois ans. Ils déconseillaient donc à leurs clients de faire jouer le bouclier fiscal à cause des risques de redressement. Confirmez-vous une décote de 20 % à 30 % par rapport aux prix de marché ?

L'exonération de l'outil professionnel est aussi une monstruosité. Plus vous êtes riche, plus l'outil de travail pèse lourd dans le patrimoine. Prenez le cas de Mme Bettencourt, qui est à la tête d'une fortune de 16 milliards d'euros, dont 14,5 milliards en titres L'Oréal. Du fait de l'exonération, elle est imposée sur 1 milliard ou 1,5 milliard d'euros. Où est la cohérence ? L'ISF, c'est comme l'impôt sur le revenu : quand on est très riche, on ne le paie plus. On finit par ne taxer que les « petits riches » et les couches moyennes, qui ne peuvent pas y échapper.

Ainsi, dans notre pays, il faut être soit très riche, soit pauvre !

Si l'ISF était supprimé, les expatriés fiscaux reviendraient-ils ?

À condition que la nouvelle puisse être tenue pour permanente…

La réponse est donc négative. À cet égard, la suppression du bouclier fiscal ne ferait que décrédibiliser un peu plus la parole de l'État. Instaurer ce bouclier fut donc une grave erreur.

Messieurs, nous vous remercions.