Journal of Lie Theory Volume 5 (1995) 165–172 C ◯1995 Heldermann Verlag

Un théorème de Paley-Wiener pour les groupes de Lie nilpotents

Gayatri Garimella^{∗}

Communicated by J. Ludwig

Abstract. In this article a short proof of classical Paley-Wiener theorem for nilpotent Lie groups is presented.

1. Introduction

Le but de ce travail est de généraliser une version du théorème de Paley-Wiener classique aux groupes de Lie nilpotents, ce qui consiste à démontrer la conjecture suivante.

Conjecture – Soient G un groupe de Lie nilpotent, connexe, et simplement connexe de dual unitaire Ĝ et ϕ une fonction bornée, mesurable et à support compact (i.e ϕ ∈ L_{c}^{∞}(G)). Supposons qu’il existe un sous-ensemble E ⊂ Ĝ de mesure de Plancherel positive tel que ϕ̂_{ρ} = 0 pour tout ρ ∈ E où ϕ̂_{ρ} est la transformée de Fourier de ϕ à valeur opérateur. Alors ϕ = 0 presque partout sur G.

Ce résultat a été conjecturé par D Scott et A Sitaram dans ([8]). Dans le cas classique, si ϕ ∈ L_{c}^{∞}(ℝ ^{n}), la transformée de Fourier ϕ̂, de ϕ se prolonge en une fonction holomorphe sur ℂ^{n}, ce qui permet de conclure que ϕ̂ ≡ 0 si ϕ̂ est nulle sur un ensemble dont la mesure de Plancherel est strictement positive. Mais pour ϕ ∈ L_{c}^{∞}(G), la transformée de Fourier ϕ̂ ne se prolonge pas en une fonction holomorphe.

L. Corwin et F. P. Greenleaf [1] puis J. D. Moss [6] ont démontré cette conjecture, mais en imposant des conditions sur le groupe de Lie nilpotent G. Pour les premiers, cette condition est : un seul idéal polarise toutes les formes linéaires paramétrisant les orbites génériques de 𝔤^{∗}. La condition pour le deuxième est : une seule sous-algèbre subordonnée maximale polarise toutes les formes linéaires paramétrisant les orbites génériques de 𝔤^{∗}.

Récemment, R. Park [7] a montré cette conjecture pour tous les groupes de Lie nilpotents d’ordre deux et trois. R. L. Lipsman et J. Rosenberg [5] ont

ISSN 0940–2268 / $2.50 ^{_{C} ◯} Heldermann Verlag démontré la conjecture de Paley-Wiener dans le cas général en utilisant des travaux de N. V. Pedersen sur la structure de Ĝ.

∗ Je remercie vivement le Prof.G.Grélaud pour son aide et ses encouragements.

Dans ce travail, nous démontrons cette conjecture par récurrence sur la dimension de G, ce qui nous évite d’avoir recours à l’étude de la structure de Ĝ. Pour cela, on traite deux cas dûs à J. Dixmier. Contrairement à Moss, la polarisation n’est plus nécessairement la même pour tout ℓ dans 𝔤^{∗}.

Dans la section 2 on donne quelques généralités; la section 3 est consacrée à la construction d’une base de Malcev qui joue un rôle très important dans les calculs de la section 4, et dans la section 5 on donne la démonstration du théorème de Paley-Wiener pour les groupes de Lie nilpotents.

Je remercie J. Ludwig pour m’avoir suggeré des simplications dans ma démonstration initiale.

2. Notations et Généralités

Soit G un groupe de Lie nilpotent, connexe et simplement connexe d’algèbre de Lie 𝔤. On note 𝔤^{∗} l’espace des formes linéaires sur 𝔤. Soient 𝔅 = {X_{1}, …, X_{n}} une base de Malcev forte de 𝔤 et 𝔅^{∗} = {X_{1}^{∗}, …, X_{n}^{∗}} une base de Jordan-Hölder de 𝔤^{∗}. D’après le théorème de Chevalley-Rosenlicht (cf.[2] p.82) il existe un ouvert de Zariski G- invariant U ⊂ 𝔤^{∗} réunion d’orbites coadjointes génériques par rapport à la base 𝔅^{∗}. Soit ℓ = ∑_{i=1}^{n} ℓ_{i}X_{i}^{∗} ∈ U une forme linéaire ayant une orbite O_{ℓ} = Ad^{∗}G.ℓ de dimension maximale 2k. On pose r = n − 2k = dim(𝔤^{ℓ}) où 𝔤^{ℓ} est le radical de ℓ. Il existe des indices J = {j_{1}, …, j_{2k}}, (2 ≤ j_{1} < j_{2} < … < j_{2k} ≤ n) tels que toute orbite générique O_{ℓ} soit au-dessus du sous-espace W_{J} de dimension 2k engendré par 𝔅_{J}^{∗} = {X_{j_{1}}^{∗}, …, X_{j_{2k}}^{∗}}. Soit D = {d_{1}, …, d_{r}}, (1 = d_{1} < … < d_{r} ≤ n) le complémentaire de J dans {1, …, n}. Le sous-espace W_{D} de dimension r engendré par 𝔅_{D}^{∗} = {X_{d_{1}}^{∗}, …, X_{d_{r}}^{∗}} rencontre U. On a 𝔤^{∗} = W_{D} ⊕ W_{J}. Posons W = U ∩ W_{D}. Si ℓ ∈ W , on a ℓ = ∑_{i=1}^{r} ℓ_{d_{i}}X_{d_{i}}^{∗} et si dm est une mesure de Lebesgue sur W_{D}, alors dμ = |P f(ℓ)|dm est une mesure sur W, où P f(ℓ) désigne le pfaffien en ℓ donné par P f(ℓ)^{2} = det ℓ([X_{i}, X_{j}])_{i,j∈J} . Cette mesure sur W ⊂ 𝔤^{∗} est une mesure de Plancherel pour Ĝ, l’espace dual de G. D’après ([4]), cette mesure de Plancherel peut s’écrire:

dμ = P f(ℓ)X_{1} ∧ ⋯ ∧ X_{r}

3. Construction d’une base de Malcev pour ℓ ∈ W

Soit

0 = 𝔤_{0} ⊂ 𝔤_{1} ⊂ … ⊂ 𝔤_{i} … ⊂ 𝔤_{n−1} ⊂ 𝔤_{n} = 𝔤

une suite d’idéaux de 𝔤, telle que la dimension de 𝔤_{i} soit i pour tout 1 ≤ i ≤ n. On note 𝔤^{ℓ} le radical de ℓ dans 𝔤. On a deux cas,

Premier cas – Supposons 𝔤^{ℓ} ⊂ 𝔤_{n−1} pour tout ℓ ∈ W, i.e. toutes les orbites en position générale sont saturées par rapport à 𝔤_{n−1} . On peut choisir une base de 𝔤 dont les n − 1 premiers vecteurs de la base pour ℓ ∈ W dépendent rationnellement de ℓ, {X_{1}(ℓ), …, X_{r}(ℓ), …, X_{m}(ℓ), …, X_{n−1}(ℓ)}, dont les X_{i}(ℓ) sont dans 𝔤^{ℓ_{j}} pour certains j avec ℓ_{j} = ℓ|_{𝔤_{j}}, et 𝔤^{ℓ_{j}} = {X ∈ 𝔤_{j}|ad^{∗}X.ℓ_{j} = 0}. Comme 𝔤^{ℓ} ⊂ 𝔤_{n−1} le dernier vecteur de la base ne dépend pas de ℓ. Soit

𝔅W(ℓ) = {X_{1}(ℓ), …, X_{r}(ℓ), …, X_{m}(ℓ), …, X_{n−1}(ℓ), X_{n}}

une telle base de 𝔤. Remarquons que l’ensemble d’indices J_{1} pour G_{n−1} est égal à J − {n, j_{1}} pour un certain j_{1} tel que toute orbite générique O_{ℓ} soit au-dessus du sous-espace W_{J_{1}} de dimension 2k−2 engendré par 𝔅_{J_{1}}^{∗} = {X_{j_{2}}^{∗}, …, X_{j_{2k−1}}^{∗}}. On a 𝔤_{n−1}^{∗} = W ⊕ ℝ X_{j_{1}}^{∗} ⊕ W_{J_{1}} . Donc W_{1} = (U ∩ W_{D}) × ℝ X_{j_{1}}^{∗} = W × ℝ X_{j_{1}}^{∗}. Si ℓ_{1} ∈ W_{1} , on a

ℓ_{1} = ∑_{i=1}^{r} ℓ_{d_{i}}X_{d_{i}}^{∗} + ℝ X_{j_{1}}^{∗}

La mesure sur W_{1} est

\begin{aligned}dμ_{1}(ℓ_{1}) & = P f(ℓ_{1})X_{1} ∧ ⋯ ∧ X_{r} ∧ X_{j_{1}} \\ & = P f(ℓ_{n−1})X_{1} ∧ ⋯ ∧ X_{r} ∧ X_{j_{1}} \end{aligned}

où P f(ℓ_{n−1})^{2} = det ℓ_{n−1}([X_{i}, X_{j}])_{i,j∈J_{1}} avec ℓ_{n−1} = ℓ|_{𝔤_{n−1}} . Remarquons que, 𝔤^{ℓ_{n−1}} = 𝔤^{ℓ} ⊕ ℝ X_{j_{1}} , [X_{i}, X_{j}] ∈ 𝔤_{n−1} pour i,j dans J_{1} , et ℓ([X_{j_{1}}, 𝔤_{n−1}]) = 0.

Remark 1. Soit A(ℓ) = (ℓ[X_{i}, X_{j}])_{i,j∈J} la matrice anti-symétrique.

A(ℓ) = ( \begin{matrix}0 & ⋯ 0 & ⋯ ℓ([X_{n}, X_{j_{1}}]) \\ 0 & & ∗ \\ ⋮ & ( A_{n−1}(ℓ) ) & ⋮ \\ ℓ([X_{j_{1}}, X_{n}]) & ∗ & ∗ \end{matrix} )

où A_{n−1}(ℓ) = ℓ([X_{i}, X_{j}])_{i,j∈J_{1}} Ainsi on a: det A(ℓ)^{\frac{1}{2}} = |ℓ([X_{j_{1}}, X_{n}])|(det A_{n−1}(ℓ)^{\frac{1}{2}} ). C’est-à-dire P f(ℓ) = ℓ([X_{j_{1}}, X_{n}])P f(ℓ_{n−1}). En écrivant, la mesure dμ_{1} sur W_{1} en termes des coordonnés locales sur

𝔤_{n−1}^{∗}, d’après la remarque on a

dμ_{1} = \frac{1}{P f(ℓ_{n−1})}dX_{1}^{∗} ⋯ dX_{j_{1}}^{∗}

= \frac{ℓ([X_{j_{1}}, X_{n}])}{P f(ℓ)}dX_{1}^{∗} ⋯ dX_{j_{1}}^{∗}

= ℓ([X_{j_{1}}, X_{n}])(\frac{1}{P f(ℓ)}dX_{1}^{∗} ⋯ dX_{r}^{∗}) × dX_{j_{1}}^{∗}

= ℓ([X_{j_{1}}, X_{n}])dμ × dX_{j_{1}}^{∗}

= q(ℓ)dμdℓ_{j_{1}}

où q(ℓ) = ℓ([X_{j_{1}}, X_{n}]).

Cette mesure sur W_{1} ⊂ 𝔤^{∗} est une mesure de Plancherel sur Ĝ_{n−1} , l’espace dual de G_{n−1} .

Deuxième cas: Si 𝔤^{ℓ} ⊄ 𝔤_{n−1} pour tout ℓ ∈ W, i.e. toutes les orbites en position générale ne sont pas saturées par rapport à 𝔤_{n−1} , on peut choisir une base de 𝔤 de manière que le dernier vecteur X_{n} de la base dépend aussi rationnellement de ℓ et X_{n}(ℓ) ∈ 𝔤^{ℓ}. Soit

𝔅W(ℓ) = {X_{1}(ℓ), …, X_{r}(ℓ), …, X_{m}(ℓ), …, X_{n−1}(ℓ), X_{n}(ℓ)}

une telle base de 𝔤 dont les X_{i}(ℓ) sont dans 𝔤^{ℓ_{j}} pour certains j avec ℓ_{j} = ℓ|_{𝔤_{j}}.

La mesure de Plancherel de Ĝ s’écrit;

dμ(ℓ) = (P f(ℓ)X_{1} ∧ ⋯ ∧ X_{r−1}) ∧ X_{n}
= (P f(ℓ_{1})X_{1} ∧ ⋯ ∧ X_{r−1}) ∧ X_{n}
= dμ_{1} × dℓ_{n}

4. Transformée de Fourier à valeur opérateur

On va définir la transformée de Fourier à valeur opérateur (cf.[1] p 206-207) qui dépend de ℓ.

Premier cas: Supposons donc que 𝔤^{ℓ} ⊂ 𝔤_{n−1} pour presque tout ℓ ∈ W, i.e toutes les orbites en position générale sont saturées par rapport à 𝔤_{n−1} . Pour ℓ ∈ W, ρ_{ℓ} = Ind_{G_{n−1}}^{G}ρ_{ℓ_{n−1}} est une représentation induite de G, où ℓ_{n−1} = ℓ|_{𝔤_{n−1}} et ρ_{ℓ_{n−1}} est une représentation de G_{n−1} . Comme G/G_{n−1} est un quotient de G, l’application ψ : C^{∞}(G/G_{n−1}) → C^{∞}(G, ρ) se prolonge en une isométrie H_{ρ} → L^{2}(G/G_{n−1}) ≅ L^{2}(ℝ ) où C^{∞}(G, ρ) est l’ensemble des f ∈ C^{∞}(G) à support compact modulo G_{n−1} telles que f(hg) = ρ_{ℓ_{n−1}}(h)f(g) pour tout h ∈ G_{n−1} , g ∈ G.

Pour tout ϕ ∈ C_{c}^{∞}(G) et ρ_{ℓ} ∈ Ĝ tel que ℓ ∈ W, on définit la transformation de Fourier à valeur opérateur par

ϕ̂_{ρ_{ℓ}} = ∫_{G} ϕ(g)ρ_{ℓ}(g)dg

On pose ℓ^{t} = Ad^{∗}(exp(−tX))ℓ. Remarquons que

ρ_{ℓ^{t}}(g) = ρ_{ℓ}(exp(tX).g. exp(−tX))

Choisisons X ∈ 𝔤\𝔤_{n−1} . Pour tout s, t dans ℝ , l’action de ϕ ∈ C_{c}^{∞}(G) sur f ∈ H_{ρ_{ℓ}} entraîne

(ϕ̂_{ρ_{ℓ}}f)(exp(tX)) = ∫_{G} ϕ(g)ρ_{ℓ}(g)f(exp(tX))dg

Garimella 169

comme la représentation induite agit à droite sur f ∈ H_{ρ_{ℓ}}, on a (ϕ̂_{ρ_{ℓ}}f)(exp(tX)) = ∫_{G} ϕ(g)f(exp(tX).g)dg = ∫ℝ ∫_{G_{n−1}} ϕ(h. exp(sX))f(exp(tX).h. exp(sX))dhds = ∫ℝ ∫_{G_{n−1}} ϕ(h. exp(sX))f(exp(tX).h. exp(−tX). exp(tX). exp(sX))dhds = ∫ℝ ∫_{G_{n−1}} ϕ(h. exp(sX))f(exp(tX).h. exp(−tX). exp(t + s)X))dhds = ∫ℝ ∫_{G_{n−1}} ϕ^{s}(h)ρ_{ℓ_{n−1}}(exp(tX).h. exp(−tX))f(exp(t + s)X)dhds = ∫ℝ (ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s})f(exp(t + s)X)ds

où ϕ^{s}(h) = ϕ(h. exp(sX)).

Pour tout α ∈ ℝ on pose f_{α}(h. exp(sX)) = e^{iαs}f(h. exp(sX)) ainsi on a, f_{α} ∈ H_{ρ_{ℓ}}, car f est dans H_{ρ_{ℓ}}.

Soit kerρ_{ℓ} le noyau de ρ_{ℓ} dans C^{∗}(G), la C^{∗} - algèbre du groupe G. Si ϕ ∈ kerρ_{ℓ} d’après les calculs ci-dessus, pour tout f ∈ H_{ρ_{ℓ}} on a

\begin{aligned}0 & = ∫ℝ ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} f_{α}(exp(t + s)X)ds \\ & = ∫ℝ e^{iαs}ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} f(exp(s + t)X))ds ∀α \end{aligned}

qui implique ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} = 0 pour tout s ∈ ℝ . Réciproquement, pour tout s et t dans ℝ si ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} = 0 on a ϕ̂_{ρ_{ℓ}} = 0 qui implique que ϕ ∈ ker ρ_{ℓ}. On a établi l’équivalence

ϕ ∈ ker ρ_{ℓ} ⟺ (ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} = 0 ∀s, t)

Deuxième cas: Supposons que 𝔤^{ℓ} ⊄ 𝔤_{n−1} pour tout ℓ ∈ W. Pour ℓ ∈ W, et α ∈ ℝ on pose ℓ_{α} = ℓ + αX^{∗}. Donc, ℓ_{α}(X) = ℓ(X) + α et ρ_{ℓ_{α}} = ρ_{ℓ} ⊗ χ_{α} avec χ_{α}(h. exp(sX)) = e^{iαs} pour tout h ∈ G_{n−1} .

Si ξ, η ∈ H_{ρ_{ℓ}} = H_{ρ_{ℓα}} : et la restriction de ρ_{ℓ_{α}} à G_{n−1} est irréductible et équivalente à ρ(ℓ|_{𝔤_{n−1}}) pour tout α ∈ ℝ . On a

< ϕ̂_{ρ_{ℓα}} ξ, η > = ∫_{G} < ρ_{ℓ_{α}}(g)ξ, η > ϕ(g)dg
= ∫_{G} < ρ_{ℓ} ⊗ χ_{α}(g)ξ, η > ϕ(g)dg
= ∫ℝ ∫_{G_{n−1}} < ρ_{ℓ} ⊗ χ_{α}(exp(sX).h)ξ, η > ϕ(exp(sX).h)dhds

= ∫ℝ ∫_{G_{n−1}} < e^{iαs}ρ_{ℓ}(exp(sX))ρ_{ℓ_{n−1}}(h)ξ, η > ϕ(exp(sX).h)dhds

= ∫ℝ e^{iαs} < ρ_{ℓ}(exp(sX))ϕ̂_{ρ_{ℓ_{n−1}}}^{s} ξ, η > ds

où ϕ^{s}(h) = ϕ(exp(sX).h). Donc on a exprimé ϕ̂_{ρ_{ℓα}} à l’aide de ϕ̂_{ρ_{ℓ_{n−1}}}^{s}

5. Théorème de Paley-Wiener

Theorem 1. Soient G un groupe de Lie nilpotent, connexe et simplement connexe, de dual unitaire Ĝ et ϕ une fonction bornée, mesurable et à support compact (i.e. ϕ ∈ L_{c}^{∞}(G)). Supposons qu’il existe un sous-ensemble E ⊂ Ĝ de mesure de Plancherel positive tel que ϕ̂_{ρ} = 0 pour tout ρ ∈ E où ϕ̂_{ρ} est transformée de Fourier de ϕ à valeur opérateur. Alors ϕ = 0 presque partout sur G. Proof. – On procède par récurrence sur la dimension n de G. Le résultat est vrai si la dimension de G est un, car G ≅ ℝ . Supposons que le résultat soit vrai pour les groupes de dimension n − 1. On peut supposer que E est contenu dans W (car, si E ∩ W négligeable alors E = (E ∩ W) ∪ (E ∩ W^{c}) est négligeable, où W^{c} est complémentaire de W).

Premier cas : 𝔤^{ℓ} ⊂ 𝔤_{n−1} pour tout ℓ ∈ W. Soit ϕ ∈ C_{c}^{∞}(G). Par hypothèse, pour tout ρ_{ℓ}, tel que ℓ ∈ E on a 0 = ϕ̂_{ρ_{ℓ}}; montrons alors ϕ = 0 pour presque tout sur G.

D’après le paragraphe 4 on a

ϕ ∈ ker ρ_{ℓ} ⟺ (ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} = 0 ∀s, t)

Par hypothèse, ϕ̂_{ρ_{ℓ}} = 0 pour tout ℓ ∈ E et d’après l’équivalence ci-dessus on a

ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} = 0

pour tout s, t dans ℝ .

Donc, ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} = 0 pour tout ℓ_{n−1} parcourant E′ = E|𝔤_{n−1}^{∗} sur 𝔤_{n−1}^{∗} de mesure de Plancherel dμ_{1} = q(ℓ)dμ×dℓ_{j_{1}} strictement positive, car ℓ([X_{n}, X_{j_{1}}]) ≠ 0. Alors, pour tout s dans ℝ l’ensemble M = {exp tX.ℓ_{n−1} | ϕ̂_{ρ_{(ℓ^{t})_{n−1}}}^{s} = 0, t ∈ ℝ , ℓ_{n−1} ∈ E|𝔤_{n−1}^{∗}} est non négligeable pour la mesure de Plancherel dμ_{1} . D’après l’hypothèse de récurrence ϕ^{s} est nulle presque partout sur G_{n−1} . Ce qui entraîne d’après le théorème de Fubini que ϕ est nulle presque partout sur G.

Deuxième cas : 𝔤^{ℓ} ⊄ 𝔤_{n−1} pour tout ℓ ∈ W – Soit ϕ ∈ C_{c}^{∞}(G). Par

hypothèse, pour tout ρ_{ℓ}, tel que ℓ ∈ E on a ϕ̂_{ρ_{ℓ}} = 0; montrons alors ϕ̂_{ρ_{ℓ}} = 0 pour presque tout ℓ ∈ W.

Soit donc ℓ ∈ E, pour tout α ∈ ℝ on a

< ϕ̂_{ρ_{ℓα}} ξ, η >= ∫ℝ e^{iαs} < ρ_{ℓ}(exp(sX))ϕ̂_{ρ_{ℓ_{n−1}}}^{s} ξ, η > ds

donc

ϕ̂_{ρ_{ℓα}} = ∫ℝ e^{iαs}ρ_{ℓ}(exp(sX))ϕ̂_{ρ_{ℓ_{n−1}}}^{s} ds

Posons

Ψ(s) = ρ_{ℓ}(exp(sX))ϕ̂_{ρ_{ℓ_{n−1}}}^{s}

Donc

\begin{aligned}ϕ̂_{ρ_{ℓα}} & = ∫ℝ Ψ(s)e^{iαs}ds \\ & = Ψ̂(α) \end{aligned}

Par l’hypothèse, pour tout ℓ ∈ E on a ϕ̂_{ρ_{ℓ}} = 0, qui implique Ψ̂(α) = 0, par conséquent on a Ψ(s) = 0 pour tout s ∈ ℝ . Donc

0 = ϕ̂_{ρ_{ℓα}} = ∫ℝ e^{iαs}ρ_{ℓ}(exp(sX))ϕ̂_{ρ_{ℓ_{n−1}}}^{s} ds

pour tout α dans ℝ qui implique ϕ̂_{ρ_{ℓ_{n−1}}} = 0 pour tout ℓ_{n−1} parcourant E_{1}

(trace de E sur 𝔤_{n−1}^{∗}) de mesure de Plancherel sur Ĝ_{n−1} strictement positive. D’après l’hypothèse de récurrence ϕ̂ρ_{ℓ_{n−1}} = 0 pour presque tout ℓ_{n−1} ∈ W′ (trace de W sur 𝔤_{n−1}^{∗}). Donc , 0 = ϕ̂ρ_{ℓ} pour presque tout ℓ ∈ W (d’après les calculs de ϕ̂_{ρ_{ℓα}}).

D’où ϕ̂_{ρ} = 0 pour presque tout ρ relativement à la mesure de Plancherel. D’après la formule de Plancherel (cf.[2] Th.4.3.17) pour un groupe de Lie

nilpotent, on a

||ϕ||_{2}^{2} = ∫ℝ ∫_{G_{n−1}} T r(ϕ̂_{ρ}ϕ̂_{ρ}^{∗})dμ_{1}(ρ)dℓ_{n} = 0

qui entraîne que ϕ est nulle.

Si maintenant, on considère ϕ ∈ L_{c}^{∞}(G). Soit {f_{n}}_{n} une unité approchée dans C_{c}^{∞}(G). Pour tout entier n, f_{n} ∗ ϕ ∈ C_{c}^{∞}(G). Soit ρ ∈ E, si ϕ̂_{ρ} est nul alors ˆ (f_{n} ∗ ϕ)_{ρ} est nul. Donc, d’après ce qui précède, f_{n} ∗ ϕ est nul (pour tout entier n). Mais la suite (f_{n} ∗ ϕ)_{n} convergeant vers ϕ dans L^{1}(G), cela entraîne ϕ = 0 presque partout sur G.

References

[1] Corwin, L., and F. P. Greenleaf, Fourier transforms of smooth functions on certains nilpotent Lie groups, J. of Functional Analysis, 37 (1980), 203–217.

[2] —, “Representations of Nilpotent Lie Groups and their Applications, Part I, Basic Theory and Examples,” Cambridge Studies in Advanced Mathematics 18, (1990).

[3] Dixmier, J., “Algèbres enveloppantes,” Cahiers scientifiques, fascicules 37, Gauthier - Villars, Paris (1974).

[4] Kirillov, A. A., Plancherel measure for nilpotent Lie groups, Functional Analysis and Applications 1 (1967), 330–331.

[5] Lipsman, R.L., and J. Rosenberg, The behavior of Fourier transforms for nilpotent Lie groups, Prépublication 1994.

[6] Moss, J.D., A Paley-Wiener theorem for selected nilpotent Lie groups, J. of Functional Analysis 114 (1993), 395–411.

[7] Park, R., A Paley-Wiener theorem for all two and three step nilpotent Lie groups, J. of Functional Analysis 133 (1995), 277–300.

[8] Scott, D., and A. Sitaram, Some remarks on the Pompeiu problem for groups, Proc. Amer. Math. Soc. 104 (1988), 1261–1266.

Gayatri Garimella Département de Mathématiques Université de Poitiers 40, Avenue du Recteur Pineau F-86022 Poitiers, France

Received February 27, 1995 and in final form October 4, 1995