Die Invariantentheorie entwickelte sich in der Mitte des 19. Jahrhunderts beim Studium der Operation der Gruppe SL_n(ℂ) auf homogenen Polynomen in n Veränderlichen vom Grad d. Sie ist verbunden mit den Namen Cayley, Sylvester und Clebsch.

In vielen expliziten Fällen wurden Fundamentalsysteme von Invarianten, d. h. minimale Erzeugendensysteme des Rings der Invarianten, gefunden. Die Entwicklung gipfelte in Arbeiten von Hilbert und Gordon und schließlich in dem bekannten 14. Hilbertschen Problem. Hier hat Hilbert selbst für die Gruppe \(G=S{L}_{m}({\mathbb{C}})\) einen Beitrag geliefert. Er benutzte folgende Eigenschaft: Sei \(\varrho :G\to G{l}_{n}({\mathbb{C}})\) eine lineare Darstellung und \(U\subseteq {{\mathbb{C}}}^{n}\) ein invarianter Unterraum, dann gibt es einen invarianten Unterraum U′, so daß \(U\oplus {U}{^{\prime} }={{\mathbb{C}}}^{n}\) ist. Gruppen mit dieser Eigenschaft nennt man heute reduktive Gruppen.

Die Untersuchung der Operation von SL₂(ℂ) auf den binären quadratischen Formen (SL₂(ℂ) operiert hier auf dem Vektorraum \(\{a{x}^{2}+bxy+c{y}^{2}|a,b,c\in {\mathbb{C}}\}\) durch die Substitution \(x\to \alpha x+\beta y,\,\,y\to \gamma x+\delta y \) mit \(\begin{eqnarray}\left(\begin{array}{cc}\alpha & \beta \\ \gamma & \delta \end{array}\right)\in S{L}_{2}({\mathbb{C}})\end{eqnarray}\)) hat wahrscheinlich die älteste Geschichte und geht zurück bis auf Lagrange und Gauß (Disquisitiones Arithmetics). Bei dieser Operation ist die Diskriminante D = b² − ac invariant (wie man leicht nachrechnen kann), und es zeigt sich, daß der Ring der invarianten Funktionen \({\mathbb{C}}{[a,b,c]}^{S{L}_{2}({\mathbb{C}})}={\mathbb{C}}[D]\) von der Diskriminante erzeugt wird.

Aus der linearen Algebra kennt man die Operation der Gruppe \(G{L}_{2}({\mathbb{C}})\) auf dem Vektorraum der (2 × 2)-Matrizen \(A\to AX{A}^{-1}\) die zur Jordanschen Normalform führt. Die invarianten Funktionen werden hier von der Spur und der Determinante erzeugt: \({\mathbb{C}}{[{x}_{11},{x}_{12},{x}_{21},{x}_{22}]}^{G{l}_{2}({\mathbb{C}})}={\mathbb{C}}[{x}_{11}+{x}_{22},{x}_{11}{x}_{22}-{x}_{12}{x}_{21}]\).

Ein weiteres Beispiel ist der bekannte Satz über symmetrische Polynome: Jedes symmetrische Polynom \(P\in K[{x}_{1},\mathrm{...},{x}_{n}]\) läßt sich als Polynom \(P=H({\sigma }_{1},\mathrm{...},{\sigma }_{n})\) in den elementarsymmetrischen Polynomen σ_i definiert durch \({T}^{n}+{\sigma }_{1}{T}^{n-1}+\cdots +{\sigma }_{n}=\displaystyle \prod _{i=1}^{n}(T-{x}_{i})\), schreiben. In der Sprache der Invariantentheorie heißt das \begin{eqnarray}K{[{x}_{1},\mathrm{...},{x}_{n}]}^{{S}_{n}}=K[{\sigma }_{1},\mathrm{...},{\sigma }_{n}],\end{eqnarray}S_n die Permutationsgruppe. Allgemeiner ist der Ring der invarianten Funktionen K[x₁,…,x_n]^G für eine endliche Gruppe G endlich erzeugt (Emmy Noether).

Ein schönes (zu Beginn des 20. Jahrhunderts bewiesenes) Resultat ist der Satz von Weizenboeck: Sei \(G\subseteq G{l}_{n}(K)\) eine eindimensionale algebraische Untergruppe, K ein Körper der Charakteristik 0, dann ist der Ring der invarianten Funktionen \(K{[{x}_{1},\mathrm{...},{x}_{n}]}^{G}\) endlich erzeugt. Wenn z. B. \begin{eqnarray}G=\left\{\left(\begin{array}{ccc}1 & 0 & 0\\ t & 1 & 0\\ \frac{1}{2}{t}^{2} & t & 1\end{array}\right)\left|\right.t\in K\right\}\end{eqnarray} ist, dann ist \begin{eqnarray}K{[{x}_{1},{x}_{2},{x}_{3}]}^{G}=K[{x}_{1},{x}_{1}{x}_{3}-\frac{1}{2}{x}_{2}^{2}].\end{eqnarray} Die Invariantentheorie spielt naturgemäß eine wichtige Rolle beim Studium von Modulproblemen. Ein grundlegender Satz von Rosenlicht sagt: Sei G eine algebraische Gruppe, die auf der algebraischen Varietät X algebraisch operiert, dann existiert eine nichtleere, offene G–stabile Menge U ⊆ X, so daß der geometrische Quotient von U nach X existiert.

Ein Höhepunkt ist sicher Mumfords Geometrische Invariantentheorie. Erwähnt sei hier das folgende Resultat: Sei G eine affine reduktive algebraische Gruppe, die auf dem affinen Schema X = Spec(A) algebraisch operiert, dann ist Spec(A) → Spec(A^G) kategorialer Quotient. Sei U = {x ∈ X | Orbit(x) ist abgeschlossen und von maximaler Dimension }, dann existiert eine offene Menge W ⊆ Spec(A^G), so daß U → Wgeometrischer Quotient ist.

Für nicht reduktive Gruppen sind solche Untersuchungen schwieriger, weil der Ring der invarianten Funktionen A^G nicht endlich erzeugt sein muß. Hier sei folgendes Resultat erwähnt: Sei G eine affine unipotente algebraische Gruppe, die auf dem affinen Schema X = Spec(A) algebraisch operiert, dann sind die folgenden Bedingungen äquivalent:

1. H¹(G, X) = 0.
2. Spec(A) → Spec(A^G) ist trivialer geometrischer Quotient \((A={A}^{G}[{x}_{1},\mathrm{...},{x}_{r}])\).
3. Die Operation ist eine freie Gruppenoperation und A ist eine treuflache A^G-Algebra.

Im Rahmen der Computeralgebra wurden in den letzten Jahren Algorithmen zur Berechnung des Rings der invarianten Funktionen insbesondere für endliche Gruppen implementiert.