eine GruppeG zusammen mit einer Menge M, auf der die Gruppe G treu operiert.

Eine Gruppenoperation von (G, e, ·) mit e dem Einselement und · der Gruppenmultiplikation, ist eine Abbildung \begin{eqnarray}G\times M\to M,\ \ \ \ \ \ \ (g,m)\mapsto g\cdot m,\end{eqnarray} für die für alle f, g ∈ G und m ∈ M gilt: \begin{eqnarray}e\cdot m=m,\ \ \ \ \ \ \ \ (f\cdot g)\cdot m=f\cdot (g\cdot m).\end{eqnarray}

Die Gruppe operiert treu, falls gilt \begin{eqnarray}f\cdot m=m,\ \ \ \ \ \ \ \ \forall m\in M\Rightarrow f=e.\end{eqnarray}

Es bezeichne S_M die Menge der bijektiven Selbstabbildungen der Menge M. Durch Hintereinanderausführen der Abbildung wird eine Multiplikation definiert, die S_M zu einer Gruppe macht. S_M heißt die Permutationsgruppe von M. Ist M die endliche Menge {1, 2, …, n}, so erhält man die endliche Permutationsgruppe S_n. Ist M eine beliebige endliche Menge mit n Elementen, so ist SM isomorph zu S_n. Der Isomorphismus wird durch eine Numerierung der Elemente gegeben.

Ist eine beliebige Gruppenoperation von G auf einer Menge M gegeben, so wird dadurch ein Gruppenhomomorphismus Φ : G → S_M definiert. Der Kern von Φ besteht aus den Elementen von G, die trivial auf allen Elementen von M operieren. Die Gruppenoperation ist treu genau dann, wenn Kern Φ = {e}. Im Fall einer treuen Gruppenoperation kann G deshalb mit einer Untergruppe von S_M identifiziert werden. Die Permutationsgruppe S_M und all ihre Untergruppen sind per Definition Transformationsgruppen der Menge M. In diesem Sinne kann man Transformationsgruppen auch als Untergruppen von Permutationsgruppen definieren.

Jede Gruppe G tritt als Transformationsgruppe auf. Als Menge M nehme man etwa G selbst und lasse G durch Linkstranslation (g, m) ↦ g · m auf sich selbst operieren.

Ist G endlich, so nennt man G eine endliche Transformationsgruppe. Ist M ebenfalls endlich, etwa #M = n, so ist G isomorph zu einer Untergruppe von S_n.

Hat man eine Transformationsgruppe G zusammen mit der Menge M gegeben, so kann man nützliche Informationen sowohl über die Gruppe G als auch über die Menge M erhalten.

Hat die Menge M eine zusätzliche Struktur, so ist es sinnvoll, nur solche Gruppenoperationen zu betrachten, die diese Struktur erhalten. IstM z. B. ein reeller Vektorraum, so betrachtet man Gruppenoperationen, für welche die Operation jedes Gruppenelements linear auf M ist. Man erhält in dieser Weise eine Einbettung von G in GL(M). Die Gruppe G wird realisiert als lineare Gruppe. Dieser Fall hat besondere Bedeutung in der Geometrie. Man studiert z. B. spezielle Objekte und Größen, die invariant unter gewissen Transformationsgruppen, z.B. den Drehgruppen, bleiben (Geometrie klassischer Gruppen). Umgekehrt untersucht man, welche lineare Gruppen ein gegebenes geometrisches Objekt invariant lassen. Die Gruppenoperationen nennt man Symmetrien des Objekts. Dies führt z. B. auf die Theorie der kristallographischen Gruppen, die die Symmetrie der Kristalle beschreiben, und auf die Theorie der Symmetriegruppen platonischer Körper.