L’oumma rassemble d’abord des musulmans et, le cas échéant, des juifs et des chrétiens avec lesquels ils peuvent conclure une alliance. Plus tard, les interprétations se feront parfois plus restrictives, comme celle du commentateur Al Râzi (865-925 ou 935), pour qui aucune fraternité ne peut exister sauf entre musulmans. L’oumma est également définie par le Coran comme « la meilleure communauté qui ait été produite pour les hommes ». « Vous ordonnez le bien, interdisez le mal et vous croyez en Dieu », affirme Mohammed à ses compagnons (3, 110).
Dans la réalité, et dès la mort de Mohammed, ses compagnons se sont violemment opposés pour désigner son successeur. Aujourd’hui encore, l’islam est divisé en trois grandes familles – sunnites (85 % de l’ensemble), chiites (14 %) et kharidjites (1 %) –, subdivisées elles-mêmes en plusieurs courants ou écoles théologiques, juridiques, philosophiques ou même mystiques (les soufis).
La diversité n’est pas seulement religieuse mais aussi ethnique et culturelle : 80 % des musulmans dans le monde ne sont pas arabes mais asiatiques, africains ou, désormais, aussi européens. Selon les époques et le contexte politique, elle a pu favoriser la controverse et la réflexion théologique, ou la violence.
Le théologien Mohamed Bajrafil voit trois raisons à la difficulté actuelle d’une partie des musulmans à accepter leur pluralisme interne : "L’ignorance de l’histoire de l’islam qui pousse à idéaliser le passé ; la “salafisation” des esprits ; et enfin, dans les pays de migration, l’idée selon laquelle seule l’unité permettra de tenir face au rouleau compresseur non musulman." Or l’acceptation des différences entre musulmans est, à ses yeux, la condition d’une acceptation aussi des autres croyants comme des non-croyants.