Lorsqu'on jette un dé cubique parfaitement équilibré un certain nombre de fois, les fréquences d'apparition des faces varient. Cependant, plus le nombre de lancers est important et plus ces fréquences sont proches de
\frac{1}{6}, la probabilité théorique d'obtenir
6.
C'est Jacques Bernoulli qui, le premier, donne un sens mathématique à ce résultat et le démontre dans le cas d'épreuves indépendantes (partie 4 de l'Ars Conjectandi). Siméon Denis Poisson (1781-1840), en 1835, donnera une formulation beaucoup plus floue et ambitieuse de ce résultat en en faisant une « loi » universelle, dite « des grands nombres ».
Le statisticien et mathématicien
Irénée-Jules Bienaymé (1796-1878), qui connaissait presque toutes les langues européennes, a traduit du russe les oeuvres de
Pafnouti Tchebychev (1821-1894), un des mathématiciens dont il était proche. C'est eux qui donnent leur nom à l'inégalité dont il est question à la
. Bienaymé est aussi l'un des premiers à critiquer très sévèrement les prétentions à faire du résultat de Bernoulli, repris et formalisé par Laplace, une « loi universelle », de la même façon qu'il critique les prétentions d'
Adolphe Quételet (1796-1874), son contemporain et correspondant.
Dans ses études fondatrices
Sur l'homme et le développement de ses facultés, et surtout son
Essai de physique sociale (1835), l'astronome, statisticien et probabiliste Adolphe Quételet prétend en effet fonder une nouvelle science appliquée au corps social en entier, selon laquelle les caractères moyens d'une population se rapportent véritablement à un homme moyen et que c'est la loi des grands nombres qui légitime cette « nouvelle physique », un des ancêtres de la sociologie quantitative. Son travail le
mènera aussi à construire un indice de masse corporel d'un individu ainsi que la création de l'Organisation météorologique internationale.
Quételet et Bienaymé comptent parmi les fondateurs de la statistique moderne, notamment par le développement de méthodes d'enquêtes standardisées internationales.
Les ambitions du premier ont été suivies et développées par Francis Galton (1822-1911), le fondateur de la méthode d'identification des individus à partir de leurs empreintes digitales, lui-même à la source de théories criminelles. Le point de vue du second, beaucoup plus prudent et critique, anticipe celui des statisticiens modernes, qui ne voient dans les probabilités bien comprises qu'un moyen de critiquer des données statistiques.