La validité de critère est aussi appelée validité critériée, validité en lien avec un critère externe, ou encore validité pragmatique. Ce type de validité consiste à vérifier la capacité d’un instrument à distinguer les gens entre eux et, plus spécifiquement, à déterminer jusqu’à quel point ses résultats sont associés à une variable indépendante (variable critère) auxquels ils devraient  normalement être associés. On cherchera le plus souvent à vérifier le degré d’association entre l’instrument et une variable que l’on souhaite prédire ou expliquer avec celui-ci. La validité de critère constitue donc la principale preuve de l’utilité pragmatique d’un instrument. Par exemple, on pourra montrer qu’un test de dépistage du TDAH chez l’enfant permet de départager avec succès les enfants qui ont un TDAH de ceux qui n’en ont pas. On pourra aussi montrer qu’un test d’intelligence est associé à la réussite scolaire des élèves, ou qu’un inventaire d’intérêts professionnels permet de prédire la satisfaction en emploi.

On divise généralement la validité de critère en deux types, nommés  respectivement validité concomitante (ou validité de concomitance) et validité prédictive. Dans le premier cas, les résultats de l’instrument sont comparés à des données déjà disponibles concernant le critère pour évaluer leur degré d’association, ou à des données ayant été obtenues au même moment que celles de l’instrument à l’étude. Dans le cas de la validité prédictive, on vérifie le degré d’association entre les résultats de l’instrument et un critère futur, pour lequel la mesure ne sera disponible que plus tard. Par exemple, si on administre un test d’intelligence à un groupe d’élèves et que l’on calcule les corrélations entre leur QI et leurs notes scolaires indiquées au plus récent bulletin, on obtient alors une donnée sur la validité concomitante du test d’intelligence. Par contre, si on administre le test de QI au début de l’année scolaire et que l’on calcule les corrélations entre le score de QI des élèves et leurs résultats cumulatifs à la fin de l’année scolaire, on obtient alors une donnée sur la validité prédictive de ce test d’intelligence.

En somme, la validité de critère consiste à vérifier la capacité d’un instrument à distinguer les personnes entre elles sur des variables pertinentes (par exemple, distinguer les personnes qui performeront le mieux dans un type d’emploi donné, les criminels qui sont le plus à risque de récidive, etc.) Un instrument psychométrique ne devrait être utilisé que pour expliquer des phénomènes psychologiques, sélectionner des personnes ou prédire des critères pour lesquels sa validité de critère a été démontrée. Un test qui aurait une faible validité de critère pour les utilisations pour lesquelles il a été développé serait jugé inutile. Par exemple, un  test d’aptitudes mécaniques qui ne serait pas associé au succès dans les programmes de formation professionnelle du domaine de la mécanique ou à la performance dans les emplois nécessitant des compétences en mécanique serait inutile.