La validité de contenu évalue dans quelle mesure les divers items ou épreuves d’un instrument psychométrique sont représentatifs du ou des construits mesurés et de leurs différentes facettes. Ainsi, lorsque l’on cherche à établir la validité de contenu d’un instrument on se demandera, d’une part, si les items ou épreuves qui le composent sont des indicateurs valides du ou des concepts mesurés et d’autre part, on se demandera si tous les aspects ou facettes du ou des concepts évalués sont mesurés adéquatement par les items ou épreuves qui composent l’instrument. Ainsi, on dira que pour avoir une bonne validité de contenu : 1) les items ou épreuves doivent couvrir tous les  aspects principaux du construit mesuré; 2) les items ou épreuves doivent couvrir ces différents aspects de manière proportionnelle; et 3) l’instrument ne doit pas contenir d’épreuves ou d’items non-pertinents, c’est-à-dire des épreuves ou items qui ne sont pas des indicateurs valides du construit mesuré. Ainsi, la validité de contenu est largement déterminée lors du développement de l’instrument.

Haynes, Richard et Kubany (2005) cités dans Bernaud (2007) et Laveault et Grégoire (2014) proposent 7 règles essentielles de la validation du contenu d’un instrument psychométrique.

1. Définir avec rigueur le domaine et les facettes du construit mesuré et valider cette définition.
2. Utiliser un échantillon d’experts et de membres de la population cible (des personnes de la population à laquelle est destiné l’instrument) pour créer les items et définir les autres aspects de l’instrument.
3. Soumettre tous les aspects de l’instrument à une validation de contenu (y compris la forme, ainsi que les différentes conditions et situations d’utilisation envisageables).
4. Consulter plusieurs experts pour valider le contenu (les items ou épreuves) de l’instrument et quantifier leurs jugements à l’aide échelles formalisées.
5. Examiner la représentation proportionnelle des items ou épreuves relativement aux différentes facettes du construit.
6. Présenter les résultats de la validation de contenu lors de la publication de tout nouvel instrument.
7. Prendre en compte toutes les analyses psychométriques ultérieures pour affiner la validation du contenu (la validation de contenu, comme les autres aspects de la validité, est un processus continu auquel s’ajouteront des éléments de « preuve » au fil du temps).

Si certains aspects de la validité de contenu sont évalués de manière plus qualitative (ex. : validation de la définition des construits), ses autres aspects nécessitent une évaluation quantitative. En outre, le calcul de coefficients d’accord inter-juges permettra d’évaluer la pertinence, l’exhaustivité et la représentativité des items selon le jugement d’experts (au minimum deux, idéalement plus), alors que des analyses factorielles permettront d’identifier les items ou épreuves qui ne sont empiriquement pas liés au construit mesuré (et qui ne sont donc pas pertinents).

Il importe de mentionner que d’autres aspects d’un instrument et de son application doivent être évalués, soient : les instructions données aux personnes évaluées, les modalités de présentation des stimuli (items ou épreuves), les contraintes de temps (dans le cas des tests de performance chronométrés), les modalités de réponse (par exemple, si la modalité de réponse aux items crée de la confusion chez les personnes répondantes, cela diminuera d’autant la validité de l’évaluation réalisée) et les critères de cotation des résultats. Chacun de ces éléments participe à la validité de contenu. S’ils sont  inadéquats, ils limiteront la capacité de l’instrument à mesurer correctement les construits visés.

Enfin, notons que la validation du contenu d’un instrument psychométrique reste toujours relative au temps et au lieu où elle a été réalisée (les différences culturelles et sociales influencent la validité de contenu d’un instrument). Elle doit donc être réévaluée périodiquement et être évaluée pour toutes les populations dans laquelle l’instrument sera utilisé.