Patofisiologi retardasi mental berhubungan dengan disfungsi otak, yang biasanya disebabkan oleh perkembangan otak yang abnormal atau jejas otak karena penyebab genetik atau lingkungan. Faktor genetik akan menyebabkan perkembangan otak yang abnormal atau terhambat, dan sering kali disertai dengan malformasi fisik yang spesifik untuk sindrom tertentu.

Faktor-faktor lingkungan bisa menyebabkan gangguan perkembangan otak pada masa prenatal maupun perinatal. Selain itu, faktor lingkungan juga bisa menyebabkan perkembangan otak yang semula baik menjadi terhambat.[5]