Patofisiologi fibroadenoma mammae (FAM) sebagian besar dipengaruhi oleh aktivitas hormonal. Kelenjar mamae berasal dari bagian kaudal jaringan ektodermal yang dikenal sebagai garis susu, dimulai dari aksila hingga inguinal pada permukaan anterior dari fetus yang sedang berkembang. Saat pubertas, hormon pituitari dan ovarium mempengaruhi stimulasi dari pembesaran payudara wanita secara primer menyebabkan akumulasi dari adiposit.

Setiap payudara mengandung 15-22 unit kelenjar yang dikenal dengan lobulus payudara yang dibatasi oleh ligament Cooper. Setiap lobulus terdiri dari kelenjar tubuloalveolar dan jaringan adiposa. Setiap lobulus berakhir pada duktus laktiferus yang selanjutnya keluar pada permukaan puting. Multipel duktus laktiferus berkumpul untuk membentuk ampula yang melintasi puting untuk membuka pada bagian apeks. Di bawah permukaan puting, duktus laktiferus membentuk dilatasi besar yang dinamai sinus laktiferus dimana berfungsi sebagai reservoir ASI saat laktasi.

Massa payudara dapat mengenai bagian manapun dari jaringan yang membentuk payudara termasuk kulit, duktus, lobulus dan jaringan ikat. Fibroadenoma berasal dari duktus terminal dari lobulus.