Hersenen van mannen en vrouwen kennen wat macroanatomische verschillen, vergelijkbaar met de verschillen in de vorm van het gezicht. Het belangrijkste is dat de beide hersenhelften van vrouwen een grotere verbinding hebben. Belangrijker zijn nog wat kleinere celstructuren op enkele gebiedjes in de hersenen die sterk afwijken. Die celgebiedjes blijken ook bij transseksuelen af te wijken naar de andere sexe toe.
Recentelijk is gebleken dat ook de geslachtsbepaling in de hersenen begint. De minieme hoeveelheid geslachtshormonen zijn voldoende om de geslachtsklieren in de gewenste richting te sturen. Doordat het proces van geslachtsbepaling zichzelf versterkt kan een kleine hoeveelheid mannelijk of vrouwelijk hormoon de geslachtsklieren aanzetten tot een steeds grotere productie. Bij sommige dieren (krokodillen bv) is het al genoeg als de temperatuur wat hoger is om de jongen in een mannelijke richting te sturen.
De geslachtshormonen hebben hun invloed overal in het lichaam, dus ook weer in de hersenen. De oppervlakkig waarneembare anatomische verschillen in de hersenen zijn een beetje het topje van de ijsberg, want het is duidelijk dat hersenen wel wat meer zijn dan hun walnootvorm.
Het is biologisch gezien natuurlijk wel belangrijk, dat ook de seksuele voorkeur en het gedrag van een persoon overeenkomt met zijn geslacht. Dat moet dus op een of andere manier in de hersenen worden verankerd. Het hele proces vindt tijdens de embryonale ontwikkeling plaats en er kunnen dingen verkeerd gaan als de moeder bijvoorbeeld een bijnierafwijking heeft. Dochters gaan dan jongensachtig en mannelijk gedrag vertonen.
Dat gezegd zijnde, zijn geslachtsverschillen in de hersenen minder belangrijk dan de individuele verschillen. Veel vrouwen kunnen goed zijn in dingen waarin mannen iets beter zijn en ook andersom.