¿En qué etapa del estudio de las matemáticas las matemáticas se vuelven tan difíciles o abstractas que la persona promedio ya no puede entenderlas?

No hay una respuesta correcta para esta. Cada uno tiene su propio conjunto de intereses y habilidades diferentes en matemáticas como en todo lo demás. Mi propia apreciación de la poesía nunca se desarrolló mucho más allá de Ogden Nash, cuya poesía me encanta.
Matemáticamente encuentro que el cálculo y la geometría son factibles y tolerables, pero muy claros. ¡Pero estoy totalmente metido en la teoría de números! ¿Sabía que el segundo número más grande compuesto de dígitos distintos (es decir, no repetidos) cuyo cuadrado está completamente formado por dígitos que no contiene es 203879 (cuyo cuadrado = 41566646641)? Bueno ahora lo haces! Y puedes encontrar el único que es más grande.
Supongo que depende de lo que llames la persona promedio, pero el estudio de algunas ramas de las matemáticas, particularmente las aparentemente inútiles como la teoría de números, siempre es una mina de oro de delicias, la mayoría de las cuales son fácilmente comprensibles.