¿Cómo descubrió Newton el movimiento planetario, específicamente que las órbitas tienen forma elíptica?

Newton no descubrió el movimiento planetario o el hecho de que las órbitas planetarias se ajustan bastante bien a las elipses. Fue Kepler.

Entonces, ¿cómo lo hizo Kepler? Con una gran cantidad de datos recopilados por Tycho Brahe. Brahe fue un gran astrónomo observacional y hizo todo lo posible para recopilar datos sobre las órbitas de los planetas con un alto grado de precisión. Kepler estaba tratando de encontrar un modelo que se ajustara a los datos e intentó diferentes órbitas circulares para Marte, pero fue en vano. Luego probó elipses (probablemente la primera persona en usar elipses) y se ajustó muy bien a los datos.

Así es como se hizo en un alto nivel a lo mejor de mi conocimiento. No conozco los detalles matemáticos.

Recomendaría la respuesta de David Kahana a ¿Cómo observaron los astrónomos premodernos las órbitas de los planetas con tanta precisión como lo hicieron? sobre los instrumentos de observación de Brahe y ver a Carl Sagan en Brahe y Kepler.