¿Cómo podría eliminar químicamente el material gráfico de la superficie de un CD u otro medio de disco óptico?

Muy, muy cuidadosamente. La superficie reflectante activa en el lateral del disco. Por lo tanto, cualquier daño en la parte superior del disco es mucho más probable que cause daños permanentes que daños en la parte inferior.

Existen varios tipos de CD producidos comercialmente. Uno más común es un sustrato de aluminio y una obra de arte pintada serigrafiada.

De hecho, deberá eliminarlo químicamente, con un mínimo de roce o perturbación mecánica. Si tiene que cambiar el disco, hágalo desde el centro hasta el borde exterior solamente. El truco será encontrar un solvente para la pintura que no dañe la base de plástico. Intentaría lo siguiente, en orden

Alcohol. (Espíritus metolados, alcohol isopropílico, etc.)
A base de nafta (un solvente ligero como un fluido más ligero)
Un solvente de hidrocarburo más pesado (parafina o queroseno)
Un solvente de acetona (diluyentes de pintura)
Alguna forma de cloruro de metileno (removedores de pintura)

Use pequeñas cantidades hasta que encuentre lo que funciona, en todo caso. Y pruebe en un disco roto o dañado si es posible primero.