Si estás en una región del espacio cuya temperatura es de varios miles de grados, ¿podrías entrar allí y aún así perder calor (y sentir frío)?

Es una pregunta interesante. Dado que en el espacio no puede haber convección libre, las únicas fuentes de transferencia de calor son la conducción y la radiación. Las escasas moléculas del espacio tendrían una conductividad tan baja que ni siquiera se acercarían a calentarlo más rápido de lo que pierde calor por la radiación. Sin embargo, hay un gran “pero” aquí. Todo depende de qué tan lejos lleguen las moléculas calientes. Si estás en medio de una gran nebulosa, que está a varios miles de grados, estás recibiendo calor radiativo de toda la nebulosa, lo que te cocinaría vivo. Si, por otro lado, estuvieras en medio de una pequeña región de gases dispersos altamente calentados, recibirías tan poca radiación que apenas valdría la pena mencionar, de hecho, los gases irradiarían su propio calor y muy enfríe rápidamente a cerca de cero.

Si estuvieras en una pequeña región de calor que de alguna manera se mantuvo mágicamente caliente sin una fuente de calor, probablemente aún perderías calor bastante rápido, pero aún te sofocarías mucho antes de morir de frío.

Sí, tu presunción es correcta.
Pero (siempre hay un pero)
Depende de cómo su región se esté elevando hasta varios miles de grados. Si la fuente de calor es radiación térmica, esa radiación comenzará a calentarlo hasta varios miles de grados.
Si la fuente de calor se ha ido, se enfriará como sospecha.