RDP y VPS se diferencian entre sí en un solo punto: RDP tiene Windows preinstalado en el servidor, mientras que VPS viene preinstalado con Linux.
No es que los otros SO no se puedan instalar en los servidores, pero tendrás que pagar por las licencias de los SO que no son gratuitas.