RDP e VPS são diferentes um do outro em um único ponto: o RDP tem o Windows pré-instalado no servidor, enquanto o VPS vem pré-instalado com o Linux.

Não é que o outro SO não possa ser instalado nos servidores, mas você terá que pagar pelas licenças do SO que não são gratuitas.