RDP e VPS sono diversi l'uno dall'altro su un unico punto: RDP ha Windows preinstallato sul server mentre VPS viene preinstallato con Linux.
Non è che l'altro sistema operativo non possa essere installato sui server, ma dovrai pagare per le licenze del sistema operativo che non sono gratuite.