Die entsprechenden Einstellungen Lauten "SM3 Terrain Shader" und "Fallback Part Shader". Das sollte aber nicht das Problem sein denn Nvidia Karten mit DX11 unterstützen Shader Model 5.0 . Ich bin mit meinem Latein nun auch am Ende, du solltest dich an den Offiziellen Support wenden.
Über Google hab ich noch das gefunden http://forum.kerbalspaceprogra…ve/index.php/t-11151.html aber kp ob dir das hilft.