Tienes un buen ordenador, por lo que dudo que el problema sea ese. Por si a caso, te recomiendo actualizar los drivers de la tarjeta gráfica (lo puedes hacer desde le página oficial de nVIDIA y buscando el modelo de tu tarjeta gráfica ahí).
De todas formas supongo que el problema está en el cliente del juego.
Te recomiendo que vayas al botón inicio de Windows y escribas en "Buscar programas y archivos" lo siguiente: %appdata%
Pulsa enter y se te abirar la carpeta donde se alojan los archivos de Minecraft. Elimina la carpeta .minecraft y vuelve a descargar el cliente del juego desde la web oficial:
http://www.minecraft.netUna vez instalado prueba de volver a entrar en el servidor sin instalar ningún mod. Si te funciona bien, prueba instalando Optifine o Rei's Minimap otra vez correctamente (mírate tutoriales por YouTube).
Prueba esto a ver si se arregla el problema, sino házmelo saber y buscaremos otra solución!
Espero haber ayudado, un saludo.