Tienes 20 aldeanos en 1x1.
Esos son 20 entidades moviendose, con el juego calculando continuamente los empujones y las interacciones con las paredes.
No es el lag grafico (zona con mucho cristal o cuevas que tarda mas en cargar), ni el lag de conexion (muchos datos enviados a la vez). Es retraso en el tiempo de calculo del servidor... porque un 1% de la potencia del servidor esta calculando interacciones entre esas 20 entidades, con otras 50 granjas iguales que halla en el servidor ya tienes el 50% del servidor trabajando continuamente, simplemente por no dejar suficiente espacio.
Si les das espacio, la tasa de calculso es mucho menor. Pero si apelotonas y no dejas sitio para que se aparten estas forzando una y otra vez al servidor a calcular esa tontería.