Não vejo isso como um problema, em minha opinião a memória deve sim ser utilizada para ajudar e obter mais agilidade e não ficar parada. Quanto ao gerenciamento voce mesmo percebeu que o sistema libera a memória quando necessário.
Eu coloquei 8 GB e o sistema passou a usar mais memória com ganho de performance, sempre digo memória foi feita para ser usada, de que adianta colocar 32 GB e o sistema só usar 2 GB.