Voce conseguiu instalar o sistema e ele não travou? Trava somente utilizando o Mac OS então? A pasta térmica foi aplicada corretamente, e é de boa qualidade? Os fans funcionam? Voce escuta barulho deles, sente o ar quente saindo do gabinete? Já que voce abriu o mac pra trocar pasta térmica, não esqueceu de reconectar nenhum sensor de temperatura?
Supondo que está tudo ok com pasta térmica, fans, sensores, acho que o próximo passo é testar o hardware individualmente.
Eu testaria primeiro memória. Instala somente 1 pente de memória que voce tenha certeza absoluta que funciona (testado em outro computador!), e ve se trava. Se travar, troca o pente de memória de slot e testa de novo. Testa todos os slots de memória com apenas um pente que voce saiba que funcione.
Se funcionar, parte pra outra coisa. Desconecta só o módulo de bluetooth da placa e testa. Depois o wifi. E assim sucessivamente, até achar o que tá dando problema. Usa um HD ou SSD que voce tenha certeza que funcione também. Por fim, se nada resolver, pode ser algum problema na placa mesmo. Tira a placa mãe e faz uma inspeção cuidadosa. Ve se não tem nenhum capacitor estufado, alguma trilha com problema, alguma marca de corrosão, umidade, etc.
Voce também pode tentar rodar o Apple Hardware Test. Pode tentar dar boot com um live cd de alguma disto linux e fazer o memory test;
Enfim, é trabalho de detetive agora. E tentar sempre testar uma coisa de cada vez, uma variável de cada vez. Senão voce pode não conseguir identificar o problema.
