Vc realmente precisa desenvolver em Swift? Existem algumas SDK's que facilitam o desenvolvimento de APPs multiplataforma.
Algumas opções são: Flutter, Xamarin, Phonegap e Ionic
De qualquer maneira, um mac mini seria suficiente sim, mas investiria num Macbook Pro 2012 ou mais recente com pelo menos 8Gb de memória.