Olá,
É totalmente possível, efetuei esse mesmo procedimento, porem no meu Mac mini late 2014, coloquei um SSD M.2 Samsung 960 Pro de 512, o grande detalhe é que, isso só é possível através de um adaptador que converte a entrada M2 para o padrão Apple.
Seguem os links que eu segui para efetivar o meu upgrade:
https://pt.ifixit.com/Answers/View/411888/NVME+M.2+SSD+with+adapter
https://www.youtube.com/watch?v=NU6yatTvyyk
No primeiro link ele lista, todo o procedimento com as fotos no instagram da migração para o M2 no imac 2017
https://www.instagram.com/p/Bs0loRDga6c/
https://www.instagram.com/p/Bs06bPLAz1p/
Qualquer duvida estou a disposição!