O VLC é excelente, tanto no Mac quanto no Windows. Esse aviso do Mac é apenas porque o app não veio da App Store. Pode ignorar e seguir com a instalação.
Se ele está bloqueando a abertura do instalador, é só ir nos Settings do Mac OS, aí Security e então clicar em "Open anyway".