Não vai conseguir.
Todos os firmware da Apple ( oficiais ) fazem uma verificação no servidor da Apple de atualização, se aquele firmware, e mais algumas informações do seu iPhone com o servidor de atualização, não baterem, ele não será restaurado.
O pessoal que faz jailbreak e outras coisas, tem um utilitario chamado TinyUmbrella, mas ai desculpe lhe dizer, ele somente vai conseguir fazer este "downgrade" para a 3.1.x se você tivesse utilizado quando efetuou a atualização para o 3.1.x/4.x, pois ele salva a chave SHSH e envia para o pseudo servidor de atualização do Saurik ( que imita o da Apple.
Assim, você não tem muito opção, desculpe.