A la fin du XIXe siècle, Joseph Ferdinand Cheval est un facteur un peu excentrique qui officie dans la Drôme. Un jour, il rencontre Philomène. La jeune femme tombe sous le charme et voit une belle âme dans cet être hors norme. Puis Philomène tombe enceinte et donne naissance à Alice. Alors qu'il fait sa tournée, Joseph Ferdinand remarque une pierre à la forme étrange. Pour lui, c'est le signe qu'il doit construire un palais pour sa fille chérie. Treize ans ont passé et le palais devient de plus en plus grandiose. Devenue adolescente, Alice ne supporte plus le comportement de son père. Elle tombe malade et Joseph Ferdinand est persuadé qu'il doit finir son oeuvre pour la sauver...