Dans un futur mystérieux, des organismes cristallins appelés « Gemmes » peuplent un monde dévasté par six météores. Chaque Gemme se voit attribuer un rôle afin de lutter contre les Lunariens, une espèce qui les attaque pour briser leurs corps et s’en servir comme décorations.
Phosphophyllite, également connu sous le nom de Phos, est une jeune Gemme fragile qui rêve d’aider ses amis dans l’effort de guerre. Au lieu de cela, on lui demande de compiler une encyclopédie en raison de son état de santé délicat. Après s'être lancé à contrecœur dans cette tâche, Phos rencontre Cinnabar, une gemme intelligente qui a été reléguée à patrouiller l'île isolée la nuit en raison du poison corrosif que son corps produit. Après avoir constaté à quel point Cinnabar est malheureux, Phos décide de trouver un rôle que les deux gemmes rejetées pourront apprécier. Houseki no Kuni suit les efforts de Phos pour se rendre utile et protéger ses compagnons gemmes.