Οι σύμμαχοι έχουν ηττηθεί. Ο Χίτλερ κερδίζει τον πόλεμο και η σημαία με τη σβάστικα κυματίζει ψηλά σε όλες τις Ευρωπαϊκές πρωτεύουσες, αλλά και στις Δυτικές Πολιτείες της Αμερικής. Οι πολιτείες της Ανατολικής Αμερικής βρίσκονται υπό την Ιαπωνική κυριαρχία και η μόνη ελπίδα του κόσμου είναι μερικές ομάδες επαναστατών που παλεύουν ακόμα για την απελευθέρωση.
Η σειρά αυτή είναι βασισμένη στο βιβλίο του Φίλιπ Κ. Ντίκ, του 1962, το οποίο διαδραματίζεται σε μία Αμερική χωρισμένη σε τρεις ζώνες. Η Δυτική είναι κάτω από την κυριαρχία των Γερμανών και ονομάζεται «Το μεγαλύτερο Ράιχ», ενώ η Ανατολική βρίσκεται κάτω από την Ιαπωνική κυριαρχία και ονομάζεται «Ιαπωνικές Πολιτείες Ειρηνικού». Στην μέση βρίσκεται μία μικρή ουδέτερη ζώνη.Το σήριαλ επικεντρώνεται σε δύο πρωταγωνιστές. Η Τζουλιάνα Κρέιν, που έχει μεγαλώσει στον Σαν Φραντσίσκο, με Ιαπωνική κουλτούρα, ήσυχη και ικανοποιημένη με τη ζωή της ώσπου η αδελφή της πριν πεθάνει της δίνει ένα βίντεο που έχει ετοιμάσει «ο άνθρωπος στο ψηλό κάστρο» το οποίο παρουσιάζει πως θα ήταν ο κόσμος εάν οι σύμμαχοι είχαν κερδίσει τον πόλεμο. Ουσιαστικά δηλαδή παρουσιάζει τον κόσμο όπως τον γνωρίζουμε εμείς σήμερα.
Ο δεύτερος πρωταγωνιστής είναι ο Τζο, ο οποίος εντάσσεται στο επαναστατικό κίνημα της Νέας Υόρκης και ταξιδεύει δυτικά σε μία μυστική αποστολή και με έναν μυστικό προσωπικό του σκοπό. Οι δύο πρωταγωνιστές συναντιούνται και η δράση ξεκινάει.