Der Witz an SegWit aber ist doch, dass sie schon nach den jetztigen Regeln gültig sind. Deswegen ist es ja auch nur ein Softfork. Und aus diesem Grund, sollte er eben doch von den anderen Minern akzeptiert werden.
So einfach ist das halt nicht - der Softfork-Mechanismus (BIP 9) sieht extra die Schwelle vor, damit die Blockchain weiter konsistent bleibt und z.B. kein Chain Split entsteht. Denn ein Softfork ist trotz allem ein Fork: Das Regelwerk ändert sich, Blöcke nach den alten Regeln werden dadurch für Clients, die nach den neuen Regeln arbeiten, gegebenenfalls ungültig (sobald sie auch nur eine Transaktion enthalten, die durch die neuen Regeln nicht mehr gültig ist).
Nehmen wir mal an, diese 95%-Schwelle bestehe nicht und ab einem bestimmten Block begännen einige Miner einfach so, Segwit-Blocks zu minen. Dann würden eine Zeitlang weiterhin Blocks von alten Clients gemint. In diesen Blöcken können aber die neuen Regeln nicht gelten. Deswegen würden sie von den Segwit-Minern ignoriert. Es entstünde Chaos, da ständig Blocks alter Miner georphaned würden.
Siehe dazu auch hier: https://en.bitcoin.it/wiki/Softfork
Deshalb ist eine hohe Schwelle durchaus sinnvoll - ob 95% oder 80% macht nicht so viel aus, aber mehr als drei Viertel sollten schon die neuen Regeln akzeptieren können.