"Erehtyminen on inhimillistä; Todella virheellisiä asioita vaatii tietokoneen. ”William E. Vaughan teki tämän havainnon jo vuonna 1969. Automaation hallintaan siirtyminen antaa järjestelmän mahdollisuuden mennä pieleen ja aiheuttaa vakavia vahinkoja ennen sen tarkistamista.
Automaatio ei ole uusi, mutta siitä on tulossa paljon laajempi leviäminen digitaalisten ja fyysisten järjestelmien integroinnin ansiosta. Automaation ylösalaisin mittakaavassa on suuri tehokkuus. Mutta asetuksi ja unohda -järjestelmälle luottamisen haittapuoli on, että joku saattaa epäonnistua asettamaan sitä oikein.
Järjestelmällä, joka yksinkertaisesti seuraa läpi ilman puuttumista ja tapaa pysäyttää kone, voi olla tuhoisia vaikutuksia. Siksi tekniikka voi luoda tyyppisen tilanteen, joka on kuvattu "Valvojan oppipoika", kun se, mikä näyttää helpottavan elämää, loppuu tosiasiassa hallitsematta.
