...

In naher Zukunft werden Maschinen intelligenter sein als ihre Erbauer, und
sie werden wiederum Maschinen bauen, die noch intelligenter sind.

...

Wir wissen noch nicht, ob Menschen Maschinen erbauen können, die intelligenter sind als wir Menschen. Wenn wir es können, wissen wir nicht, wie intelligent solche Maschinen werden können (eher '10%' intelligenter als Menschen oder eher '1000 mal' so intelligent wie Menschen; eher in 1 Jahr oder eher in 1000 Jahren).
Wenn eine KI viel intelligenter ist als wir Menschen, sollten wir beten. Wenn sich diese KI nämlich überlegt, dass sie uns für ihre Ziele nicht braucht, werden die Menschen sehr schnell ausgestorben sein.

Superintelligenz, Artificial Superintelligence, ASI:
http://www.dasgelbeforum.net/forum_entry.php?id=373103

Existenzielle Gefahren:
http://www.dailymail.co.uk/sciencetech/article-2953478/12-ways-world-end-likely-causes-...