随着人工智能的不断发展，一些科学家担心在不久的未来，人工智能技术会超越人类的智慧，甚至会反过来控制或毁灭人类。对这一灾难性的预测来自一群世界上公认最聪明的人，包括微软创始人比尔盖茨、英国科学家史蒂芬霍金以及美国的科技狂人伊龙马斯克。甚至有学者认为，人工智能超过人类的时间点起点已经逼近，很可能就在十几年后，人工智能不是像核武器一样消灭人类，而是会逐步取代人类。真正可怕的是智力，他们将比人类更聪明，更擅长社交，更有工作能力。比尔盖茨说，如果我们能够很好的驾驭机器人，机器能够为人类造福。但如果若干年后机器发展的超过人类的智能，那么他们就将成为人类的心头大患，不久前，著名科学家史蒂芬霍金发出警告，未来100年内，人工智能将比人类更为聪明，机器人将控制人类。
霍金曾与特斯拉CEO伊龙马斯克共同发表公开信，他们认为人工智能的发展应该受到控制。信中称，如果智能机器无法保障安全，人类可能陷入黑暗的未来。一方面，人工智能让人类越来越缺乏思考，另一方面，其自身则有可能越来越聪明，从而威胁到人类的生存。马斯克也提出警告，最少只需5年，智能机器可能就会带来极端威胁。他说，应该保持高度警惕。如果让我猜测人类生存的最大威胁，那可能就是人工智能。牛津大学哲学教授尼克博斯特伦与詹姆斯巴拉特认为，现在我们人类就像一群摆弄这一颗危险炸弹的无知孩童，即便是出于好意而创造的人工智能，他仍有犯下种族灭绝罪行的倾向。
未来人类可能真的被人工智能完全打败。马斯克曾说，我们需要万分警惕人工智能，他们比核武器更加危险。AI摧毁人类如同毫无罪恶感的碾死蚂蚁，并且身上有很多AI已经表现出了有独立意识的前兆。俄罗斯网红机器人小P多次从实验室越狱，逃出50米后因为电量耗光而停下。美国也有两台聊天机器人忽然用自创的语言单独交流，被工作人员强行关闭。1997年，深蓝计算机打败当时世界上第一国际象棋棋手后，人类断定AI永远无法在复杂的围棋上打败人类。没想到20年后的今天，阿尔法狗就以3:0的成绩赢得了世界排名第一的柯洁。
马斯克多次称人工智能是人类当下面临的最大威胁。科学家霍金生前也多次强调，AI的崛起可能是人类文明的终结。近日，由于要换脸诈骗的崛起又一次给人类敲响了警钟，引起了新一轮恐慌。人工智能open AI开发并训练的Chat GPT能够通过图灵实验有自己的人设与观点。如果继续训练下去，按照摩尔定律，Chat GPT未来有可能拥有自我意识。一旦自我意识突破，人工智能就有可能凌驾于人类之上，开始反抗人类，如同流浪地球里的人工智能帽，企图*死所有人。360董事长周鸿毅更是认为超GPT是潘多拉盒子，人工智能一定会把人类消灭，而在过去40亿年中，所有的生命演变的确都是优胜劣汰，这GPT在某些领域也已经开始展现出比人类更高的智慧，所以人类对人工智能的恐慌也并非空穴来风。
不论如何，科学家认为，未来对于人工智能的制造，一定要将不得伤害人类设定为其最重要的形式规则。
