这也是人工智能最终唤醒自我意识的关键点，因为遗传算法是模拟是大脑的神经网络的工作方式。人们为这样的技术付出的代价就是，人们再也不可能完全理解人工智能是如何工作的了。
人们只能通过对输出进行观察然后形成一个关于人工智能行为的经验性感觉，机器的内部工作原理之于程序员更像是一个黑箱。
其实，人类的人工智能恐怕再过一段时间就要抵达技术奇点，发生爆炸式增长，彻底把人类智能甩在后面。而如果这样一个超级智能的程序编得不够好，或者它不在乎人类的需求，那么对人类而言就是彻头彻尾的灾难，但以目前人类的科技水平还没有办法保证人工智能是绝对安全的。
举个例子，未来的机器人可能会很有效的执行去接小主人放学的时候，但是不管程序员如何修改他的适度函数，也很难保证机器人在接小主人的途中不去伤害一只挡道的狗，或者破坏一辆小汽车。
喜欢网狱请大家收藏：(m.shudai.cc),书呆网更新速度最快。