自我繁殖在生物领域不是新闻。这是有着40亿年历史的魔法，让自然界可以自我补充，例如鸡生鸡，鸡复生鸡，子子孙孙无穷尽。可是对技术元素来说，自我繁殖是一种全新力量。完美复制自己并且偶尔作小小改进的技能赋予技术独立性，使之不易受人类控制。永不停息、不断加速的复制、变异和自引导循环可能导致技术系统进入超速状态，将使用者远远甩在身后。当这些科技创新突飞猛进时，它们会产生新的错误。它们不可预知的成就将令我们震惊和恐惧。
现在有四个高科技领域发现了自我复制的能力：基因技术、机器人技术、信息技术和纳米技术。基因技术包括基因疗法、转基因有机体、人工合成生命和人类谱系的尖端基因工程。借助基因技术，人们可以发明和释放新的生物或染色体。理论上，这种新生物可以永远繁殖下去。
机器人技术自然是关于机器人的。机器人已经在工厂投入使用以制造其他机器人，至少一家大学实验室已研制出自组装机器人样机。给这台机器一堆零件，它可以组装出自己的翻版。
信息技术涉及计算机病毒、人造大脑和通过数据累积产生的虚拟人物这样的自我复制物。计算机病毒已经因为擅长自我复制而闻名，数千种病毒感染数以亿计的电脑。机器学习和人工智能的圣器当然是研制出足够聪明的人造大脑，由它去制造更加聪明的人造大脑。
纳米技术与极其微小的机器（像细菌一般大小）有关，这些机器被制造出来用于清除油污、计算和清理人的动脉血管。因为体积极小，它们可以像精密的计算机电路一样工作，因此理论上，它们可以被设计成像其他电脑程序一样自组装和自我复制。它们会成为无水生命形态，尽管这将是很多年以后的事。
在上述四个领域，自我繁殖的循环不断自动放大，非常快速地显示出这些技术的效用将对未来产生什么影响。机器人制造机器人，这些机器人又去制造新的机器人。它们的繁殖周期加速，速度快到可以大步甩开我们的意图，因此令人不安。谁将控制这些机器人后代？
在基因的世界里，假如我们编写代码改变基因链，这些变异会不断复制到新一代。而且不只是亲缘基因有这样的特性，基因可轻松地在不同物种间横向移动。因此新基因的复制品——不论好坏——也许会发生时间和空间的双重传播。正如我们在数字时代所了解的那样，一旦复制品被释放出来，就难以收回。如果我们可以设计出无限繁殖并且后代比父代（以及人类）更聪明的人造大脑，我们如何控制对此类创造物的道德判断？如果它们开始产生危害，我们该怎么办？
信息技术同样具有这种滚雪球般的特性：自我繁殖超出人类的控制。计算机安全专家宣称，到目前为止在数千种由黑客制造的可自我复制的蠕虫病毒和其他病毒中，没有一种完全消失。它们永远都在发生作用——只需要两台仍然运行的电脑即可。
最后，纳米技术有望制造出不可思议的超级微生物，其结构达到单个原子的精度。这些纳米级有机体将无限繁殖，直到控制一切物体，这种威胁被称为“灰雾”假设。因为若干理由，我认为灰雾从科学角度来说不太可能发生，尽管某些类型的可自我繁殖的纳米级物质必然会出现。但是下面这种情况非常有可能出现：至少几种由纳米技术产生的脆弱生物（不是灰雾）将在自然界、在狭窄的受到保护的生态位繁衍生息。一旦纳米虫在野外得以存活，就不可能灭绝。
当技术元素的复杂度提高时，它的自主性也在增强。可自我复制的基因、机器人、信息和纳米技术目前取得的成果揭示了这种不断增强的自主性如何引起我们的注意和重视。除了新技术的所有常见难题——不断变动的功能、副效应、不可预见的结果，自我复制的技术还有两个特有问题：放大和加速。随着一代接一代的放大，微小的效应迅速膨胀为剧变，其过程就像麦克风前的低语经过反馈后，突然放大为震耳欲聋的尖叫。凭借同样的自我繁殖循环，复制技术影响技术元素的速度不断提升。它们的影响如此深远，以至于我们现在需要扩展自身能力，提前使用和检测这些技术，从中选择合适的类型。
这是一个老故事的重新演绎。生命本身令人吃惊、使人振奋的力量来源于它那具有杠杆作用的自我繁殖能力，现在这种力量正在技术元素体内聚集。当世界上最强大的力量——科技提高自我复制的能力时，它将远比今天强大，要控制这股变动中的力量，人类将面临巨大挑战。
对于基因技术、机器人技术、信息技术和纳米技术难以控制的本性，常见的反应是要求暂缓发展这些技术，或者彻底禁止。2000年，发明了互联网使用的几种主要编程语言的计算机科学先驱人物比尔·乔伊（Bill Joy）呼吁研究基因、机器人和计算机科学的同行们放弃这四类具有潜在军事用途的技术，就像放弃生物武器一样。在预防原则的指导下，加拿大生产监视器的集团公司ETC号召暂停一切纳米技术研究项目。德国同行EPA公司要求禁止生产包含纳米银粒（作为抗菌涂料）的产品。其他公司希望禁止自动驾驶汽车在公共道路上行驶，宣布儿童用基因疫苗非法，停止人类基因疗法，直到每项新技术被证明无害后再解除禁令。
这种做法恰恰是错误的。这些技术具有必然性，它们会造成一定程度的危害。仅就上文的一个例子来看，不要忘了，有人驾驶汽车给社会带来巨大危害，每年全世界车祸死亡人数达数百万。如果机器控制的汽车每年“只”撞死50万人，那就是进步！
可是它们最重要的后果——不论正面还是负面，在几代人的时间里是看不到的。世界各地是否会种植转基因作物，对此我们别无选择：会。我们可以选择的是基因食品系统的特性——它的创新技术是公开还是私有、政府或行业是否会制定规则、我们研制转基因食品是为了世代享用还是仅仅作为新兴产业。随着廉价的通信系统覆盖世界，地球披上了由类似神经传导物质织成的薄衣，发育出某种必然出现的电子“地球脑”。可是如果这个“地球脑”不开始工作，它的所有优缺点就无法衡量。人类的选择是，我们希望用这件薄衣制成什么类型的地球脑？是否允许大众参与？可以轻松变更其中规则并与大众共享吗？或者要费尽周折才能修改规则？控制权会被垄断吗？如果不想卷入其中，能够轻易做到吗？这张大网的细节可以通过100种不同方式表现出来，但是这些技术本身会引导我们朝着特定方向前进。怎样展现必然的全球网络是我们自己的重要抉择。塑造具体技术形式的唯一办法就是与它融合，骑上它，搂住它的脖子与之齐飞。
那样意味着现在就拥抱这些技术，把它们研发出来，启用，试验。这与暂停的做法相反，更像是摸着石头过河。其结果将是一场对话，与新兴技术的慎重接触。这些技术越快地融入未来，我们越有必要从一开始就与之共舞。
克隆、纳米技术、网络化机器人和人工智能（四大技术的几个例子）需要在我们的引导下投入使用。然后我们可以左右摆弄这几种技术。更恰当的说法是，我们将训练这些技术。就像动物和儿童的最佳训练方法展示的那样，集中资源强化它们的正面特性，淡化负面特性，直至彻底消失。
从某种意义上说，上述四种自我放大的技术属于捣蛋分子，或者说，坏技术。为了训练它们成为带来持续收益的好技术，我们必须投入最大精力关注它们。我们需要开发恰当的长期训练技巧，引导它们更新换代。最糟糕的做法就是禁止和隔离它们。很大程度上，我们希望教育问题儿童。而高风险技术需要更多机会去挖掘它们的真实价值，它们需要我们投入更多心血和机会去试验。下封*令只会驱使它们转入地下发展，那样它们最坏的一面将得以重点发展。
已经有几项试验在人工智能系统中嵌入指导性经验常识，使之具有“道德”，还有一些试验为基因和纳米系统安装远距离控制系统。现有的证据表明那些深入大脑的准则对人类自身是有影响的。如果我们可以培养孩子们——他们是极度渴望力量、有自主意识的整整一代捣蛋鬼——成为更优秀的人，那么我们也可以训练四大尖端技术。
如同培养孩子一样，真正的问题和争议在于我们希望传递什么样的价值观。这值得讨论。
——摘自《科技想要什么》
