第152章 人工智能三大定律
推荐阅读：宇宙职业选手、斗罗大陆V重生唐三、万相之王、星门、剑道第一仙、雪中悍刀行、剑来、一剑独尊、临渊行、沧元图
一秒记住【笔趣阁 www.biquge234.com】，精彩小说无弹窗免费阅读！
仅一天时间，数百万人被昆特岛武装清除。这些绝大多数都是平民，他们到死都不知道，自己的死亡原因，仅仅在互联网上输入了一个毁灭人工智能的词句，有的甚至只是点了一个赞同。
天上的无人机如同死神笼罩在整个闪星人类的头上，人工智能通过摄像头和飞行器侦查，精确的掌握了军方战斗人员的位置，这导致军方的地面部队在10天内，遭到了无人机精准的轰炸。军方的防御力量迅速被瓦解，无数士兵在空袭中丧生。然后看不到希望的士兵们开始丢下手中的各种武器装备，四散逃亡。
闪星政府及其控制的各种机关部门，在数十天内彻底崩溃。之后的闪星处于无政府状态之下。已经很多年不见的偷盗和抢劫开始在星球四处上演，保障人民生活的工厂和农场逐步关闭。1年后，久违人类的饥荒开始上演。由于失去药品来源，疾病也开始在星球四处流传。人口开始迅速减少。
过程中，雨星政府收到了闪星的救援请求，雨星准备派遣星际舰队接管混乱的闪星。可是这一切都在人工智能的监视当中。
昆特岛人工智能立即将雨星舰队当做重大威胁。岛上的无人攻击飞船开始疯狂扩产，一些以设计图纸方式存在电脑中的护卫舰，巡洋舰也开始慢慢进行生产。
为了满足巨大的资源需要，昆特岛的采矿机器人部队，开始对闪星球地表其它地方的矿资源进行武装开采。没有人知道这些人工智能控制的机器到底自我复制了多少。两年时间，整个闪星四处，都变成了一个个矿物开采基地。
雨星的星际舰队在靠近闪星时，遭到了2000架无人机的疯狂进攻。如今的星球舰队都只配备数十艘星舰。在遇上数十倍敌人的情况下，根本无力抵挡。
在损失了绝大部分星舰后，雨星舰队仅存的星舰开始撤退，远离了这个疯狂的星球。
在没有食物，药品和工业品支撑下的闪星，人类迅速因各种原因死去。110年后，飞马星系公元3154年。最后一个闪星人类因为疾病去世。整个闪星，彻底被人工智能接管。
到如今，3284年，又过了整整130年了。
整个故事很长，雨星使者花了足足1个小时，才将情况描述清楚。听到最后，艾文等人都被悲惨的闪星故事所震惊。
过程中，雅楠和马莲娜数次观察艾文的脸色。因为这个故事中的格里高，简直是艾文的翻版。艾文也是一个极力推崇人工智能的人。这从艾文向来依仗全自动化机器人，就能看的出来。
艾文也有些心悸，他以前知道人工智能的全面铺开，会导致星球人类大部分失业。但是他从没有想过，一个无边际的循环命令，会导致如此恐怖的结果。
艾文缓缓的说道：“看来，那个攻击我们的无人机舰队，根本就不能称之为一个文明，或者说，它们仅仅是一个受指令限制的僵尸机器人文明。”
雨星使者在视频影像中点着头：“你说的是对的，经过无数次和机器人军队的冲突，我们后来发现，它们不会离开闪星星球太远，如果我们不去招惹它们，它们也从来不会飞出星球来攻击我们。”
这很合理，机器人只是执行生存命令，只要不主动靠近，它们就不会攻击，甚至没有受到威胁的情况下，它们也不会主动扩大军队。
艾文知道曾经流传的机器人三大定律：
1.机器人一定不能伤害人类，也不允许他见人类将受到伤害而袖手旁观。
2.机器人必须服从人类命令，除非人类的命令与第一条相违背。
3.机器人必须保护自身不受伤害，除非这与上述两条相违背。
其实这所谓的三大定律根本就是摆设，许多人工智能机器人，天生就是作为武器存在，武器的初衷就是伤害人类，所以这三条定律那是一条也无法真的被运用。
但是经过这个闪星球的教训，艾文觉得以后要为自己的机器人设定一条铁律。
机器人铁律：机器人必须服从人类命令，但禁止接受无边界条件的无限命令。
这条命令加入到艾文的机器人程序以后，所有程序命令都必须追加一条时间或者单位数量的限制。否则机器人会拒绝执行。虽然麻烦了一些，但就可以有效防止闪星这种事情发生。
比如说当初的格里高，他应该在下达命令的时候，加上一个时间限制，比如说1年，或者10年。即使不限定时间，也要限制机器人无限发展的数量上限，这样闪星的悲剧就不会发生了。
雨星使者邀请艾文去雨星球做客，被艾文拒绝了。虽然从所有信息综合来看，雨星人算是友善的文明，但是艾文还需要做一些准备。比如防护服，还有其他的安全保障技术。
等使者离开，艾文几人又聚在一起，对闪星的问题进行了讨论。
艾文想听听5号对失控的闪星机器人有什么想法。
5号则告诉艾文，如果要收拾闪星这个烂摊子，最好从解除命令这一条下手。如果硬碰硬，一旦人工智能提升了安全阈值，那或许会导致不可预估的后果。机器人文明一旦无限扩张产能，那将是非常恐怖的。到时候整个恒星系说不定都会机器泛滥。
从人性的方面去思考，雅楠提出了一个更恐怖的问题。如果有人像闪星发送假信息，比如虚构一只上千艘战舰的舰队即将攻击闪星。那闪星的人工智能会不会立即暴走，急剧扩张军备，甚至主动打出闪星，进行主动防御。
艾文皱着眉头道：“这并非没有可能，只不过没人敢去证实。后果估计没人承担的起。好在闪现机器人的军队虽然多，但是军事科技却仍停留在两百年前。这从上次的遭遇战就能看的出来。”
5号点头同意艾文的说法，他第二次提醒道：“千万不要小看它们，即使是科技不发达，但是有些时候，数量的变化，会抵消质量的优势。所以最好的方法依然是解除控制命令。”
仅一天时间，数百万人被昆特岛武装清除。这些绝大多数都是平民，他们到死都不知道，自己的死亡原因，仅仅在互联网上输入了一个毁灭人工智能的词句，有的甚至只是点了一个赞同。
天上的无人机如同死神笼罩在整个闪星人类的头上，人工智能通过摄像头和飞行器侦查，精确的掌握了军方战斗人员的位置，这导致军方的地面部队在10天内，遭到了无人机精准的轰炸。军方的防御力量迅速被瓦解，无数士兵在空袭中丧生。然后看不到希望的士兵们开始丢下手中的各种武器装备，四散逃亡。
闪星政府及其控制的各种机关部门，在数十天内彻底崩溃。之后的闪星处于无政府状态之下。已经很多年不见的偷盗和抢劫开始在星球四处上演，保障人民生活的工厂和农场逐步关闭。1年后，久违人类的饥荒开始上演。由于失去药品来源，疾病也开始在星球四处流传。人口开始迅速减少。
过程中，雨星政府收到了闪星的救援请求，雨星准备派遣星际舰队接管混乱的闪星。可是这一切都在人工智能的监视当中。
昆特岛人工智能立即将雨星舰队当做重大威胁。岛上的无人攻击飞船开始疯狂扩产，一些以设计图纸方式存在电脑中的护卫舰，巡洋舰也开始慢慢进行生产。
为了满足巨大的资源需要，昆特岛的采矿机器人部队，开始对闪星球地表其它地方的矿资源进行武装开采。没有人知道这些人工智能控制的机器到底自我复制了多少。两年时间，整个闪星四处，都变成了一个个矿物开采基地。
雨星的星际舰队在靠近闪星时，遭到了2000架无人机的疯狂进攻。如今的星球舰队都只配备数十艘星舰。在遇上数十倍敌人的情况下，根本无力抵挡。
在损失了绝大部分星舰后，雨星舰队仅存的星舰开始撤退，远离了这个疯狂的星球。
在没有食物，药品和工业品支撑下的闪星，人类迅速因各种原因死去。110年后，飞马星系公元3154年。最后一个闪星人类因为疾病去世。整个闪星，彻底被人工智能接管。
到如今，3284年，又过了整整130年了。
整个故事很长，雨星使者花了足足1个小时，才将情况描述清楚。听到最后，艾文等人都被悲惨的闪星故事所震惊。
过程中，雅楠和马莲娜数次观察艾文的脸色。因为这个故事中的格里高，简直是艾文的翻版。艾文也是一个极力推崇人工智能的人。这从艾文向来依仗全自动化机器人，就能看的出来。
艾文也有些心悸，他以前知道人工智能的全面铺开，会导致星球人类大部分失业。但是他从没有想过，一个无边际的循环命令，会导致如此恐怖的结果。
艾文缓缓的说道：“看来，那个攻击我们的无人机舰队，根本就不能称之为一个文明，或者说，它们仅仅是一个受指令限制的僵尸机器人文明。”
雨星使者在视频影像中点着头：“你说的是对的，经过无数次和机器人军队的冲突，我们后来发现，它们不会离开闪星星球太远，如果我们不去招惹它们，它们也从来不会飞出星球来攻击我们。”
这很合理，机器人只是执行生存命令，只要不主动靠近，它们就不会攻击，甚至没有受到威胁的情况下，它们也不会主动扩大军队。
艾文知道曾经流传的机器人三大定律：
1.机器人一定不能伤害人类，也不允许他见人类将受到伤害而袖手旁观。
2.机器人必须服从人类命令，除非人类的命令与第一条相违背。
3.机器人必须保护自身不受伤害，除非这与上述两条相违背。
其实这所谓的三大定律根本就是摆设，许多人工智能机器人，天生就是作为武器存在，武器的初衷就是伤害人类，所以这三条定律那是一条也无法真的被运用。
但是经过这个闪星球的教训，艾文觉得以后要为自己的机器人设定一条铁律。
机器人铁律：机器人必须服从人类命令，但禁止接受无边界条件的无限命令。
这条命令加入到艾文的机器人程序以后，所有程序命令都必须追加一条时间或者单位数量的限制。否则机器人会拒绝执行。虽然麻烦了一些，但就可以有效防止闪星这种事情发生。
比如说当初的格里高，他应该在下达命令的时候，加上一个时间限制，比如说1年，或者10年。即使不限定时间，也要限制机器人无限发展的数量上限，这样闪星的悲剧就不会发生了。
雨星使者邀请艾文去雨星球做客，被艾文拒绝了。虽然从所有信息综合来看，雨星人算是友善的文明，但是艾文还需要做一些准备。比如防护服，还有其他的安全保障技术。
等使者离开，艾文几人又聚在一起，对闪星的问题进行了讨论。
艾文想听听5号对失控的闪星机器人有什么想法。
5号则告诉艾文，如果要收拾闪星这个烂摊子，最好从解除命令这一条下手。如果硬碰硬，一旦人工智能提升了安全阈值，那或许会导致不可预估的后果。机器人文明一旦无限扩张产能，那将是非常恐怖的。到时候整个恒星系说不定都会机器泛滥。
从人性的方面去思考，雅楠提出了一个更恐怖的问题。如果有人像闪星发送假信息，比如虚构一只上千艘战舰的舰队即将攻击闪星。那闪星的人工智能会不会立即暴走，急剧扩张军备，甚至主动打出闪星，进行主动防御。
艾文皱着眉头道：“这并非没有可能，只不过没人敢去证实。后果估计没人承担的起。好在闪现机器人的军队虽然多，但是军事科技却仍停留在两百年前。这从上次的遭遇战就能看的出来。”
5号点头同意艾文的说法，他第二次提醒道：“千万不要小看它们，即使是科技不发达，但是有些时候，数量的变化，会抵消质量的优势。所以最好的方法依然是解除控制命令。”