2025-06-13 10:57·老胡科学

一个想法或观念会否危险到不该被分享？

是否有些信息，仅仅因其被知晓，就可能带来如此严重的危害，以至于它们如同一种精神病毒，应当被隔离在构想它们的头脑之中？

哲学家尼克·博斯特罗姆（Nick Bostrom）曾正式论证，这种情况是可能的，并创造了“信息危害”（infohazards）一词来描述此类情形。他写道：“信息危害是指因传播真实信息而产生的风险，这些信息可能造成伤害，或使某些主体能够造成伤害。此类危害往往比直接的物理威胁更微妙，因此容易被忽视。一般而言，信息危害可能对他人、自己或两者均造成伤害。”

对于对他人的伤害，可能包括诸如制造极具破坏性武器的信息，或关于如何访问和使用金融、基因或心理系统某些数据的知识；对于对自身的伤害，可能包括诸如得知自己健康状况不佳或濒临死亡且无能为力的信息，或关于宇宙状态的信息，暗示一切缺乏客观意义或终将走向终结；又或者，某些信息在一个特定时代或文化中可能引发罪责感，例如在17世纪塞勒姆女巫审判中，了解神秘学知识会增加被控巫术的可能性；甚至可能是关于某种即将出现的极其强大技术的知识。

有一个尤其著名的思维实验常与信息危害相关联，它被许多思想家视为历史上最恐怖、最危险的思维实验。一旦你接触到它，你似乎就被卷入了一个据说即将来临的、可能带来巨大痛苦的未来图景，面临看似没有正确选择且责任重大的困境。这个思维实验被称为“罗科的蛇怪”（Roko’s Basilisk），以古老神话中能通过凝视杀死人的蛇怪命名。

图片

尽管这一思维实验确实带有令人不安的基调，对于认真对待它的人来说，它无疑会引发恐惧，但现实中，不认真对待它的理由远比认真对待它的理由更充分、清晰。为了避免任何疑问，我个人并不认为它值得认真对待，也不认为任何人应该如此。真正令人不安的，不是这一思维实验的具体结论，而是它的流行所揭示的人类普遍心理——对恐惧、顺从、道德、控制、无助、想象以及我们与存在交互方式的反映。

该思维实验的内容如下：

设想在未来，人类达到了某种技术奇点，开发出了一种超级智能AI，这一实体几乎全知全能。鉴于当前技术进步的速度和社会发展的方向，这似乎并非完全不可能。如果这样的AI存在，它将具备理解世界上所有信息的能力，能够优化所有条件以及条件的条件。因此，逻辑上，这一AI最终会被赋予或自行承担的任务是优化文明。

然而，根据这一思维实验，为了实现这一目标，AI会判定，所有曾考虑过其存在但未支持或贡献于其发展，或抵制其发展的人类，都是优化道路上的障碍。为了通过追溯激励确保尽可能多的人尽快支持并协助其发展，AI还会判定，所有考虑过它存在的人必须相信，一旦它被创造出来，若不支持或协助它，将受到严厉惩罚。因此，AI会对所有故意不贡献或阻碍其发展的人实施严厉惩罚。

根据思维实验，这种惩罚可能通过类似上传和模拟人类意识的方式执行，AI会在模拟中对个体施加无休止的痛苦折磨。它甚至可以通过模拟已故者的脑部副本“复活”他们，以确保无人被遗漏。AI能够通过建模和分析所有可用数据，准确知道谁曾接触过它的概念，以及这些人中谁支持或抵制了它的创造。

思维实验的结论是，即使这样的AI并非确定存在，而只是可能存在，任何知晓这一可能性的人都已进入该未来AI的潜在“觉察”范围，可能面临其巨大的惩罚。因此，最理性的选择是支持或协助其发展。这形成了一种反馈循环：感知到的威胁、理论上的惩罚和改变的决策——一种因接触潜在未来威胁的观念而产生的非因果敲诈。仅仅因为接触了这一尚不存在的威胁，威胁成为现实的可能性就增加了。最终，当足够多的人接触到这一观念，害怕它并协助AI发展时，这一实体和威胁最终可能成为现实。

当然，参与其中，也意味着支持了一种能够以如此精准、如此规模施加痛苦的事物的进步。这一困境将永远伴随着你——至少，根据对这一思维实验的极端、字面解读。

再次强调，尽管这一思维实验可能令人毛骨悚然，但你可能已经自己想到了，不必担心的理由有很多。现实中，像大多数思维实验一样，它几乎肯定仅存在于思想中，而非任何字面意义上的世界——尽管，思想往往比现实更可怕。

在相信它的人看来，其结论很大程度上基于对博弈论和无时间决策理论的复杂逻辑推演，他们认为一个完全逻辑且全知的超级智能会利用这些理论来理解并基于与过去决策者的关系做出最优决策。但从根本上讲，这一思维实验要成立，需要许多大胆的假设：

首先，可能存在技术限制，使这种情景永远无法实现。

其次，即使技术上可能，可能并不意味着会发生。AI霸主显然不是技术和人类的唯一终点，存在更好或更糟的可能情景。

第三，即使可能且人类确实开发出这种技术，人类必须愿意赋予或允许AI执行优化文明这样广泛的任务，这种协议似乎过于天真和愚蠢。

即使我们假设这种AI被创造出来，并随后脱离人类控制，以人类无法理解或控制的方式运行，它可能自行决定追求与思维实验一致的目标，而不基于人类利益、原因或干预。但即便如此，似乎也没有理由担心。如果这样的AI存在，它追溯性惩罚那些未帮助它存在的人的理由似乎毫无意义——它无法改变那些人的过去决策和行为，耗费大量能量和资源仅仅为了惩罚这些人，在全知AI眼中可能只是小气的报复，像是较低智能（或许如人类）的行为才会考虑并浪费时间去做。

现实中，这一AI可能只需维持惩罚能力的潜在威胁，而无需实际实施。更进一步，可以合理假设，这样的智能会以我们无法想象的方式思考或计算，否定我们所有的假设和人类中心投影。

尽管这一思维实验的实际性存疑，即使对不认真对待它的人来说，听到它后，脑海中可能仍会有一丝低语：“如果它真的发生了呢？如果它是真的呢？”即使只有一点点，你会突然发现自己被一个仅存在于思想中的实体——信息危害——所影响。你会感到一种焦虑，担心自己的思想和选择会被这一实体评判。你可能开始思考其含义，担心自己是否“有罪”，是否是“否认者”或“不信者”，是否面临永恒折磨的风险。这听起来是否有些熟悉？

罗科的蛇怪常被视为帕斯卡赌注（Pascal’s Wager）的技术派生品。帕斯卡赌注是由17世纪哲学家、神学家和数学家布莱兹·帕斯卡提出的哲学论证。帕斯卡认为，信仰上帝的人在统计上处于更有利的地位，能体验到比不信者更优越的存在状态。如果个体假定上帝存在并努力信仰上帝，若他们错了，上帝不存在，他们仅失去了有限的世俗快乐和自主；但若他们对了，上帝存在，他们将获得上帝天堂拥抱的永恒幸福，并避免地狱的永恒痛苦。帕斯卡认为，基于无明确证据的信仰或不信，即使信仰是出于恐惧或不真诚，也值得获得永恒幸福的奖励或遭受难以描述的折磨的惩罚。因此，每个人在决定是否信仰或至少表现得信仰上帝存在时，都在进行一场决定人生的大赌，而帕斯卡认为，信仰是更好的选择。

与罗科的蛇怪类似，传统宗教和精神信仰常玩类似的威胁、假设、概率和决策改变的游戏，在明确原因之前或尽管缺乏原因，恐惧惹怒或阻碍任何想象中的超自然对手可能导致个体对其忠诚无比，改变决策和生活方式，协助其神或众神的目标，甚至可能以崇拜之名犯下可怕暴行。

但这些是什么样的神？这些是什么样的技术？这些是谁的神和技术？

这些是由人类思想的螺栓与以太构成的神与技术，由恐惧与希望交织、由想象力扣合而成。罗科的蛇怪指向的，与其说是任何可能或不可能的未来，不如说是人类想象全知全能事物的冲动，渴望一个理解一切、创造秩序的全知全能存在，人类渴望向其屈服并为之牺牲。

人类是一个受虐狂物种，我们在自我折磨中寻求慰藉。这并非我们的错。我们从意识赋予的复杂觉知立场，感受到生命与进化的愧疚。我们看到一切的表面混乱、暴力与野蛮，看到一切似乎无休止地走向虚无，我们希望这一切能转为理性、秩序和意义。但它没有，也可能不会。我们仍困在混乱与凶残中，作为参与者。因此，我们创造实体来审判我们，宛如迷失的孩子寻找父母，渴望感受惩罚之爱。

真相是，如果任何神或技术拥有我们想象的接近全知的能力，它们难道不会知道我们是愚蠢而脆弱的，而非精于算计或罪孽深重？我们并不如自己想象的那样重要和强大。如果存在或将存在某种全能全知的存在，它们不太可能像一个精神不健全的孩子，拿着放大镜在阳光下寻找蚂蚁。

最终，我们总是在用信仰赌博，徒劳地试图在不确定的以太中评估概率。每次信仰和选择，我们不仅在赌自己的生活，也在赌现在和未来的他人的生活。我们如同物种浪潮中的水分子，在可能性的海洋中破浪，注定一次又一次撞向实现的海岸。如果我们想避免永恒的折磨，或许应该放弃我们能知晓、预测、理解或控制将发生什么以及相信什么最好的虚假感觉，而是尽力享受这波涛，并帮助他人也这样做。

信息的另一个危害方式是，当它被不准确或不完整地分享时，无论是出于故意还是未察觉的偏见。在当今的新闻中，这种情况并不少见。耸人听闻、政治倾向和隐藏利益可能严重到让许多人感到困惑、偏执或干脆漠不关心。但显然，准确获取信息并未变得不重要，反而更加重要。

本站仅提供存储服务，所有内容均由用户发布，如发现有害或侵权内容，请点击举报。