为确保AI安全性，OpenAI呼吁ML专家要与社会科学家一同合作

OpenAI发表一篇论文，呼吁长期的AI系统安全研究，需要社会科学家一同合作，来确保AI算法在真实人类参与互动的情况下，能够如人类预期进行，OpenAI指出，与人类密切合作的AI系统，需要解决人类心理上的不确定性，包含推断、情绪和偏见，OpenAI也预计要聘请社会科学家来一同研究AI的安全性。

AI系统的安全性主要是能够确保AI系统与人类的价值观一致，也就是系统能够可靠地完成人类的指令，而OpenAI则是期望利用询问人们的意图，再透过这些资料来训练机器学习模型，并利用这些学习模型来优化AI系统，不过，人类的回答可能会不太可靠，由于人类有限的知识和推理能力，且还有认知偏差和道德信仰都会导致回答不一致，OpenAI尝试过用迭代放大（ amplification ）和讨论的方式来找出人类价值观背后的推理过程，但是还是无法得知真实情况下，人类会如何表现，现在的机器学习算法还不足以解决这个问题。

为了避免机器学习的限制，OpenAI采用由人类组成的讨论实验，而不是用机器学习程式代理人，人类针对问题进行讨论后，OpenAI再将人类讨论中学习到的知识，转移到机器学习模型中，人类在讨论的实验中，需要利用既有的知识，有效地建立人类是如何思考的过程，也因此，在这个过程中，需要拥有理解人类认知、行为和道德观相关经验的社会科学家协助，仔细地设计严谨的讨论实验设置，OpenAI认为，社会科学家和机器学习专家密切合作将会让人类更理解人类与AI系统合作的一面。