在可能发生意外情况的场景中部署的AI代理越多，就越需要灵活性、适应性和创造性来实现目标。因此，为了使AI足够健壮和灵活，能够在实际场景中成功部署，需要有一定的自由度来选择特定目标的最佳路径。

当人工智能系统解决难题时，传统的基于规则的方法无法准确定义解决方案，尤其是当数据驱动和/或学习方法越来越多地用于人工智能时。事实上，数据驱动的AI系统(例如使用机器学习的AI系统)在准确性和灵活性方面都非常成功，它们在解决问题和找到可能让人类感到惊讶的解决方案方面非常“有创造力”，并且可以教他们解决挑战的创新方法。

然而，无国界的创造力和自由有时会导致意想不到的行动：人工智能系统可能会以受影响社区的价值观和规范无法接受的方式实现其目标。因此，越来越有必要了解如何通过提供系统必须运行的边界来约束人工智能系统的行为。这通常被称为“价值对齐”问题，因为这样的边界应该模拟特定人工智能应用场景所需的价值和原则。

在IBMResearch，我们研究并评估了两种使人工智能系统符合伦理原则的方法：

第一种使用相同的形式主义来建模和组合主观偏好(以实现服务个性化)和道德优先(以实现价值一致性)。偏好和道德优先之间的距离概念用来决定行动是否只能由偏好来决定，或者当偏好与这些优先太不同时是否需要考虑其他道德优先。

第二种方法采用强化学习法(在歹徒问题范围内)最大化奖励，从正反两个例子中学习道德原则。在家长的指导下，我们在电影推荐中测试了这种方法，并从生活质量的角度选择了药物剂量。

描述我们的整体方法和解决价值一致性问题的两种可能方法的论文将在即将举行的AAAI2019大会上发表，并将获得AAAI2019蓝天创意奖。你可以在这里找到它。

这项工作是长期工作的一部分，旨在了解如何与麻省理工学院合作将道德原则嵌入人工智能系统。尽管在研究中伦理优先被建模为义务论约束，但IBM-MIT团队目前正在收集人类偏好数据，以模拟人类如何遵循不同的伦理理论(如功利主义、义务论和契约论)并在它们之间切换。然后，在人工智能系统中设计了伦理理论和相应的转化机制。这样，这样的系统将能够在符合人的推理和遵循道德行为的同时做出决策，从而以增强的人工智能方法更好地适应与人类的自然而紧凑的交互。