通过与讨论的提示 Jumana Abu-Ghazaleh, 菲尔·沃尔夫 and 约翰·塞贝斯,我一直在考虑有意或无意地危害世界的高科技产品。无论是道德准则还是产品负责人/产品经理之间的其他协议都将有所帮助。这篇文章更多地是针对我所看到的问题,而不是提出解决方案,而是呼吁采取行动。  让我们分解一下。

1. 意外后果和产品滥用

过去几年,我们重新认识到产品可以 意外的 副作用,坏演员可以 滥用 好产品。我们一直忘记 技术不是中立的,通常包括一些社会工程。例如:

在布置舒适的象牙科技塔楼中,我们专注于“幸福的道路情况下,几乎不考虑恶意人员如何滥用我们的产品/服务—或非典型用户可能遇到麻烦的方式。即使我们已经看到了几代社交网络被巨魔劫持;网络安全工具被颠覆;和 物联网门铃跟踪邻居。作为产品专家,我们通常不会花时间去预期不良的结果。

什么 To Do?

我们(作为产品领导者和产品经理)应该在产品构想周期的早期,以及在扩大规模之前就考虑滥用和意外后果。除了业务模型,目标受众和成功指标外,也许我们还需要花些时间进行“战争游戏”或“ 红队 我们针对潜在问题的原型设计。概念清单可能包括:

  • 不良行为者将如何利用我们的工具/平台/产品/服务?
  • 它可以成为仇恨,虚假信息,网上羞辱或其他不良行为的平台吗?我们可以为此应用定义不可接受的内容吗?我们如何才能足够快地发现不适当的内容和不良行为者,以便做出有意义的决定(例如删除内容,标记NSFW,禁止用户)?
  • 如果包含“投票”,机器人或恶意程序是否可以创建使真实意见不知所措的人偶,例如 假旅行建议? 看到 兰迪·法默这是2010年的一本书。
  • 我们是否存储除法律定义的PII之外的用户个人信息?预测黑客或漏洞的后果,例如 上传了精彩照片的女演员?我们是否有义务警告用户或限制我们收集的信息?
  • 我们启用了吗 雇主 要么 政府 监视新的活动?如果是这样,那给我们带来了什么义务?
  • 我们是没有根据的还是 危险主张 关于结果和功效?如果有人按照指示使用我们的产品,可能会有哪些不良后果? 
  • 如果我们的产品没有问题或副作用’工作吗?物联网车库开门器可能会停留在“打开位置”;基于AI的烟雾报警器可能会犯错误;消费者医疗记录的云备份可能会丢失。如果我们整个虚拟数据中心都消失了,对付费客户有何危害?

作为产品专家,我们应该自己提出这些问题—使它们对我们的产品/设计/开发团队更加重要。减少惊喜。提醒我们乐观/庇护的技术小组,坏人可以用好的产品做丑陋的事情。但这将需要付出努力,并使人们远离其他排名第一的优先事项。

[让我知道 如果您想为产品试行“红色团队”练习。] 

2.后果

另一方面,我看到很多产品领域固有的问题,特别是在金融服务,广告技术和用户生成的内容/社交媒体中。 公司的核心业务模型和产品目标可能会导致不良结果和伤害 : 成功的指标,经济学或眼球计数自然很容易导致滥用。对我来说,根本的问题通常是“用户”和“付款人”之间的分歧,越来越聪明的技术人员发现了越来越细微的收集和出售个人信息给有反用户意图的第三方的方法。或在雇主和雇员之间,公司在其中部署使雇员丧失能力的程序和技术。

  • 社交网络通过将我们非常详细的在线行为出售给广告商(以及政府,网络犯罪分子和巨魔)来赚钱。这是 他们商业模式的基础,而不是副作用,并有意隐藏—众所周知,消费者难以控制或理解。幸运的是,我们看到了一些社交网络( 推特 )进行一些自我调节,以保护最终用户,即使这需要一些收入。
  • 一些 消费金融应用/站点向消费者提供个人信用报告和建议,以提高他们的信用评分,但是他们会通过信用卡推荐费赚钱。他们的内部OKRS调整为将信誉欠佳的消费者指向更多信用—这看起来很卑鄙,可能有害。
  • 用户生成的视频 网站按量付费。因此,推荐令人震惊的视频的算法自然会带来更大的利润。接下来的愤怒/性感/扭曲/病毒视频将是什么,而这些视频将使您难以忘怀并且更难忘?
  • AdTech一直处于低谷,以更精确的广告定位来应对价格下跌。在为企业生存而战中,我们是否期望强大的内部控制措施能够避免推断出政治派别,健康状况,宗教信仰或我们晚上睡觉的地方? 
  • 电子烟 公司将其产品设计成令人上瘾的产品, (但未知) 健康风险。他们跟随传统的烟草公司宣传不良科学,大力游说并躲藏了消费者的选择。    
  • 有关 … 应用/游戏开发人员 有数十年的经验让我们 迷上了 ,在我们再玩一回合或再次检查我们的状态时加强行为。 我们已经投资了数字成瘾。当我们的投资者在每次董事会会议上检查参与度统计数据时,正确的平衡是什么?
  • 新的金融科技参与者提供 为您的新房子支付部分预付款。但是,他们强烈地希望尽可能多地捕捉到您最终的赞赏,并且他们的数据分析能力几乎超过了所有房主。我们能否知道消费者是否获得合理的交易?他们是否应对房主和投资者承担一些“公平”义务?这呼应了2007-08年度抵押贷款支持的证券和CDO危机,当时真实的人是附带损害—失去房屋和退休金。 
  • 机器学习模型 接受过数十年抵押贷款的培训 自动加强 历史性的重新编排和不良的贷款做法。我们以前的不良行为决定了新算法。

因此,并不是说Facebook打算侵犯我们的隐私或帮助外国演员破坏民主,但回顾过去并不令人惊讶。 Facebook继续从中获利。产品负责人/产品经理的不同之处在于我们可能 反对我们公司的 基本财务目标,这引发了与我们的主要指标相反的担忧。如果(例如)如果我们警告信用欠佳的消费者有关使用更多信用卡的危险,并且降低了转换率,那么在下次董事会会议上我们将遇到棘手的问题。

这说明了在产品概念周期的早期,意图和决定就显得有些草率,并且需要进行理性的诚实检查。 在我们开始开发周期或将MVP放到毫无戒心的消费者之前很久,我们是否认真考虑过预期的用途? 想象一下与您的CEO讨论您的产品是否真正满足了最终用户和购买者的需求:这是友好的对话还是好斗的对话?

我认为这迫使我们对雇主做出个人决定:是内部工作,平衡所有参与者的价值并减少不良结果,还是退出具有更清洁商业模式的公司。 我们可以用脚投票。 我已经与数十位考虑退出当前公司的产品人员进行了讨论。正如Arlo Guthrie曾经问过的那样:你想知道我是否’有足够的道德气质,可以在成为垃圾虫后加入军队,烧毁妇女,孩子,房屋和村庄吗?

隐私权政策还不够

我们的大多数产品都包含指向某些“隐私”或“使用条款”文档的链接,其中包含10至50页的法律混淆文本。我们知道这对大多数人来说都是不可理解的,任何可疑的东西都隐藏在第18页上。这可以保护我们免受诉讼,但避免了真正的责任。我们可能改为申请 阳光测试 :如果 ProPublica 要么 纽约时报 准确描述我们公司如何赚钱并分享消费者信息,我们会为难吗?例如,我的移动运营商(Verizon)将我的实时位置数据出售给有问题的第三方—但我似乎无法选择退出,甚至无法获得将其出售给谁的答案。 Legalese胜过清晰。

或者一个 亲朋好友测试:我会向不怎么精通技术的叔叔推荐该产品,还是让我的学龄前儿童无限/不受监控地访问此内容?在认可这一点之前,我想要什么护栏? (一些技术父母是 限制孩子的屏幕显示时间 

菲尔·沃尔夫的结构是 产品管理道德成熟阶梯 这不仅使我们的忠诚和关怀义务扩大到投资者和公司领导层之外,还包括用户,买家,我们自己,我们的产品团队,其他员工和整个社会。有趣的是,看到不同的人如何排序这样的列表。

行动号召

这似乎很难解决。科技产品经理没有监管机构来取消不良行为者的认证,因为 医生 或律师。此外,我们还积极参与新产品的构思/验证,并通过强有力的财务激励措施,为具有“可扩展性”商业模式的“获奖”产品开展工作,以为以任何(社会)成本为增长提供资金的投资者…这导致了金钱驱动的自我辩护。但是,现在似乎是在产品管理和最高管理层内部推行更广泛问责制的好时机。为我们站起来 使用者 以及广泛定义的利益相关者以及我们的投资者。

如果您是产品负责人,愿意与同行参加为期半天的讨论,请 让我知道.