数据科学传统上仅是一种分析工作:使用历史统计数据,用户交互趋势或AI机器学习来预测确定性编码的软件更改的影响。例如, “我们认为对入职工作流程的这种改变将改变用户的行为吗?”  这是数据科学(DS)作为一种脱机工具包,可以做出更明智的决策。

但是,越来越多的公司将统计或AI /机器学习功能直接构建到其产品中。这会使我们的应用程序缺乏确定性-我们可能无法确切了解应用程序在一段时间内或在特定情况下的行为-且难以解释。它还要求产品经理更直接地与数据科学家就模型,可预测性,产品在生产中的工作方式,用户与我们的产品如何/为什么互动以及最终用户如何衡量成功进行互动。 (提示:大多数用户不了解也不在乎 F1分数;他们只是想得到正确的答案。)

因此,这里有一些产品经理的提示,他们可能会将数据科学和数据科学家引入我们的产品流程。

1.提供比传统软件项目更深的上下文,尤其是用例和业务目标

我们永远知道,我们(产品经理)必须将开发人员和设计师纳入 问题定义的最早阶段 和解决方案构想。汇聚全心全意,可以建立对用户,成功指标,约束,体系结构选择和变通方法的共同理解。传达真实用户的声音和挑战 激励整个团队. 并创建了一个共振见解的仓库。最终,我们共同打造更好的产品。

产品管理与数据科学家的关系就像25年前的核心开发团队一样:双方缺乏了解;专业术语;数据科学容易的假设;怨恨的机会。我们与他们。

数据科学团队通常是新来的公司,在组织上是孤立的,对我们公司的受众和经济状况缺乏了解。许多数据科学家刚从学术界崭露头角,其一般的业务经验少于我们的核心开发团队。对商业软件开发压力的了解较少。

因此,当我们在寻找市场问题或数据科学改善产品的机会时,我们需要积极提供相关环境:

  • 向DS团队​​介绍详细的用例。谁是玩家,我们怎么称呼他们?什么时候会发生?我们可以在哪里注入基于模型的见解或机器学习(ML)?关键约束或监管义务?
  • 深入研究成功指标,业务目标和经济学。这项改进是否旨在增加我们从新客户获得的许可收入,或降低客户流失率,或提高客户满意度?为什么要向付费客户提供护理,或者我们要减轻哪些具体痛苦?我们将如何 测量 这些,多少改进就足够了?准备以定量的方式向DS团队​​解释定性的事物。
  • 分享您的验证/用户研究资产:访谈记录,在界面中挣扎的用户视频,产品比较,收入预测,销售成功等 将DS小组与您的最终用户建立情感联系.

2.请记住,数据科学项目尚不确定,我们的判断力可能很弱

无需进行DS的前期调查就很容易取得良好的结果。  当然 该数据集将预测客户满意度;机器学习过程将发现制造效率低下的问题;一些AI工具将有助于治愈癌症!但是,现实世界会阻碍我们的发展:肮脏的数据,预测评分不高的模型,完全显而易见的结果,已经可以正常工作的现有人工流程都非常糟糕。我们可以让我们的热情和紧迫性超越实际结果。因此计划:

  • 对数据科学语言的假设进行构架: “我认为数据集X将有助于预测Y。”  这为每个人提供了一个共同的出发点-需要批评的东西。就像数据科学家一样,您将弥合文化鸿沟。
  • 让您的DS小组尝试几个数据集。哪个(如果有的话)看起来很有趣且具有预测性?我们应该合并几个数据集吗?
  • 在我们知道有可行的方法之前,请避免确定最终交货日期
  • 要求您的DS团队与您交谈 他们的4 C:覆盖范围,完整性,正确性,货币。  [与 钻石行业的4C。]

例如,我们可能有一种直觉,即机器学习可以帮助我们根据历史收益公告和公开披露来预测未来的股市走势。但是有 否则有充分的证据(而且,金融量化公司每年要花费1亿美元来追求这一目标-如果有人找到了解决方案,他们就是在进行交易而不是向世人讲述。)  在我们向董事会保证我们可以超越市场和竞争对手之前,证明这一理论将是很棒的。

3.选择/访问数据集至关重要

数据科学项目在实际数据集和模型上取得成功或失败,而不是意图或直觉。一些数据集比其他数据集更好:更易于访问,更完整,更干净。而且数据可能隐藏在组织或监管部门的后面:如果没有GDPR风格的隐私审查,您可能难以使用公司的消费者电子商务历史记录。或美国销售部总经理不喜欢欧洲销售部总经理,因此拒绝分享。或者从IT获得访问权限需要6个月的时间。因此,它可能对以下方面有用:

  • 在项目开始时调查内部数据集的所有权和权限。最近有哪些类似的团队遇到了什么
  • 对于外部数据源,请检查可接受的用途和商业条款。是否允许我们将它们构建到我们的产品中或收取收入?文件或法律披露中是否需要任何通知?
  • 请特别注意 可识别的消费者数据 和最终用户权限

4.描述此应用程序需要达到的精度,并预期处理“错误”的答案

一些DS项目只需要给我们一些额外的见解;如果我们弄错了其他人,那就有很大的弊端。所以 在任何数据科学项目的开始阶段,准确性水平都是至关重要的话题。当“比硬币翻转更好”的准确性足够时,我们可能会花费一年和200万美元用于训练数据……或者在具有很多特征的医学预测应用程序中将生命置于危险之中 假阴性.

例如,我们可能正在优化城市包裹运送卡车的路线。将包裹分拣到正确的卡车上并按顺序安排送货站可能会节省大量时间,燃料和金钱,即使这还远远不够。 70%的准确性每天可以节省20分钟的航线时间,并节省$ M的运营成本。与我们的DS团队讨论这个问题可以避免镀金的解决方案需要额外的一年的验证-足够好就足够了。

对水质报告的机器分析必须更加准确:无法识别 饮用水供应中的铅 (误报)具有严重的影响,而在安全区域错误地提出水质警报(误报)则会引起不必要的担忧。我们应该提出一些有力的论据,分别是98%vs. 99%vs 99.95%的准确性,以及用户如何将我们的预测付诸实践。

每个DS项目都会有一些令我们惊讶的结果。有些答案肯定是错误的,有些则可以教给我们关于世界的一些真相,有些则可以凸显我们的人类专家彼此不同意。我们需要一个对结果进行人工审查并在结果似乎不正确时逐步升级为人类的计划。

例如,一家银行可能会启动针对住宅抵押的AI /机器学习批准流程。响应抵押贷款请求的速度是人力贷款专员的50倍,将大大削减员工成本并提高合格购房者的满意度。但是我们的模型不可避免地会产生一些可疑的结果。我们将如何审查这些问题,以及由谁来决定AI答案是否“错误”?

和分析(这里, 这里)建议您注意我们的抵押贷款应用中的多种偏见或错误:

  • 训练数据可能包括以前的偏见(例如重排)或明显的推论(丰富的邮政编码中的借款人意外的违约率较低)
  • 法律变化,经济状况变化,新抵押产品具有不同的风险状况。过时的模型和过时的输入给我们带来过时的结果。
  • 培训数据可能被错误地标记,而不是代表性的,被误解了

我们将需要人为审查投诉/升级的计划;向人类借款人解释结果的某种方式;以及重新访问和定期重建模型的时间表。  天网 不能由我们负责贷款决策。

5. “Done”意味着可以操作,而不仅仅是洞察

大多数新创建的数据科学家都来自学术环境,在这种环境中,成功意味着表明模型可以满足某些准确性目标。他们为发现有趣的关联或针对共享的测试数据改善自然语言处理(NLP)而鼓掌。但是他们很少需要将工作投入正在进行的商业化生产中。

在产品开发中,我们必须将这些模型和见解纳入工作软件中。欺诈检测系统必须实时确定交易是否可疑;电子商务推荐引擎必须选择要展示的服装;火灾探测系统必须在必要时发出紧急警报;天气预报必须区分 暴风雨带来的暴风雨.

我们的主要开发团队长期以来一直在构建完整的生产软件。因此,我们需要促进应用工程师与数据科学家之间的技术讨论-尽早且通常是:

  • 模型和AI流程将在哪里生产?我们如何打开/关闭这些过程,保护它们,管理容量,修补/更新基础工具?
  • 信号(决策)如何从模型传递到核心应用程序:API,文件交换,夜间分析运行?
  • 从数据模型到其他生产模块需要什么响应时间?
  • 我们的自动化测试套件可确保传统的代码更改不会破坏系统。我们将如何监视意外的DS / 人工智能 行为?
  • 谁拥有关闭行为异常的模型的权限和系统访问权限?我们可以运行一些DevOps演习来确认其工作原理吗?

首次对数据科学进行操作将具有挑战性。  我们的产品经理获得所有答案并不重要,而是让合适的人员来确定和解决问题。 (有人写下来要加倍注意,所以下一次我们要有一份入门名单。)

声音字节

数据驱动的应用程序比确定性软件产品更为复杂。与数据科学家合作面临一些独特的挑战。我们需要审慎地处理这些问题,识别模式并尊重每个小组的特殊才能。