提供永久免费的API接口，查看更多API接口，如果您有其他免费API资源，请联系我们，造福人类。

定制开发，免费评估，免费咨询，价格便宜，售后保障，前往开发服务中心或联系开发客服中心

古老的“垃圾进，垃圾出”格言从未过时。分析和机器学习模型对数据的渴求增加了获得正确数据的紧迫性。数据操作规程的出现是为了满足业务分析师和数据科学家对填充其模型和仪表盘的数据有信心的需求。

随着数据工程师和数据科学家正在构建无数数据管道来填充其模型，正确获取数据的风险正在上升。我们长期以来一直担心AI和ML模型漂移，但对于降级或过时的数据源，是否也可能出现同样的情况？或者，在数据管道中，由于操作问题（如可能中断和中断数据过滤或转换可靠性的意外延迟），操作逐渐偏离方向。

数据操作规程突出了自动化的使用，以应对数据质量的挑战。然而，应用自动化数据质量或编目工具无法确保所使用的数据集是正确的或与问题最相关的，也无法确保数据的新鲜性或通用性。充其量，答案是临时的：有许多数据来源，所以问题通常归结为遵循哪个版本的真相。此外，数据质量工具可能并不总是提供全面覆盖。至于数据目录，它们充其量只为团队成员提供了对数据有用性进行轶事评论的机会。很多时候，数据操作都是在临时的、中断/修复的基础上进行的。

随着数据管道开始大量增加，优步的一个团队在与信心问题进行竞争时亲身经历了这个问题。优步的前产品经理凯尔·基尔万，认识到数据专业人员需要更加持续地关注管理数据质量和相关性。具体来说，需要一个新的“数据可靠性工程”学科，该学科以站点可靠性工程为模型，以保持持续的关注。

结果是Bigeye，一家刚刚获得第二笔主要资金的初创公司（总金额达到6600万美元），引入了它所称的“数据可观测性”可以帮助组织创建数据可靠性工程实践的平台。

作为云服务提供，Bigeye不断对每个数据集进行采样，提供持续的数据分析时间表，以不断检查参数，如行计数、基数、DUP、空值和空白、语法、预期值、，以及其他异常值。它还根据数据集的时间戳和上次更新的时间跟踪“新鲜度”。阈值可以手动设置，也可以通过算法建议设置。

数据可观测性和数据可靠性工程之间的关系本质上，Bigeye对数据的作用就如同Datadog对应用程序的作用一样，并非巧合，Datadog的首席执行官是董事会成员之一。

Bigeye本身并不存储原始数据，而是随着时间的推移存储和跟踪健康指标。目前，Bigeye已经集成了大多数常见的嫌疑犯，包括Snowflake、Google BigQuery、Amazon Redshift、PostgreSQL、MySQL、SQL Server和Databricks。

在这一点上，Bigeye旨在通过不断采样数据源，将数据分析转变为连续、动态的活动。这在本质上提供了可观察性。为了实现数据可靠性工程，Bigeye计划添加用于监视和管理SLA的工作流，以及用于根本原因分析的功能。部分问题可以通过分析数据沿袭来解决。然而，即使数据源继续被证实，服务器或网络性能中的漏洞也可能损坏数据；例如，网络馈送中的一个光点可能会损害从时间序列源导出的数据的可靠性。这就是应用程序可观察性的结合可以构建完整画面的地方，也是为什么我们相信与Datadog的协同作用不仅仅是理论上的。

HVR将成为Fivetran进入企业的门户吗？

Fivetran收购了HVR，增加565美元的资金

DataStax将Astra DB serverless扩展到多地区

IBM Cloud的无服务器路线图从汤变成了坚果

2023-03-22 10:04:44