Cloudera数据可视化中的mapbox热图https://www.cloudera.com/about/events/cloudera-now-cdp.html“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>Cloudera Now事件,Cloudera将在其Cloudera数据平台(CDP)。这些补充了一个新的运作数据库,今天也宣布了,并由托尼·贝尔在a单独发布。
必须读:
CDP已经提供了数据中心、数据仓库和机器学习组件等。现在,新组件Cloudera数据工程和Cloudera数据可视化添加了ETL和BI-chops。来自Cloudera的团队,包括高级产品营销经理圣地亚哥吉拉尔多,向ZDNet简要介绍了细节。
Cloudera数据工程(CDE)似乎是这两个产品中更具战略性的。Cloudera将CDE推向市场,是因为它看到数据工程从一个特定业务部门的一两个人完成的任务,发展到由可能为多个客户/用户提供服务的自主数据工程团队处理的面向项目的工作。在这种情况下,在笔记本电脑中手动运行数据工程代码不会削减它。相反,需要企业部署、版本控制、调度和管理。
检查Cloudera数据工程中的工作绩效指标
,CDE的重点是数据工程工作的那些操作方面,而不是那些工作的创作。对于后者,数据工程师可以用Apache Spark(CDE的底层执行引擎)并将其部署到CDE。但Cloudera还表示,在某些第三方合作伙伴的ETL和数据准备平台中编写的管道https://www.informatica.com/“target=”noopener noreferrer nofollow“data component=”externalLink“>Informatica和具体提到的三个事实(Trifacta)也可以部署到CDE。
一旦部署了脚本或管道,客户就可以在CDP中使用CDE共享数据体验(SDX)来计划、监控和管理作业(Cloudera还提供命令行界面,然而)。CDE使用Apache Airflow计划作业运行并将其部署为Kubernetes容器。它还为部署创建REST端点,允许它们,例如,将在a href中运行的代码=“https://aws.amazon.com/“target=”noopener noreferrer nofollow“data component=”externalLink“>亚马逊网络服务(AWS)λ,可能是为了响应S3
Cloudera数据可视化并不意味着要与banner BI竞争提供诸如表格或Microsoft的Power BI,而是提供了分析师和数据科学家无需离开CDP即可使用的现场数据可视化功能。可视化资产可以打包并作为应用程序运行,因此远远超过了内置的更基本的数据viz功能https://jupyter.org/“target=”\u blank“rel=”noopener noreferrer nofollow“data component=”externalLink“>Jupyter笔记本电脑等。
Cloudera Data Engineering通常在AWS的CDP中提供(GA)。Cloudera数据可视化正在进行技术预览;Cloudera预计它将在今年晚些时候正式上市。
Cloudera是Brust咨询公司Blue Badge Insights的客户。