到了New Data Stack时代,需求分析又提升了,需要我们能够提供系统,提供建议性分析,基于自然语言的查询,用自动式对话机器学习的方式,引入向量搜索的计算方法,我们的需求是即时提出的,系统事先可能没有准备好,根据对我需求的理解,即时做数据的调度、加工,生成数据代码。我们希望把不同模态的数据通过同一种编码方式存储下来,这也是向量化出现的契机。
这个过程是怎么样的?我们把一个New Data Stack投屏在这上面,最右边是数据应用,如果数据之前没有准备好的话,需要经过非常复杂的流程才能到达数据应用的环节。有时候在客户那边碰到一个问题,客户说我要一个数据,数据工程师或者IT部门负责任地说我需要几天几个礼拜或者几个月才能给你这个数据,为什么?因为需要数据工程师从头开始理解慢慢走完这个数据摄取、转化、存储、计算、分析、预测到应用的过程。