美团点评基于 Flink 的实时数仓平台实践 | 1月3号云栖号夜读

2020-01-03 2546

版权

本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。

简介： 从整个实时计算角度来考虑，目前美团点评的实时计算平台的节点数已经达到了几千台，未来很可能会达到上万台，因此资源优化这件事情很快就会被提上日程。由于业务本身的流量存在高峰和低谷，对于一个实时任务来说，可能在高峰时需要很多资源，但是在低谷时并不需要那么多资源。

点击订阅云栖夜读日刊，专业的技术干货，不容错过！

阿里专家原创好文

1.美团点评基于 Flink 的实时数仓平台实践

从整个实时计算角度来考虑，目前美团点评的实时计算平台的节点数已经达到了几千台，未来很可能会达到上万台，因此资源优化这件事情很快就会被提上日程。由于业务本身的流量存在高峰和低谷，对于一个实时任务来说，可能在高峰时需要很多资源，但是在低谷时并不需要那么多资源。外一方面，波峰本身也是会发生变化的，有可能随着业务的上涨使得原来分配的资源数量不够用。因此，资源自动调优有两个含义，一个是指能够适配作业的高峰流量上涨，自动适配 Max 值；另外一个含义是指使得作业能够在高峰过去之后自动适应流量减少，能够快速缩容。阅读更多》》

2.轻松搭建基于 SpringBoot + Vue 的 Web 商城应用

首先介绍下在本文出现的几个比较重要的概念：
函数计算（Function Compute）: 函数计算是一个事件驱动的服务，通过函数计算，用户无需管理服务器等运行情况，只需编写代码并上传。函数计算准备计算资源，并以弹性伸缩的方式运行用户代码，而用户只需根据实际代码运行所消耗的资源进行付费。阅读更多》》

3.瓜子二手车在 Dubbo 版本升级、多机房方案方面的思考和实践

随着瓜子业务的不断发展，系统规模在逐渐扩大，目前在瓜子的私有云上已经运行着数百个 Dubbo 应用，上千个 Dubbo 实例。瓜子各部门业务迅速发展，版本没有来得及统一，各个部门都有自己的用法。随着第二机房的建设，Dubbo 版本统一的需求变得越发迫切。几个月前，公司发生了一次与 Dubbo 相关的生产事故，成为了公司基于社区 Dubbo 2.7.3 版本升级的诱因。接下来，我会从这次线上事故开始，讲讲我们这段时间所做的 Dubbo 版本升级的历程以及我们规划的 Dubbo 后续多机房的方案。阅读更多》》

4.小蜜团队万字长文 | 讲透对话管理模型最新研究进展

在可拓展性方面，介绍了处理变化的用户意图、对话本体、系统动作空间的常用方法，主要有语义相似匹配方法、知识蒸馏方法和序列生成方法；对于标注数据稀缺问题，介绍了机器自动标注、对话结构有效挖掘和数据高效收集策略三部分内容；而针对传统DM中RL模型训练效率低下的问题，学界有尝试引入HRL、FRL等方法对动作空间进行层次划分，也有利用model-based RL对环境进行建模提高训练效率，将human-in-the-loop引入对话系统训练框架亦是当下十分活跃的研究方向。最后对阿里巴巴-达摩院-小蜜Conversational AI团队目前在DM模型化的进展做了一个比较详细的汇报介绍，希望本综述能为大家的对话管理研究提供一些启发和思考。阅读更多》》

5.Knative 驾驭篇：带你 '纵横驰骋' Knative 自动扩缩容实现

一篇干货好文，值得一读！阅读更多》》