快看点丨这次和GrowingIO工程师一起搞事情 | StartDT Hackathon

2022-07-14 15:56:45   来源:商业新知网

是的,我们和"GrowingIO"在一起了!


(资料图片)

在一起,是数据云和分析云王牌强强联手、服务客户,也是 组织融合共同成长 ,当然,我们的工程师,也“在一起”了!

没错,本届StartDT Hackathon,以“StartDT产品全家桶”为主题,奇点云和GrowingIO的工程师一起来玩!?

这是有史以来最开放的一次选题。

奇点云合伙人、黑客马拉松发起人地雷介绍,为从工程师领域推动融合,形成并优化全栈技术方案,实现 “真·在一起” ,本次选题不限产品,尤其鼓励多产品技术团队联动,在产品融合、打通层面共同创新。

“StartDT产品全家桶”由数据云、分析云两大产品体系组成,包含数据云平台DataSimba、消费者运营平台DataNuza、用户行为分析平台GrowingIO-UBA等王牌产品。

从日常实践、“吃狗粮”中,各产品团队的工程师们挖掘出了不同角度共15个选题,其中以下6题正式入选,并通过提测,进入大赛角逐:

DataNuza前端微服务改造 _ 你说的队

GrowingIO-UBA、DataNuza融合服务器缩减方案 _ 三秋树

当DataSimba遇到GrowingIO-UBA,一图分析使用情况 _ 十二黄金圣斗士

DataNuza-MA的Webhook触点配置化_炒菜队

DataSimba全栈支持Kerberos认证 _ 某个组

解耦部署依赖,DataSimba部署再提效 _ 藕粉组

#1

既要无缝融合,又要灵活部署

DataNuza的前端微服务改造挑战

DataNuza是数据驱动的消费者运营平台,包含CDP、MA等模块,GrowingIO-UBA则是用户行为分析和增长平台。

这两款截然不同的产品,在项目实践中迎来了“融合”的要求—— 有许多客户同时采购了DataNuza和GrowingIO-UBA,数据打通自不必说,模块部署上也希望能更灵活 ,例如,只部署CDP和UBA,而不部署MA,或此前采购了CDP和MA,希望再增加一个UBA。

然而,DataNuza和UBA使用了不同的前端框架,如何在保留两者的同时完成融合动作,对产品团队是个挑战。

此外,伴随着产品的多年迭代,团队越来越庞大,单个项目体积也愈加庞大, 模块之间耦合过重,导致无法对单个模块进行增量升级 ,未来产品的开发升级和维护效率均会受到影响。

“这是微服务改造的大好时机,可以一并解决上述问题。”“你说的队”队长执剑笑说,“配合本次黑客马拉松的大主题,喜从天降,正中下怀?。”

具体而言,他们这样做:

1、构建一个主应用基座,统一门户登录、打通账号体系,通过该基座在子应用之间做数据下发和中转;

2、更改路由系统,改造应用的数据层,将原巨石应用按模块拆分成多个应用,以完成解耦。优化打包方式,使得子应用既可以整合到基座中,又可以独立运行和部署。

经过微服务改造,DataNuza和GrowingIO-UBA能够实现无缝融合,用户可以在同一入口登录并选择模块进行操作,体验上不割裂;

产品层面上,CDP、MA、UBA的各模块相互独立,可以各自进行功能迭代、开发、测试,而不再“牵一发而动全身”;

产品售卖和部署时,也更加灵活,能方便地拆分或组合部署各模块,而无需手动改写;

基于主应用基座,未来还可以接入其他更多第三方产品,消费者运营平台DataNuza也因此具备了更强大的集成和开放能力。

#2

产品融合缩减服务器

成本最高可降43%

部署DataNuza、GrowingIO-UBA两大产品,以往需要分别消耗各自的服务器资源,对客户来说会产生一定负担,分头部署实施和维护起来也有更高的难度。

以本次产品融合为契机,有没有可能探索出服务器缩减的优化方案?

经过对DataNuza、GrowingIO-UBA产品的调研,“三秋树”团队提出了最小部署方案。经过减少应用服务器、合并中间件与数据库服务器等动作, 全新的最小部署方案相比分别部署,最高可缩减43%的服务器资源。

彩蛋:“三秋树”组名来自清代文学家郑板桥的作品“删繁就简三秋树,领异标新二月花”,组员们希望能持续删繁就简,为资源减负。

#3

当DataSimba遇到UBA

互相补充,“天生一对”

“很早以前就想给DataSimba选型一套前端埋点工具,来辅助DataSimba的产品运营…很巧的是,我们和拥有宇宙最强用户行为分析工具的GrowingIO在一起了!”十二黄金圣斗士组成员、DataSimba资深产品经理沙加介绍选题缘起,“机会总是留给有缘分的好产品”。

十二黄金圣斗士组在DataSimba上部署了GrowingIO的前端采集工具,将采集到的数据传入DataSimba,并结合DataSimba自有的元仓数据进行联合分析。

最终,通过GrowingIO-UBA的看板,可以准实时地了解到DataSimba产品使用情况,包括各模块访问量、用户量、停留时长、任务出错次数、作业类型占比等等,找到用户痛点,为DataSimba产品体验升级提供参考。

左滑查看更多看板截图(测试环境)

“这只是一个范例,我们用DataSimba的产品运营打了个样,向大家展示了DataSimba和GrowingIO-UBA如何携手实现数据驱动运营和增长。而在客户场景中,还能激发更多价值。 ”

十二黄金圣斗士组组长东风介绍,“举个例子,以往客户的商城APP或小程序上做前端SDK采集,可以对基础的用户行为进行分析,而 现在用户行为数据进入数据云平台DataSimba,还能和商品管理后台的维表等更多源的数据做融合,甚至细化到商品上架信息、库存信息、历史促销记录等等,扩充数据维度,再将关联、融合后的数据输入UBA,做进一步深化分析,为决策提供可靠的支持。 ”

DataSimba + GrowingIO-UBA融合方案示意图

评委、资深技术专家牧然评价: “这个项目中,行为数据与元仓中的业务数据在DataSimba结合后回到UBA,又增强了行为数据本身,是非常好的融合尝试。 ”

据悉,“DataSimba + GrowingIO-UBA”实践已形成标准化方案,可快速在各产品(APP、小程序、网站等)或不同环境中部署。

彩蛋:如何评价双方的首次合作?

DataSimba资深前端工程师亦痕首次使用GrowingIO前端SDK采集工具,他表示:“GrowingIO拥有全套标准化的对接文档,这次从学习文档到完成全套部署 只花了不到1小时 ,真正称得上方便快捷。”

十二黄金圣斗士组成员、GrowingIO产品专家千夜在了解DataSimba后,则表示: “这2个产品就是天生一对。”

经历了上一季黑客马拉松DataSimba与DataNuza团队的“红蓝CP”协作,产品经理和工程师们对本次多团队混搭显得游刃有余。 (戳我看上季黑客马拉松)

除了上述三大融合战队,还有三个组选择了“专注自身”,分别在DataNuza的配置效率和DataSimba的安全性与部署效率上发力提升,继续往下看?

#4

MA的Webhook触点配置化

效率提升80%

MA(营销自动化)是消费者运营平台DataNuza的重要模块之一,能帮助用户自动执行营销任务,通过短信、公众号、企业微信等多种渠道自动化触达用户,帮助企业组织全局营销战役。

而在为客户配置MA时,由于不同客户提供的接口不同,每配置1套MA的标准触点,就需要花上若干人天来进行手动开发配置。

能不能减少重复动作,节约开发实施时间,用更聪明的方式来完成Webhook触点配置?

基于项目成员们丰富的实施经验,“炒菜队”总结出了常见的对接项, 形成界面化的表单配置,而不再需要开发手工进行 :

第1步,确定接口地址、请求方法;

第2步,填写请求接口必传的参数信息;

第3步,根据请求客户接口后的返回结果,做映射。

“一共就3步,配置完成、测试通过后,就可以开始使用。”“炒菜队”队长朝歌介绍,“这一套方案更简单、技术门槛更低,而且相比原来的做法, 效率能足足提升80% 。”

#5

全栈支持Kerberos认证

DataSimba安全再提升

为提升DataSimba的安全性,“某个组”提出了全栈支持Kerberos的选题:DataSimba全栈组件开启Kerberos安全认证,包括Flink、Spark、Impala、Hive、HDFS、HBase、Kafka等等。

Kerberos是一种网络身份验证协议,旨在通过使用密钥加密技术为客户端/服务器应用程序提供强身份验证。通过验证,不仅能保证发送者和接收者的身份真实,还能检验来回传递的数据的有效性和完整性,并在传输过程中对数据进行加密。 (戳我进一步了解Kerberos)

组员北冥介绍,全栈支持Kerberos后的DataSimba安全性得到进一步加固,并为满足“多租户”场景做好了准备。

#6

守护30分钟纪录

DataSimba部署再提效

DataSimba最快在30分钟内就可以完成部署!

这是让全体StartDT工程师为之骄傲的纪录,而DataSimba升级到R4.2版本后,藕粉组的同学们发现,这个记录可能要守不住了?

藕粉组的组长风质谈到:DataSimba R4.2需要在大数据引擎部署完成后才能部署,而客户资源的申请时间有不可控性,会导致DataSimba无法在半小时内成功部署。

解耦DataSimba R4.2和中间件的部署依赖,为DataSimba自动化部署再提效,这就是本次藕粉组的选题。

藕粉组明确了各微服务使用云原生文件系统的方式、挂载存储引擎的方式、HDFS配置方式及配置时机,通过反转服务域和云原生文件系统的依赖关系,由服务域管理云原生文件系统, 最终实现k8s大环境下不替换云原生文件系统、HDFS的同时,成功完成解耦动作,不依赖大数据引擎就能启动DataSimba,并保证代码量较少,不加重项目负荷。

#StartDT

数据云+分析云 携手并进

今年5月, StartDT“数据云+分析云”产品矩阵正式发布 。统一开放、中立安全的数据云作为基础设施,封装复杂技术,为企业高效沉淀数据资产,降低数据管理与资源成本;一站式智能易用的分析云则连接数据与不同业务场景,帮助客户一站式实现数据的探索、发现、预测、决策及行动,进一步用数据驱动价值增长。

那么在实际场景中,“数据云+分析云”如何一体化、有机地赋能客户,又究竟能为客户带来多少价值?

拒绝技术自嗨! 在本季黑客马拉松中,StartDT的工程师们就以“DataSimba + GrowingIO-UBA”为例,率先完成了最佳实践。 伴 随着产 品体系的壮大,DataNuza等产品团队亦积极创新,探讨分析云融合方案。

首次参加StartDT Hackathon的评委、GrowingIO资深技术专家周期深感惊喜:“DataSimba+UBA这个项目完成度非常高。 UBA结合元仓数据的场景能完成行为数据和业务数据的真正融合,意义很大。 特别提一点,从DataSimba和UBA团队做项目过程中那些照片,能感受到 工程师同学们共同解决问题那种互相协助、面对问题眼里有光的团队精神 ,真的很棒!”

评委、资深技术专家大门则表示,本次黑客马拉松是目前看到最有创意的一次。“UBA+DataSimba+DataNuza,三者强强联手, 实时的用户分析、实时的数据处理、实时的营销推送,在同等计算资源下要做到最快,在同等速率下要做到最省资源。 小伙伴们把整套数据云和分析云的产品玩得很溜,搭建了多个场景,并对其中出现的多个场景提出了颠覆性的整改意见,而且真正解决了某些场景。很高兴能参与其中,和优秀的人一起共事会让自己变得更优秀。”

真需求促进真融合,真痛点推动真创新。

在这群对数据技术充满热忱、行动力高、创造力强的工程师支撑下,StartDT产品“全家桶”将不断进化迭代,真正成为客户DT时代的最佳伙伴。

发奖啦!

本届StartDT Hackathon共有三组喜提奖金: “你说的队”和“某个组”获得并列第二,“十二黄金圣斗士”则以绝对领先的高分拿下一等奖。

二等奖:你说的队 ☑️

雨晴:感谢公司能够提供这次宝贵的机会,让我能够从中提升自己。我觉得参加这次的黑马特别有意义,让微前端从零到有,能够有所实践。

桐人:每届黑客马拉松都非常有趣,可以感觉到大家各种想法的碰撞,毕竟“人人都是产品经理”。只不过这一次,我们的“微前端改造方案”更加打动大家一点,哈哈哈哈哈~

黛西:当获知我们团队获得“二等奖”的殊荣时, 我的心情无比激动,这是我们全体队员相互协作、齐心协力共同的荣誉!

执剑:感谢本次黑客马拉松的主办,使得我们能有机会挑战一下新技术的同时,站在与商业的交叉点上,产生商业价值。感谢评委们的认可和鼓励,我们将砥砺前行,持续思考,为公司带来新的价值。

并列二等奖:某个组

不愿透露姓名的组员:低调还是能躺赢的。

不愿 透露姓名的另一位组员: 这才是实力的象征 ?

一等奖:十二黄金圣斗士

圣斗士代表:短短四天,从无到有,特别荣幸和这么有战斗力、主人翁精神的团队一起奋斗。和都是为了做事的人一起工作是种享受,十二黄金圣斗士大家是最棒的!

注:圣斗士之一、资深数据产品经理“沙加”因屡战屡胜,黑客马拉松胜率高达100%,下届起惨遭禁赛。

关键词: 黄金圣斗士 的工程师

上一篇:
下一篇:
精彩阅读

快看点丨这次和GrowingIO工程师一起搞事情 | StartDT Hackathon

热点

DataNuza和UBA使用了不同的前端框架,如何在保留两者的同时完成融合动作,对产品团队是个挑战。

热点聚焦:不务正业的美图该如何保持美丽?

热点

近日,美图因投资虚拟货币导致亏损加剧。

全球微资讯!云盒子好用吗?云盒子企业网盘怎么收费?云盒子科技实力如何

热点

SaaS点评网于2019年上线,是一个SaaS软件选型交流平台,致力于帮助企业找到合适的产品。

全球今日讯!字节为何必须“模仿”小红书?

热点

可颂与小红书的差距是多少?答案是15倍。

当前简讯:数字藏品热,直播间带火?

热点

未来文化数字化后,关于数字藏品的知名度将进一步扩大。直播带货和数字藏品的融合,无疑更能开拓数字藏品的更多发展和潜力。

天天日报丨京东云总裁高礼强:产业数字化的下一站是数智供应链

热点

这些领先的数智技术支撑着京东全球供应链的高效运转,创造了超千万SKU,库存周转天数仅30 2天的“世界级”数字。

焦点速读:首席信息安全官如何规划其职业生涯

热点

首席信息安全官如何规划其职业生涯的未来发展。

天天微速讯:广电进场!中国广电5G入局是否会引发价格战?移动、电信董事长回复了

热点

杨杰表示,通信运营企业具有网络、数据、技术等天然基因,积累了数智应用融合创新的宝贵经验,已成为数字经济发展的中坚力量。

天天快资讯:WPS特殊版来了,告别卡顿崩溃,让你办公效率提高10倍!

热点

最近WPS被讹传“删除用户本地文件”的热度可不小,而WPS官方微博也在7月11日现身辟谣,回应称该说法为谣言误导。

环球今日报丨人工智能如何在电子商务领域中应用

热点

人工智能已成为电子商务业务不可或缺的利器,随着它的普及,越来越多的工具使集成人工智能比以往任何时候都更容易。

财富

全球观察:蜜芽关停,逃不过垂直电商的宿命

资讯

蜜芽关停,逃不过垂直电商的宿命,垂直电商又倒下一子。

【全球时快讯】融资丨「海豚之星」完成数千万元融资,梧桐树资本独家投资

资讯

融资丨「海豚之星」完成数千万元融资,梧桐树资本独家投资,据悉,本轮融资将用于研发和营销投入,以及自有产线的完善。

天天速看:融资丨「山猫齐动」获A轮融资,新尚资本投资

资讯

融资丨「山猫齐动」获A轮融资,新尚资本投资,5G消息是短信和小程序的融合产物,可视为短信、小程序的升级版。

播报:海外创投丨「Hearth Display」获种子轮融资280万美元,创新家务管理方式

资讯

海外创投丨「HearthDisplay」获种子轮融资280万美元,创新家务管理方式,融资资金将主要用于设备和软件开发。

焦点播报:海外创投丨「Areteia Therapeutics」获3.5亿美元A轮融资,Bain Capital Life Sciences领投

资讯

海外创投丨「AreteiaTherapeutics」获3 5亿美元A轮融资,BainCapitalLifeSciences领投,融资资金将使得Areteia通过第3阶段临床试验服用Knopp的候选药物并研究新药。

今日快讯:砸下33亿美金、球员罢赛,华裔老板蔡崇信难做NBA生意

资讯

砸下33亿美金、球员罢赛,华裔老板蔡崇信难做NBA生意,天才投资人蔡崇信,似乎做了一笔赔到家的生意。

焦点速读:装修大冤种:在一线城市装修,会被坑多少钱?

资讯

装修大冤种:在一线城市装修,会被坑多少钱?,装修就是一场历劫

环球观点:吹口气就能自查幽门螺杆菌?「中科微感」让气味数字化

资讯

吹口气就能自查幽门螺杆菌?「中科微感」让气味数字化,吹口气就能检查肾脏好坏。

全球观察:海外创投丨「Intellect」获A+轮融资1000万美元,Tiger Global领投

资讯

海外创投丨「Intellect」获A+轮融资1000万美元,TigerGlobal领投,该公司将利用新资金在更多市场开展商业活动,扩大业务规模,建立精神保健系统。

天天快资讯:海外创投丨「Persistent Energy」获1000万美元C轮融资,致力于非洲可再生能源领域研究

资讯

海外创投丨「PersistentEnergy」获1000万美元C轮融资,致力于非洲可再生能源领域研究,PersistentEnergy计划利用本轮资金发展其在非洲的清洁技

热点聚焦:不务正业的美图该如何保持美丽?

近日,美图因投资虚拟货币导致亏损加剧。

全球微资讯!云盒子好用吗?云盒子企业网盘怎么收费?云盒子科技实力如何

SaaS点评网于2019年上线,是一个SaaS软件选型交流平台,致力于帮助企业找到合适的产品。

全球今日讯!字节为何必须“模仿”小红书?

可颂与小红书的差距是多少?答案是15倍。

当前简讯:数字藏品热,直播间带火?

未来文化数字化后,关于数字藏品的知名度将进一步扩大。直播带货和数字藏品的融合,无疑更能开拓数字藏品的更多发展和潜力。

天天日报丨京东云总裁高礼强:产业数字化的下一站是数智供应链

这些领先的数智技术支撑着京东全球供应链的高效运转,创造了超千万SKU,库存周转天数仅30 2天的“世界级”数字。

华盛顿地铁站首次亮相为视障人士扩展旅行路线

5月25日消息,一款旨在帮助视障人士或盲人行人使用公共交通工具的应用程序在华盛顿地铁站首次亮相。该应用程序名为Waymap,旨在为盲人和视

2022年情况又要变了!华硕高管:今年PC恐怕要供过于求

这两年来,由于疫情导致的居家办公及远程教育需求爆发,一直在下跌的PC市场枯木逢春,2021年更是创下了2012年以来的最快增长,然而2022年情

垃圾佬的心头好!西数新款固态盘SN740曝光

对于DIY垃圾佬来说,散片、拆机件、工包……这些名词怕是并不陌生。本周,西数推出了主要供应OEM厂商的新款固态盘SN740。SN740升级到了第五

虚假宣传、误导消费者 倍至冲牙器关联公司被处罚

后来者要想在激烈的市场竞争中立足,如果可以背靠巨头享受大树底下好乘凉的红利,那自然是皆大欢喜,没有这个福气,也大可凭借自己一步一个

吉利几何EX3功夫牛高居榜首,4月投诉量230起

近日,车质网发布了2022年4月车型投诉排行八卦(前30名),其中有不少产品的出现属实让人没想到。具体来看,吉利几何EX3功夫牛高居榜首,4月

“说好了未达到目标全额退款,结果都是骗人的!”

春天不减肥,夏天徒伤悲。一波减肥大军抱着坚定的信念踏上征途,发现身边各式各样的高端减肥训练营正打着健康减肥封闭管理保质保量包吃包住