翻了一下记录,间隔我上一次在知乎写文章已经曩昔了1年多。而从我入职字节快要两年的时候里,一共也只在知乎上发了11篇。 复盘一下缘由,1确切自己变懒了,2也跟公司的一些PR制度有关系。 对外公布的技术文章都需要经过脱敏和报备处置,而脱敏的一个方式就是去除内部保密的信息。大部分时辰我的技术文章都来自于 对自己学到的和做过的工具的总结。假如一篇技术文章,落空了一些数据和成果支持,就显得比力苍白。 11.25是我在字节的last day。 乘着交接完的空虚时候,回首一下两年在字节游戏所做过的营业,连系当前大情况和大师聊一聊我所堆集的思考。 首先很是感激我的直属带领@嘉树给我的机遇和信赖,才得以进入江南中台,并基于我来组建性能优化的团队和营业。 其次很是感激项目组的带领萧让 @FrankZhou 在我营业展开时代授与的支持和帮助。 最初感激Mentor@波波 和一切和我合作过的同学(包括中台组和项目组),大师一路慎密合作才有高效的产出。 我在字节的工作整体可以分为2个阶段: - 第一阶段为2021年1月~2021年8月。营业偏向为性能优化,首要在为项目组做各类性能优化的事物。
- 第二阶段为2021年9月~至今。营业偏向为UE+超写实数字人。
性能优化阶段性能优化阶段落地的工具大要可以总结为: - 性能优化团队的职能的思考和组建。并基于此做了一次Unity官方的分享。
- 为江南的一款代理游戏做驻场性能优化,并帮助该项目建立了平常的性能检查认识、流程以及常规性能工具利用。并针对项目标热门题目,供给了多少性能优化的处理计划。
- 针对《来临》项目做了一整轮的包体优化,共整理了60+个有用题目。这些题目涵盖了包括了资本反复,过剩,BUG,姑且/测试资本,音频,代码段等多个可改良的偏向。开出优化单60+,优化包体600M+。同时催化了一个新的包体分析工具。并落地了性能周会的例行包体检查项的流程。同时也催化了音频组对音频的优化进程以及音频相关的检查工具。
- 针对国内的手机厂商(华为,小米、OPPO、VIVO、光荣),开辟和整合了一个厂商性能SDK,从硬件操纵系统层面来优化项目。后将该SDK上升到旦夕光年中台完成共建,可以对旦夕光年其他项目停止赋能,今朝已经在MLBB落天时用。
- 一款运转时性能监测工具。可以在项目运转时,实时检察各类性能目标和卡顿分析。并能经过项目停止自界说的数据扩大。在江南各项目均落天时用。
除了以上落地的比力大的模块之外,还有由于一些客观身分没有完全跟进大概落地的部分。 - 安卓平台的内存分析和跟踪。完整实现了安卓内存从分派到归纳的流程途径,由于项目那时重心不在安卓Native内存上,弃捐。
- Framework整理。针对江南游戏的通用Framework做技术整理,和归档。终极由于项目数目变化,而重新评价了ROI和性价比以后,弃捐。
- 资本分级计划。针对分歧平台和机型分级而出的,包括开辟、打包、运转等时态下的资本分级计划。后由于HC缩编,人手不够而转交给项目组自行实现。
UE+数字人阶段在2021年9月以后,由于一些客观身分,性能优化完全交由项目组自立停止以后,起头研讨UE引擎+超写实数字人。部分结果可以检察: 在极小的人力投入下,用时半年(2022.4)逾额完成了既定的宣发使命,并将超写实数字人做到了国内的top。在这个阶段,大多是美术同学的功绩,技术更多的是供给引擎和工程的辅佐,并应用技术判定力来进步效力。 和Nvdia合作,做了数字人的宣发。 以及比力深度的数字人技术揭秘: 4月之前,在技术支持方面我们完成了 - 从0起头,完成了UE引擎和数字人的两重破冰。
- 《来临》 4月全球宣发视频建造的技术支持
- 巨量引擎文旅大会主持人技术支持
- 平常的AI、美术工程支持
- 外包商&外包工程技术支持
- 大屏交互Demo开辟支持
- 直播途径技术支持
- 国家计谋级项目合作的技术支持
- 项目团队一共产出技术专利多少,由本人倡议和介入的约6篇。另有其他2篇正在起稿中。
在4月以后,起头构建数字人技术层面的产物 - 面捕产物
- 完成面捕软件的设想和开辟,经过增维的方式提升面捕精度,结果超越竞品软件。
- 完成IOS版本app开辟,平常稳定支持lydia的直播和各类数据录制。
- 完成Android版本的APP开辟并已经落地ASoul的平常直播。
- 完成面捕数据的存储和导出,给离线视频的建造供给便利的面部数据支持。
- 导播产物
- 可一键开播,使非技术同学可以自立停止直播。
- 完成UE端录像&回放系统功用,使得一切直播数据可以完整保存,并能停止功用回放。
- 完成多端导播设想,完成镜头、道具、换装等根本功用实现,保障直播根本的功用需求。
- UE制片软件
- 设想同一数据格式并实现,统合一切的脸和身材的数据建立、存储和编辑。
- 统合面捕APP、导播软件、AI直播等各软件之间的数据关系,一处天生,处处可用。
- 完成JNLivelink的插件开辟,接收一切Live下的数据源,并能停止自界说的控制和分发。
- 完成根本的replay Server和Replay Client功用,可基于存储的数据文件来模拟Live信号,以完成直播/录播信号的无缝切换。
固然还包括很多踩坑和弯路,这些内容已经在旦夕光年内部完成了技术分享并获得了分歧好评,而且这些本可以在今年的UOD大会上和大师分享的。终极出于PR风险的缘由,我们自动撤回了主题分享。

与此同时,11.26号在Unity官方构造的杭州UUG上,原本也会跟大师分享一下Unity的数字人结构和技术的。由于自己的一些路程缘由也自动和主办方取消了。 在次,再次对大钊和洵姝说声抱歉。 两年时候里,碰到了很多主观大概客观的身分,这些或多或少影响了工作室的营业,也影响着中台的职能和岗位。但我想说的是,我们没有法子预知和左右这些客观身分,那就在每一次的变更中找好自己的定位,尽力的顺应情况然后想法子处理题目。 最初,口罩当下,希望每小我都能健康愉快。和家人在一路,就是最幸运的事。么么哒!
 |