数据分析师这个岗位，可能近几年会消亡

近期成为月入两万的数据分析师的广告遍地都是，能够会对一些未入行的同学形成错觉。我小我感受数据分析师这个岗位，能够近几年会消亡。

这不意味着这份工作自己不重要，而是说这份工作自己能够会转化为产物运营的一些必备技术，而不再需要零丁特设人力去做这件事。大概说，不是再需要你进修SQL大概进修python，只是为了成为一位数据分析师。

作为一位数据分析师，由技术带来的岗位的壁垒正在不竭消减，加倍自动的拥抱营业，处理实在的产物和用户需求，或将成为未来的成长趋向。

数据分析师的平常工作

我们来看下预设中的分析师的一些工作场景，看看数据分析师焦点的工作代价。

• 取数
• 数据清洗
• 数据可视化
• 统计分析
• 数据偏向扶植和计划
• 数据报告

取数 — SQL

很多人对数据分析师的预设是SQL达人，包括现在很大都据分析师的焦点工作实在就是停止SQL取数。

这项工作的痛点和难点在于，我们为了获得一个成果，凡是需要join很多的数据集，然后全部SQL语句就会写的出格长，而且能够会出现一些题目：比如join的表能够会出现key是反复的情况，形成终极的SQL成果由于反复而变得不成用。所以我们需要专人去专门保护各类百般的数据集，他们晓得每张表应当怎样用。

但这个实在是关系型数据库遗留下来的产物——我们完全可以不需要join那末多的表。现在的散布式计较的框架，已经完全可以支持我们只保存一张大宽表，有需要的一切字段，然后一切的操纵都在这张大宽表上停止，而且可以保证查询速度。这样数据分析最大的痛点已经没有了。至于你说大宽内里面存了很多反复的数据，能否是很浪费资本(关系型数据库之所以不用大宽表就是从存储空间和性能的trade-off角度斟酌的)：安心，散布式存储自己是不贵的，而计较效力则是由散布式计较框架停止专门优化的。现在的计较框架计较的响应速度，已经可以在大宽表上可以很快的获得成果了。相比之下，屡次join操纵反而能够会更慢一些。

同时，现在很多公司的NB框架，实在都已经支持拖拽取数了，也底子不需要写SQL了。

此外，不能不说的一点是，SQL语句自己真的不难。能够假如你自己静下心来想学，一个周末的时候必定能搞定。而资历老的数据分析师，并不会比资历轻的数据分析师，在SQL语句的写作上有什么本质的区分。之前能够还有一些小表join大表的trick，但现在计较框架大多都已经优化过这些了。所以即使是需要写SQL的场景，自己也是没有什么难度的。

所以，经过大宽表来束缚数据分析工作的生产力。即使在一定要写SQL做join操纵的时辰，自己也不是一件壁垒出格高的工作。取数这件事儿，对于其他岗位的同学，就已经没那末复杂了。

数据清洗 — Python

数据清洗实在是很多夸大python停止数据分析课程中，python部分的首要卖点。包括但不限于，怎样处置异常值，怎样从一些原始的数据中，获得我们想要的数据。这些数据分析课程凡是会把自己的python利用吹得神乎其技，似乎支出学了python才能成为一个及格的数据分析师。

可是在数据分析的平常工作中，利用python的场景实在很小。由于数据大部分都是自己发生的，很少会出现没有预设到的极端值大概异常情况。倘使有的话，一般就是生产数据的同学代码写的有bug，这类发现了以后修复代码bug就行。

数据清洗在工作场景的利用在于落表——就是把原始数据酿成上面提到的，可以经过SQL提取的hive表。这个工作是需要懂代码的同学去支持的，他们负责数据的产出，包括数据的正确性，数据的延时性(不能太晚产出)等等。前文提到的天生大宽表，实在也可以是他们的工作。这其中就触及到一些代码的效力优化题目，这个就不是简单懂一点python可以搞定的了，能够触及到一些数据紧缩格式的转化，比如Json/Proto buffer到hive表的转化，还有一些计较框架层面的调优，比如spark设备什么样的参数，以及怎样样存储可以更好的提升查询速度。

所以这部合作作通常为由懂代码的同学完成的。能够数据团队会有比力少数的同学，治理支持全公司的根本表的天生。

数据可视化 — Tableau

很多之前在数据分析做练习的同学，首要的工作内容就是在一个贸易化的软件(比如Tableau)上，做一些统计报表。这样可以经过这些数据报表，可以很方便的检察到所属营业的一些关键目标。这些贸易软件凡是都比力难用，比如能够需要先估计较一下才能输出成果；而且不太好做自界说功用的开辟。稍微复杂一点的需求场景，能够就需要一个专门的同学捣鼓一阵，才能输出终极的统计报表。

现在有更先辈的套路了。

首先可视化。很多公司买通了前端和后真个数据，这样便可以经过网页查询原始的数据库获得数据成果。而现在很多优异的前端可视化插件，已经可以供给很是丰富的统计图形的支持。而且由于代码是开源的，可以按照公司的需求场景停止针对性的开辟，公司可以再辅以设置一些加倍用户友爱的操纵界面，这样一些复杂需求也有了简单拖拽实现的能够。而且这些前端js代码都是免费的！对于公司来说也能省去一笔贸易公司的采买本钱。

其次很多贸易软件，都是针对小数据集场景设想的。在一些大数据集的场景，一般需要先估计较一些中心表。而假如自己公司定制化开辟的前端展现成果，便可以按照需要自立设备计较逻辑和设置计较资本，先在后端停止估计较，前端终极只是作为一个成果展现模块，把成果展现和需要的估计较停止解耦。这样就省去了很多中心表的产出，也会加倍快速的获得想要的营业目标，快速迭代。

所以可视化数据的工作量也会大大削减。而且会酿成一小我人都可以操纵，快速获得成果的场景。

统计分析

对于一位数据分析师而言，统计学分析能够是一块常识性的壁垒。特别是在现在ab尝试成为互联网公司迭代标配的明天。需要把尝试设想的那套理论利用起来：比如ab尝试停止后的明显性检验，几多样本量的数据才能让这个结论有用可信呢。

可是，你我都晓得，典范的统计分析实在是一个很是套路性的工作。实在就是套公式，对应到代码层面，能够也就一两行就搞定了。这个代码的统计分析成果可以作为ab平台的目标展现在终极的ab成果上，大师看一眼就能大白。即使是对那些能够不晓得明显性是什么意义的人，你可以跟他简单说，明显了才有用，不明显就别管。

这么一想能否是实在不怎样需要投入额外的人力停止分析？

其他数据相关的工作

数据层面的计划和设想。移动互联网刚刚兴起的时辰，能够那时辰数据分析师需要对每一个数据怎样来设想一套计划，包括原始的埋点怎样样，又要怎样统计出想要的成果。但现在大部分已经过了快速迭代的时代了，新产物的埋点增加可以参考老产物，这就意味着构成套路了。而一旦构成套路，实在就意味着可以经过法式间接完成大概帮助完成。

数据报告。那就真的是一件大家都能做的工作了，试想谁没在大学时代做过数据报告呢？之前只是由于数据都是从分析师产出的，而假如大家都能取到数据的话，数据报告能否是也不是一个真需求呢？

在我看来，数据分析师这个岗位的天花板和其他岗位相比起来是比力低的。能够工作一两年以后，从岗位自己就已经学不到什么额外的工作常识了。首要的工作内容技术含量不是出格高，技术性的更多的是一些可以简单上手的工具，而且做的时候长了，在这些技术性的工作上获得的堆集并不是很多。

数据分析师更像是一个在时代变迁进程中的一其中心岗位：我们从一个根基没稀有据的时代，忽然进入了一个数据极大丰富的时代，在这个进程中，我们都晓得重视数据。那怎样可以操纵这个数据呢？能够之前的那一帮人并没有太多的经历，因而老板就招一些人专门来研讨一下它，同时做一些底层数据的优化。

经过量年的迭代，现在互联网行业的每小我都晓得数据的代价，也大要晓得了什么样的数据是重要的，怎样可以更好的挖掘数据背后的代价。同时底层的根本设备也已经支持可以让一个之前没有经历的同学可以快速的上手获得自己想要的关键数据。这时辰对于一个职业数据分析师来说，他的使命就已经完成了。就如同当大家城市讲英语的时辰，翻译实在也就没有存在的代价了。

尔后的数据分析工作，能够不再是一些零丁的人做的工作。它会酿成一个产物和运营的根本工具，而且充足简单，没有取数的门坎。只是产物运营怎样样可以更好的熟悉数据，经过数据自己更好的配合产物运营的工作，这已经超脱我们一般了解的数据分析师的工作了，而是一个产物运营份内的工作。

对于那些已经在处置数据分析师岗位的同学来说，倡议不要把心机全数投入到数据分析的本职工作上，以完成使命为焦点KPI。而是不要给自己设备鸿沟，多从用户的角度思考题目，不要由因而产物运营的工作就不去做了。数据分析师这个职业成长到这个阶段，要末做加倍底层的数据扶植，要末拥抱营业，最大化的挖掘数据背后背后的代价。不要再死守着数据分析的“固有技术”洋洋得意了。

数据自己的代价是无穷的，作为数据分析师，你们已经祖先一步的把握它了，要有先发上风。你们最接近数据的人，是最能够发现用户的宝藏的人。

相关阅读：

以为文章有代价的同学，接待关注微信公众号：峰池(fengchitalk)，我们配合进步。