|
! k+ D& d4 ]5 q2 R3 ? 文：数据观数据清洗在数据分析中的重要性毋庸置疑就像日料一样，食材质量越高，食物的口感就越好然而这个过程并不简单，令很多有分析愿望的业务人员都望“洗”生畏其实，数据观的ETL工具就可以帮助你快速地完成一些主要的清洗工作，而且非常简单。 1 a' z, m# J$ K" ~* B
以百度统计的数据为例，今天就跟小观一起过个“大洗的日子”！老板说…… 
# k9 l: i* s- M# @ 需求分析：1、时间区间：30天2、目标物：入口页面3、目标条件：访问量最高的7个4、附加条件：不能含有首页能下钻要看到累计访问次数要看到平均访问时长 
; \1 T& U0 I. o3 ]5 P, x) ?$ Y 没问题，敲简单的！我分分钟给你答案！然而当我把百度统计的实时访客CSV文件导出来的时候……  
1 t5 S& y, [7 V+ w' ~( a 啊啊啊啊啊啊啊介都似嘛啊！看来，不上大招不行了……打开数据观，之后的事情就简单了！不信？试试看嘛～ 
& B8 u9 ~# Q1 p& Q7 _# e 首先是准备工作，连接你的数据，然后打开“ETL”工具～1、连接数据  ( u2 x0 z% S5 O
点击“数据连接”，选择“文件”，选择“上传CSV”，上传您的实时访客数据即可。2、新建ETL 
# A) Q8 w* G0 h6 o6 Q 点击“创建数据”，选择“ETL”，进入到这张画布，激动人心的时刻就要开始啦！ # T, F5 L5 t3 ] @3 |
接下来是每个运营们都很烦恼的事情啦～其实，都能通过ETL工具来解决哦～1、数据处理难关之——日子每天都在过，表格每天都得做？描述：我每天都想知道最近30天访问量最高的入口页面，但是我并不想每天调数据有自动跟着变的方案吗？。 ( z4 o' [5 h9 Q
答案：有！秘密武器：［日期计算］＋［过滤］  ' Q' J/ m& Z! m9 t1 i: v+ v
［日期计算］顾名思义，就是对日期进行计算。您可以对日期、月份、年份、季度等不同时间段动手脚。而我们这次要用的叫做“日期差”，可以很轻松地计算出每一次访问的“距今时间”。  " I3 R& e% q! Y( E" Q% }
将新列命名为“距今天数”，将操作方式选择为“日期差”，用“当前日期”减去“访问时间”，您的原始表格上就会出现一个名为“距今天数”的新列，并且里面是算好的天数啦！ 
l" B% n6 W; s4 U* w" @; B: A 接下来，我们用一手［过滤］，直接解决“30天内”这个需求。  ' `6 N# T+ p2 n
将需要过滤的列选为“距今天数”，比较类型为“小于等于”，因为天数是我们自己设定的，所以选成“与指定值比较”，并输入“30”。PS：如果您希望得到的7天或者15天，那么输入“7”或“15”就可以了。  & `5 s. q" l3 n9 S$ _
我们会得到“距今天数”小于等于30的数据，也就是在30天内的访问数据。而且每天都会自动更新哦～ 
$ y' m) _5 T- e 怎么样？30天的问题分分钟就解决掉啦！简单吧～2、数据处理难关之——时长构成太混乱，不是整数怎么算？描述：我要计算访问时长的平均值，需要字段是“整数”格式才行但默认格式是文本，里面有空值、未知、正在访问等等，时长数值后面还有个单位‘s’，完全不具备把它转换为“整数”的条件。
6 p# t6 U* Q: V! p7 T 有什么功能能批量把单位去掉，并把空值、未知、正在访问都转换为空值吗？答案：有！秘密武器：［替换文本］＋［修改列类型］ 
) e" O" v& H- H% T! B/ ^ 替换文本三连发……emmmm不要着急……每一个都有自己的脾气啦！第一次［替换文本］，解决的是单位问题。  3 Y2 e/ H7 G1 L3 h l
我们需要处理的列是“访问时长”，所以选择该列，输入要去掉的字符“s”，将之替换为“空字符串”即可。第二次［替换文本］，解决的是将“未知”转成空值的问题。  ' }( z+ ?$ x0 m, z7 S4 a6 ~
第三次［替换文本］，解决的是将“正在访问”转成空值的问题。这里就不po图啦，跟上图过程是一样的。最终，“访问时长”只剩下数值及空值，此时再来一招［修改列类型］，将“文本”转换成“整数”即可。 
: I# C) {0 e1 ?( M5 V0 E6 S 此时，“访问时长”已经变成“整数”类型了。  $ _+ M% [* b/ G6 G' E( a
是数字就好办——计数、平均、最大值、最小值……想怎么算就怎么算！ - R$ ^0 a! Y- X) U7 b
没错～就替换一下数据，然后再转换一下列类型，挠头的访问时长问题就解决掉啦！3、数据处理难关之——［入口页面一大批 偏偏只想看前七］描述：访客从各个页面来访，但我们最关注的是前七个页面，能实现只看TopN，而不看其它吗？
. K( { D: |: g" V7 R5 D0 F 答案：能！秘密武器：［排序和累计］  2 Y6 i7 y3 ~, X9 t' D
首先扪心自问——我要对什么排序？在空白框中写下你的答案——“访问量排序”。接下来选择排序的方法——“排序值（连续）”。然后找到右上方那个“应用”按钮，点击，即可进入下一步设置了。  - Z# j& k) T# ?' C
选择要排序的列——“访问入口页面”然后选择排序方式——“降序”所有访问入口页面的名次就出来啦！不过，这还不是前七啊？别着急，前七的问题，在出图的时候就给您解决！  2 Q9 u+ T! e7 P3 x. r1 ^& \
首先，将图表类型选择为“条图”——最适合展示 TopN的图表类型。然后，将“纵轴”选为“访问入口页面”，横轴选为“访问IP”（统计方式为“计数”），所有访问入口页面就按照访问量排列出来了。 
" d- v$ f: {3 P0 A5 w+ | 此时，我们添加“过滤”，将过滤字段选为“访问量排序”，将数值设为“1～7”，前七位就出来啦！当然，如果您想看前10，前20，也可以随时调整，非常方便。 
8 @) k9 N0 Z5 }- C, y2 s 最后，点击“数据下钻”，添加想要查看的列，就可以看到该页面的详情——也就是老板说的“访问数量”与“访问时长”啦。是不是很方便呢？最方便的是，这些处理您只做一次就行。以后，更新数据，结果自动出图哦～  ' U/ c7 B8 \2 y6 u# G1 L, |
数据处理全过程～手动处理这些数据，台前1分钟，台后一天功。交给数据观ETL工具的话，台前1分钟，台后也就10分钟。
6 |" ]8 X% D; b2 }, t: j 是不是感觉结束得很突然？对，我也觉得很突然，感觉很复杂的工作，一下子就完成了！真是令人意犹未尽啊……不过高手么，都是要承受这种淡淡的欠揍的失落感哒……写在最后：百度统计后台设计的已经足够好，但如果能把百度统计的数据按照自己的需求进行分析，甚至和产品数据、其它推广渠道的数据结合起来共同分析，那就更好。 $ q1 {3 R/ v$ c" I C; B1 F5 c
当很多运营都止步于那份看起来密密麻麻的CSV文件时，你手起刀落，干净利索地将之变成一份有价值的数据洞察，是多么有成就感的事大家的原始字段虽然都是流水线出品，但有些字段的待遇却是萨维尔街的，这就是运营与运营之间的不同。
- N9 ^5 [" x* u1 H 当普通运营把后台当作一切，而你把后台当作一切的开始时，你就赢了。让我们都具备让数据说话、让商业智能的魔力吧！PS：亲手做过才是自己的哦！ - F1 u _) \7 d5 Y) q
0 |4 b4 q: D0 o' H1 J1 x
L: m w* D- j! m; A: j: X7 Y% J- e \5 C; l$ x
, }- O+ A( ?$ W5 B! ~0 ~$ {/ E, C$ C
| 
