回顾网站分析历史,从“您是第***位来访用户”到现在百家齐放的专业工具提供商,网站分析已经逐渐发展衍化成一门科学。但面对形态各异的分析数据,很多人仍然困惑于数据的来源,了解网站分析数据的收集原理,也许对你解决这些困惑有所帮助。
眼下网站分析数据主要有三种收集方式:Web日志、JavaScript标记和包嗅探器。
1. Web日志
下图是Web日志收集数据过程的示意图。
从上图可以看出网站分析数据的收集从网站访问者输入URL向网站服务器发出http请求就开始了。网站服务器接收到请求后会在自己的Log文件中追加一条记录,记录内容包括:远程主机名(或者是IP地址)、登录名、登录全名、发请求的日期、发请求的时间、请求的详细(包括请求的方法、地址、协议)、请求返回的状态、请求文档的大小。随后网站服务器将页面返回到访问者的浏览器内得以展现。
一些专业的工具厂商会有专门的处理服务器对大量的Log数据进行处理,并将处理后的数据存放入自己的数据库中。网站经营人员通过访问分析报表系统查看网站的分析数据。也有一些中小网站主出于成本的考虑不会求助于专业的工具厂商,他们会借助简单的网站日志分析软件完成对Log数据的处理,当然处理后的数据会有一定的局限性。
2. JavaScript标记
下图是JavaScript标记收集数据过程的示意图。
上图所示JavaScript标记同Web日志收集数据一样,从网站访问者发出http请求开始。不同的是,JavaScript标记返回给访问者的网页代码中会包含一段特殊的JavaScript代码,当页面展示的同时这段代码也得以执行。这段代码会从访问者的Cookie中取得详细信息(访问时间、浏览器信息、工具厂商赋予当前访问者的userID等)并发送到工具商的数据收集服务器。数据收集服务器对收集到的数据处理后存入数据库中。网站经营人员通过访问分析报表系统查看这些数据。
JavaScript标记以其快捷性和精确性已经得到大多数工具厂商的青睐,已经发展成为当前最为流行的数据收集方式。
3. 包嗅探器
下图是包嗅探器收集数据过程的示意图。
上图可以看出网站访问者发出的请求到达网站服务器之前,会先经过包嗅探器,然后包嗅探器才会将请求发送到网站服务器。包嗅探器收集到的数据经过工具厂商的处理服务器后存入数据库。随后网站经营人员就可以通过分析报表系统看到这些数据。
4. 数据收集方式的优劣比较
没有一种数据收集方式是完美无缺的,不同数据收集方式也决定了各自的特性,了解不同收集方式的优劣所在,会对工具的选择也有一定的指导作用。
下表是三种数据收集方式的优劣比较详细:
Web日志JavaScript标记包嗅探器
优点・比较容易获取数据源
・方便对历史数据再处理
・可以记录搜索引擎爬虫的访问记录
・记录文件下载状况・数据收集灵活,可定制性强
・可以记录缓存、代理服务器访问
・对访问者行动追踪更为准确・对跨域访问的监测比较方便
・取得实时数据比较方便
缺点・无法记录缓存、代理服务器访问
・无法捕获自定义的业务信息
・对访问者的定位过于模糊
・对跨域访问的监测比较麻烦・用户端的JS设置会影响数据收集
・记录下载和重定向数据比较困难
・会增加网站的JS脚本负荷・初期导入费用较高
・无法记录缓存、代理服务器访问
・对用户数据隐私有安全隐患
决定选择采用哪种数据收集方式之前,你需要先了解自己的需求。如果你不想自己网站的流量数据被任何第三方获取,那么Web日志无疑是你的最佳选择了。但想得到更贴近网站访问者行为的精确数据,还是需要采用JavaScript标记收集数据。这种数据收集方式不仅可以对缓存访问、代理访问正确记录,而且可以通过Cookie对独立访问者进行更为精确的定位。
当然也有一些网站为了获得多方面的数据而同时采取多种数据收集方式。例如采用JavaScript标记收集精确数据的同时,为了搜索引擎优化对Web日志中的搜索引擎爬虫记录也进行分析。也有已经采用包嗅探器收集数据,但为获取缓存访问而同时进行JavaScript标记。
采取何种数据收集方式也就很大程度决定了分析工具的选择,但仅仅从这一个方面考虑工具如何选择还是不够的,后面的内容会详细介绍在选择工具前,你都需要从工具提供商那里了解哪些技术参数来帮助你做出理智的判断。
(版权归数码林网站分析博客所有,欢迎转载,但转载请注明出处。)
原文链接:http://blog.digitalforest.cn/wangzhanfenxi-shujushouji
分享到:
相关推荐
眼下网站分析数据主要有三种收集方式:Web日志、JavaScript标记和包嗅探器。Web日志收集数据的过程示意图如下:Web日志收集数据过程的示意图从上图可以看出网站分析数据的收集从网站访问者输入URL向网站服务器发出...
嗅探原理与反嗅探技术详解WEB安全电脑资料.docx嗅探原理与反嗅探技术详解WEB安全电脑资料.docx嗅探原理与反嗅探技术详解WEB安全电脑资料.docx嗅探原理与反嗅探技术详解WEB安全电脑资料.docx嗅探原理与反嗅探技术详解...
Proxmark3有卡嗅探密钥分析工具。 操作步骤: 1、链接Proxmark3 2、执行命令hf 14a sniff 3、贴合卡片进行刷卡 4、点击按钮 5、hf 14a list获取数据 6、用工具分析日志
网络嗅探器 网络嗅探器 网络嗅探器 网络嗅探器 网络嗅探器
入侵检测技术课件:2-10 数据包的嗅探.ppt
sniffglue:安全的多线程数据包嗅探器
用于课程设计的基于winpcap的网络嗅探器设计,可供使用参考
网络嗅探器~~网络嗅探器~~~~网络嗅探器
易语言全数据嗅探器源码,全数据嗅探器,子程序1,取消息,等待数据到达,被单击,子程序2,socket,bind,WSAAsyncSelect,WSAIoctl,ntohs,inet_ntoa,inet_addr,检查消息队列_,等待消息_,recv,accept
Iris 是一款非常优秀的网络通讯分析工具,为著名的网络安全公司 eEye Digital Security...相对于其它网络嗅探器,Iris 更加易用和人性化,以多元化的模块满足不同层次用户的需求,是网络管理人员和分析人员的必备工具。
Sniffer,中文可以翻译为嗅探器,也叫抓数据包软件,是一种基于被动侦听原理的网络分析方式。使用这种技术方式,可以监视网络的状态、数据流动情况以及网络上传输的信息。 破解版,仅供学习使用
网络嗅探器实验报告,:一定程度上加深了对TCP/IP协议的理解
sniffer是一款网络监视和嗅探软件,他可以实时监视和分析你的网络上流经的各种数据,通过抓包,你可以看到网络上的数据流(二进制),并由此分析出数据来源,数据目的,对应的传输层端口,上层服务,等等....
基于Java实现的网络嗅探器,包含实验报告,java源码,可执行exe文件,实验报告十分详细,包括环境配置到打包成exe文件的一步步介绍,也有之前踩得坑,嗅探器源码详情请参考大佬博客:...
找了好久,终于找到一个菜鸟也能用网络数据嗅探器,内压缩了一个小巧的网络数据嗅探器.exe(中文版),和一一个绿盟首页快捷方式,保证无毒安全,下载后可以用杀毒软件查毒
Sniffer,中文可以翻译为嗅探器,是一种基于被动侦听原理的网络分析方式。使用这种技术方式,可以监视网络的状态、数据流动情况以及网络上传输的信息。 NAI公司出品的可能是目前最好的网络协议分析软件之一了,支持...
您唯一需要做的就是通过编写一个非常简单的侦听器(解析字符串的 Java 类)并在您的计算机中运行此应用程序来指定您想要嗅探的内容。 稍后您将看到未经编码在网络中提供的凭据。 此实现使用提供的库。 此外, jpcap...
Sniffer,中文为嗅探器,也叫抓数据包软件,是一种基于被动侦听原理的网络分析方式。使用这种技术方式,可以监视网络的状态、数据流动情况以及网络上传输的信息。
利用分组嗅探器(ethereal)分析协议HTTP和DNS