网站流量日志分析--统计分析--复合指标分析--平均访问时长|学习笔记

简介: 快速学习网站流量日志分析--统计分析--复合指标分析--平均访问时长

开发者学堂课程【大数据分析之企业级网站流量运营分析系统开发实战(第四阶段) 网站流量日志分析--统计分析--复合指标分析--平均访问时长】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/696/detail/12217


网站流量日志分析--统计分析--复合指标分析--平均访问时长


1、平均访问时长

平均每次访问(会话)在网站上的停留时间。体现网站对访客的吸引程度。

平均访问时长=访问总时长/访问次数。

2、举例子a 网站人均用户在上面只能呆两三秒钟b网站人均用户在上面呆七八分钟这时就可以知道到底哪个网站对用户具有吸引力想要得到平均访问时长需要一个总的时间除以访问的次数也是会话次数这样就可以得到一个大概的平均值

3、平均访问时长:天之内用户平均每次会话在网站的停留时间

=总的停留时间/会话的次数(基础指标 vv)

数据表:ods_ click_ pageviews

涉及到 session除了 session 之外还需要总的停留时间这时基于两点优先考虑点击流模型在点击流模型中有 pageviews 和 visit这两个都有 session都有会话visit 把 pageviews 做了聚合只用第一步和最后一步的数据得到这样一个结果当中提供停留几步就看不出来了所需要的两个指标只能通过 pageviews 模型生成首先第一个有 session 字段进行去重统计得到今天的会话指数另外一个面属于同一个 session 优化的每一步都有一个所谓的 page_staylong 页面停留时间

image.png

把 pageviews 模型做一个抽象在 pageviews 模型中有 session id 的概念session 编号接下来会有 step 访问地在同一块是第几步每一步的停留时间staytime第一步 session1停留了30第二步停留10s第三步60ssession2 第一步30s第二步停留60s计算用户今天在网站上总的停留时长如下有两个会话一个会话 session1停留100s另一个会话 session2停留90s

pageviews

sessionID

step

staytime

Session1

1

30s

session1

2

10s

Session1

3

60s

session2

1

30s

session2

2

60s

把两个指标相加除以二得到平均停留指标灵活一点用sum求和把每一步的时间加起来先局部求和变成 session再把 session 加起来和把 session 直接求和效果一样直接把每一步的停留时间加起来变成总的会话时间统计会话有五条记录属于两个会话因此统计时需要进行去重操作 distinct把所有页面的节点加起来变成总的停留时间再把 session 做去重统计得到会话 vv两个一相除就是平均网站会话访问时间

sun (staytime )

count (distinct sessionID)

分组字段:时间( day) day 比较特殊还是表的分区字段通过 where 分区过滤即可。

度量计算:sum(page_ staylong)/count(distinct session)

select

sum(t.page_ staylong)/count(distinct t.session)结合表进行修改

得到每一步的停留时间变成总的停留时间再去重 session 得到 vv两个指标再相除得到的就是平均访问时长用户每次在网站停留的时间

From ods_click_pageviews twheret.datestr= "20181101";--211.24别名t分区过滤保证拿到的是20181101这一天的数据天分组比较特殊分区字段

image.png

4、在 hive 中做执行最终计算的结果是211.24,大概是三分多钟

image.png

今天来到网站的用户产生对话, 平均每次会话会在网站上停留211秒钟这个指标就可以看出来该网站对用户的吸引程度如果平均会话时间只有一秒两秒网站没有吸引所以这个指标可以从业务中解读出来网站的访问情况简单梳理一下确定秒确定数据梳理思路写sql即可

相关实践学习
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
【涂鸦即艺术】基于云应用开发平台CAP部署AI实时生图绘板
相关文章
|
2月前
|
存储 监控 算法
防止员工泄密软件中文件访问日志管理的 Go 语言 B + 树算法
B+树凭借高效范围查询与稳定插入删除性能,为防止员工泄密软件提供高响应、可追溯的日志管理方案,显著提升海量文件操作日志的存储与检索效率。
121 2
|
8月前
|
存储 运维 监控
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
SelectDB 实现日志高效存储与实时分析,完成任务可领取积分、餐具套装/水杯/帆布包!
|
3月前
|
监控 安全 搜索推荐
使用EventLog Analyzer进行日志取证分析
EventLog Analyzer助力企业通过集中采集、归档与分析系统日志及syslog,快速构建“数字犯罪现场”,精准追溯安全事件根源。其强大搜索功能可秒级定位入侵时间、人员与路径,生成合规与取证报表,确保日志安全防篡改,大幅提升调查效率,为执法提供有力证据支持。
178 0
|
8月前
|
SQL 监控 数据挖掘
SLS 重磅升级:超大规模数据实现完全精确分析
SLS 全新推出的「SQL 完全精确」模式,通过“限”与“换”的策略切换,在快速分析与精确计算之间实现平衡,满足用户对于超大数据规模分析结果精确的刚性需求。标志着其在超大规模日志数据分析领域再次迈出了重要的一步。
592 117
|
5月前
|
监控 安全 NoSQL
【DevOps】Logstash详解:高效日志管理与分析工具
Logstash是ELK Stack核心组件之一,具备强大的日志收集、处理与转发能力。它支持多种数据来源,提供灵活的过滤、转换机制,并可通过插件扩展功能,广泛应用于系统日志分析、性能优化及安全合规等领域,是现代日志管理的关键工具。
873 0
|
7月前
|
自然语言处理 监控 安全
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
阿里云可观测官方发布了Observable MCP Server,提供了一系列访问阿里云可观测各产品的工具能力,包含阿里云日志服务SLS、阿里云应用实时监控服务ARMS等,支持用户通过自然语言形式查询
1031 0
阿里云发布可观测MCP!支持自然语言查询和分析多模态日志
|
6月前
|
人工智能 运维 监控
Aipy实战:分析apache2日志中的网站攻击痕迹
Apache2日志系统灵活且信息全面,但安全分析、实时分析和合规性审计存在较高技术门槛。为降低难度,可借助AI工具如aipy高效分析日志,快速发现攻击痕迹并提供反制措施。通过结合AI与学习技术知识,新手运维人员能更轻松掌握复杂日志分析任务,提升工作效率与技能水平。
|
9月前
|
存储 消息中间件 缓存
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
基于阿里云SelectDB,MiniMax构建了覆盖国内及海外业务的日志可观测中台,总体数据规模超过数PB,日均新增日志写入量达数百TB。系统在P95分位查询场景下的响应时间小于3秒,峰值时刻实现了超过10GB/s的读写吞吐。通过存算分离、高压缩比算法和单副本热缓存等技术手段,MiniMax在优化性能的同时显著降低了建设成本,计算资源用量降低40%,热数据存储用量降低50%,为未来业务的高速发展和技术演进奠定了坚实基础。
416 1
MiniMax GenAI 可观测性分析 :基于阿里云 SelectDB 构建 PB 级别日志系统
|
9月前
|
域名解析 应用服务中间件 网络安全
阿里云个人博客外网访问中断应急指南:从安全组到日志的七步排查法
1. 检查安全组配置:确认阿里云安全组已开放HTTP/HTTPS端口,添加规则允许目标端口(如80/443),授权对象设为`0.0.0.0/0`。 2. 本地防火墙设置:确保服务器防火墙未阻止外部流量,Windows启用入站规则,Linux检查iptables或临时关闭防火墙测试。 3. 验证Web服务状态:检查Apache/Nginx/IIS是否运行并监听所有IP,使用命令行工具确认监听状态。 4. 测试网络连通性:使用外部工具和内网工具测试服务器端口是否开放,排除本地可访问但外网不可的问题。 5. 排查DNS解析:确认域名A记录指向正确公网IP,使用`ping/nslookup`验证解析正
372 2
|
9月前
|
SQL 存储 自然语言处理
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
让跨 project 联查更轻松,SLS StoreView 查询和分析实践
200 1