SQL 聚合查询

聚合查询:

如果我们要统计一张表的数据量,例如,想查询students表一共有多少条记录,难道必须用SELECT * FROM students查出来然后再数一数有多少行吗?

这个方法当然可以,但是比较弱智。对于统计总数、平均数这类计算,SQL提供了专门的聚合函数,使用聚合函数进行查询,就是聚合查询,它可以快速获得结果。
仍然以查询students表一共有多少条记录为例,我们可以使用SQL内置的COUNT()函数查询:

SELECT COUNT(*) FROM students;

– 使用聚合查询并设置结果集的列名为num:

COUNT()表示查询所有列的行数,要注意聚合的计算结果虽然是一个数字,但查询的结果仍然是一个二维表,只是这个二维表只有一行一列,并且列名是COUNT()。
通常,使用聚合查询时,我们应该给列名设置一个别名,便于处理结果:

SELECT COUNT(*) num FROM students;

– 常见聚合函数

所有的UDAF(即聚合函数)都应该支持分组查询,内置的聚合函数有:

sum(列名) 求和      
max(列名) 最大值     
min(列名) 最小值     
avg(列名) 平均值     
first(列名)   第一条记录   
last(列名)    最后一条记录  
count(列名)   统计记录数   注意和count(*)的区别

– 聚合查询并设置WHERE条件:

COUNT(*)和COUNT(id)实际上是一样的效果。另外注意,聚合查询同样可以使用WHERE条件,因此我们可以方便地统计出有多少男生、多少女生、多少80分以上的学生等:

SELECT COUNT(*) boys FROM students WHERE gender = 'M';

除了COUNT()函数外,SQL还提供了如下聚合函数:

- Group By

谈到聚合查询必然会涉及group by

“Group By”从字面意义上理解就是根据“By”指定的规则对数据进行分组,所谓的分组就是将一个“数据集”划分成若干个“小区域”,然后针对若干个“小区域”进行数据处理。

聚合函数和分组查询结合在一起,可以更方便灵活地进行数据查询。

SELECT COUNT(*) boys FROM students GROUP BY age; 

Having与Where

where 子句的作用是在对查询结果进行分组前,将不符合where条件的行去掉,即在分组之前过滤数据,where条件中不能包含聚组函数,使用where条件过滤出特定的行。

having 子句的作用是筛选满足条件的组,即在分组之后过滤数据,条件中经常包含聚组函数,使用having 条件过滤出特定的组,也可以使用多个分组标准进行分组。

结合之前的文章,总结一下过滤的顺序

on->join->where->group by->having

解释一下,on是在join之前,很容易理解,join要根据on的条件生成键进行MR计算,where对于发生在join 之后,因此where里的过滤条件不会减少数据输入量,不过分区限制会。group by会对where过滤后的数据分组并进行聚合,having则对聚合后的结果再进行过滤。

  • 14
    点赞
  • 46
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
在 FlinkSQL 中可以使用 TopN 实现对数据流中某个字段的排序并取出前 N 个数据。TopN 算子适用于一些需要对数据进行排序、筛选的场景,比如热门商品排行、用户行为分析等。 普通 TopN 是指对整个数据流进行排序,取出前 N 条数据。在 FlinkSQL 中,可以使用如下语句实现普通 TopN: ``` SELECT * FROM ( SELECT *, ROW_NUMBER() OVER (ORDER BY column DESC) as rownum FROM table ) t WHERE rownum <= N ``` 其中,ROW_NUMBER() OVER (ORDER BY column DESC) as rownum 表示对表中的某个字段进行降序排序,并为每一行分配一个 rownum,表示该行在排序后的位置。然后在外层 SELECT 语句中筛选出 rownum 小于等于 N 的数据即可。 窗口 TopN 是指对某个时间窗口内的数据进行排序,取出前 N 条数据。在 FlinkSQL 中,可以使用如下语句实现窗口 TopN: ``` SELECT * FROM ( SELECT *, ROW_NUMBER() OVER (PARTITION BY window ORDER BY column DESC) as rownum FROM table GROUP BY window, other_column ) t WHERE rownum <= N ``` 其中,ROW_NUMBER() OVER (PARTITION BY window ORDER BY column DESC) as rownum 表示对每个时间窗口内的数据进行排序,并为每一行分配一个 rownum,表示该行在排序后的位置。在外层 SELECT 语句中筛选出 rownum 小于等于 N 的数据即可。需要注意的是,在窗口 TopN 中,需要使用 GROUP BY 将数据按照时间窗口和其他字段进行分组,否则会出现重复数据。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值