【数据蒋堂】第24期:非等值分组

发布时间:2017-10-10 分类:数据蒋堂 Tag:,

sjjt-24

 前一期 【数据蒋堂】第23期:还原分组运算的本意

我们在上一期研究了分组运算的实质,即将一个集合按某种规则拆分成若干子集。不过,上期的关注重点在于还原分组运算的步骤,而没有讨论拆分规则,例子中都是用某些字段(或表达式)来定义拆分规则,也就是SQL中使用的方法。

我们把这种拆分方式称为等值分组。

 

等值分组在数学上的描述,相当于在一个集合上定义了一个等价关系:分组字段(表达式)相等的成员(记录)就认为等价。

等价关系是指满足如下条件的关系:

1)交换性,若a=b则b=a

2)传递性,若a=b,b=c则a=c

3)排他性,对任何a,b,a=b和a!=b有且只有一个成立

可以证明,任何等价关系一定能把原集合完全划分成若干个子集,每个子集中的成员互相等价。

完全划分具有这样的性质:

1)没有空子集

2)原集合的任何成员都属于且只属于某一个子集

考查等值分组,我们会发现它能够精确地满足等价关系的定义,因而等值分组的结果一定是完全划分。

 

有等值分组和完全划分,那是不是还有非等值分组和不完全划分?还有没有别的方式产生完全划分?这些是否有业务意义呢?

答案是肯定的。

 

比如我们要统计男女员工数量。我们可以写成这样:

SELECT gender,COUNT(*) FROM employee GROUP BY gender

但如果公司员工全是男性或女性,这个运算结果就只有一行了,那可能就不是我们想要的了。

为解决这个问题,我们可以设计这样一种分组方案:先罗列出一个基准集合,然后将待分组集合成员的某个属性(字段或表达式)与基准集合成员比较,相同者则分到一个子集中,最后拆分出来的子集数量和基准集合成员数是相同的。这种分组我们称为对位分组。

使用对位分组统计男女员工数量可以写成这样:

a=[男,女]                                       // 基准集合

g=employee.align(a,gender)    // 设计函数align实现对位分组,拆分集合

g.new(a(#),~.len())                   // 用分组子集计算汇总

可以想象,这种对位分组在日常统计中是很常见的,比如按地区、按部门统计,都可以事先把基准集合列出来,而且我们经常还要求结果集必须按基准集合的次序出现,而等值分组不能保证这个次序,还要再排序(排序时还是要提供这个基准集合,原集合成员属性中没有这个信息)。

对位分组可能出现空子集,它也不能保证任何原集合的成员都被拆到某个子集中(比如有些不重要的成员没有被列入基准集合),不过对位分组能保证每个成员最多只出现在一个子集中。

我们还能把对位分组推广成更一般的枚举分组。

枚举分组是指,事先指定一组条件,将待分组集合的成员作为参数计算这批条件,条件成立者都被划分到与该条件对应的一个子集中,结果集的子集和事先指定的条件一一对应。

比如,将员工按年龄段分组统计人数:

a=[?<=30,?<=40,?>40]         // 用?表示要代入的参数

g=employee.enum(a,age)    // 设计函数enum实现枚举分组,拆分集合

....

显然,枚举分组在日常业务中也是不少见的。

枚举分组和对位分组很象,都需要先列出一个基准集合,事实上,对位分组就是一种特殊的枚举分组。不过,不同的是,枚举分组可能制造出有重复成员的子集,也就是可重分组。

a=[?<=30,?>20 && ?<=40,?>50]      // 条件有重叠

g=employee.enum(a,age)

可重分组在实际业务中相对罕见一些,不过了解一下也有助于再次理解分组运算的实质。

表面上看,对位分组和枚举分组和SQL的GROUP BY差别很大,但理解了分组运算的本质后,就会明白它们其实是一回事:把某个集合拆分成若干子集。只是拆分的方法各有不同。

还有其它不完全依赖于成员属性的分组方式,但仍然是一种“把集合拆成子集”的方法,我们在后续文章会再提及。

还有一个问题,SQL只提供了等值分组,那会不会不够用呢?用SQL又是如何解决对位分组和枚举分组问题的?

其实SQL的运算能力是完备的,上述两种非等值分组都可以转换成等值分组,就是会麻烦一些。

对于对位分组,可以用基准集合和待分组集合做LEFT JOIN,对这个结果集再做GROUP BY就可以得到相同的效果。注意一定要用LEFT JOIN,用JOIN可能会失去空子集,用FULL JOIN又会多出基准集合之外的成员。枚举分组也是类似,但语句会更复杂些,要根据枚举条件去设计JOIN的条件,难以给出通用写法。

更多《数据蒋堂》文章