6.1 数据介绍

直接打开集算器运行 createEventsAndUsers.splx 文件，就可以得到如下两张表（也可以根据代码中的注释，修改起止日期以及每天的数据量）：

电商数据表 events.csv

数据同时按 eTime 和 eventID 分别有序，因为数据是按发生时间追加的，所以始终按 eTime 有序，又 eventID 是流水号，所以也是天然有序

用户表 user.csv

表间关系：

6.2 选出 24 年国庆假期发生的所有记录

由于事件表很大，全内存无法放下，所以采用游标的方式，SPL 提供了文件游标，可以对着游标进行过滤、分组、汇总等各种运算。

A1 由于事件表按时间有序，所以采用 iselect 函数，直接对着数据文件按时间过滤，这样可以采用二分法，提高读数的效率，不满足过滤条件的数据直接跳过不读了。

分号前面的参数date("2024-10-01"):datetime("2024-10-07 23:59:59"),eTime表示选出 eTime 的值位于区间date("2024-10-01"):datetime("2024-10-07 23:59:59")之间的数据，两端均是闭区间。

分号后面的参数userID,eTime,eType表示选出字段，不需要用到的字段不选出，可以节约内存。iselect 函数返回结果是游标，可以直接进行下一步的运算，如果需要输出数据，可以 fetch 操作。

A1 的运行结果：

从上图可以看出，A1 返回的结果是个游标。

6.3 统计 24 年国庆假期发生的记录数、用户数

A2 分组汇总，groups 函数可以直接对着游标操作，返回统计结果。特别注意：分号前面不写分组表达式，表示全集汇总。

A2 的运行结果如下：

6.4 按事件类型分组统计 24 年国庆假期的发生次数和用户数

A2 的运行结果如下：

6.5 统计 24 年国庆假期每天的总用户数、下单用户数、付款用户数

A2 对着游标 A1 进行分组，group 函数表示分组过程中保留分组的组集；~.icount(userID) 表达式中的 ~ 表示当前的组集，整个表达式意思是对着当前组集统计 userID 的去重个数；~.select(eType==“placeOrder”).icount(userID) 表示对着当前组集先过滤出 eType 为 placeOrder 的记录，再对其统计 userID 的去重个数。

cs.group 函数的返回结果依旧是游标，A2 的运行结果如下：

A3 从游标 A2 中读出结果数据。

A3 的运行结果如下：

6.6 按天统计 24 年国庆假期北京地区的下单用户数

A2 用户表数据量也非常大，本例只需要读取北京地区的用户，因此可以用游标的方式过滤后再 fetch()，这样非北京地区的用户数据就不会占用内存了。

A3 将 A1 先过滤出下单的数据，然后和 A2 关联，@i选项表示只保留关联上的记录，关联不上的记录直接删除（如果希望只保留关联不上的记录，删除关联上的记录，比如统计非北京地区的用户，那么可以把@i选项换成@d选项，其余不变即可）。因为 A1 是游标，所以 A3 的返回结果依旧是游标。

A4 将 A3 进行分组汇总。

A4 的运行结果：

知识点：先过滤后关联

上例的 A3 中关联的两个对象都是先分别进行了过滤，然后才进行关联，这样可以减少关联的次数，提升关联效率。

6.7 将事件表拆成一个月一张表，表内按 userID 排序

由于事件表数据量大，无法全内存放下，因此需要用游标排序：

A1 sortx 函数专门用于游标排序，参数 userID 是排序字段。sortx 返回值依旧是游标。

A2 将游标 A1 中的数据读出直接写入文件 events202410.csv。export 和 import 的选项规则一致，是 import 函数的逆操作。

知识点：sort 函数和 sortx 函数的区别

1.sort 函数

特点：

• 立即执行：调用sort时会直接对当前序表（或排列）进行排序，生成一个新的有序结果。
• 内存排序：数据在内存中完成排序，适合处理中小规模数据。
• 返回新序列：原序列不变，返回排序后的新序列。

适用场景：

数据量较小（可完全装入内存），且需要直接获取排序结果的场景。

2.sortx 函数

特点：

• 立即执行：排序结果存入一个或多个临时文件，返回这些文件的归并游标。
• 外存排序：支持大数据量的排序，通过临时外存文件处理超出内存的数据。
• 返回游标：返回排序结果的游标，适合下一步的输出或运算。

适用场景：

数据量较大（无法完全装入内存），或需要与其他延迟计算操作（如流式处理）结合时。

6.8 按用户统计每月的下单个数

需完成如下统计：

1. 10 月下单的用户，10 月、11 月下单的个数

2. 10 月 11 月均下单的用户，10 月、11 月下单的个数

3. 按用户统计 10 月 11 月下单个数

第一步：产生游标

第二步：分别汇总统计订单数

A3 由于 A1 是游标，因此，select 函数返回的是游标，group 函数返回的依旧是游标。

第三步：关联

1. 10 月下单的用户，10 月、11 月下单的个数

A5 joinx@1 为左连接，joinx 函数专门用于两个或多个游标之间的关联，要求参与关联的游标数据均按关联字段有序。参数规则和 join() 一致。

A6 因为 joinx 和 join 一样，关联的结果是指引字段，所以需要再次 new，产生结果序表，此时 A6 依旧是游标

A7 将结果输出到文件，由于结果集太大内存依旧放不下，因此可以直接将游标中的数据输出到文件。

2. 10 月 11 月均下单的用户，10 月、11 月下单的个数

A5 joinx 为内连接。

3. 按用户统计 10 月 11 月下单个数

A5 joinx@f 为全连接。

知识点： join()函数和 joinx() 函数的区别

1.join() 函数

特点

• 立即执行： 调用 join() 时会直接执行连接操作，生成一个新的结果序表。
• 内存连接： 数据在内存中完成连接，适合中小规模数据。
• 返回完整结果： 连接后的数据会完全加载到内存中。
• 语法灵活： 支持多种连接类型（如内连接、左连接、全连接等）。
• 数据可以无序： 不要求数据按关联字段有序。

适用场景

• 数据量较小（可完全装入内存）。
• 需要立即获取连接结果的场景。

2.joinx() 函数

特点

• 延迟执行： joinx() 仅生成一个连接游标，不会立即计算，实际连接操作会延迟到后续遍历或聚合时触发。
• 外存连接： 支持大数据量的连接，可处理超出内存的数据。
• 惰性求值： 适合流式处理，可与其他函数（如 groups、select）结合使用。
• 返回游标： 不直接返回完整数据，而是返回一个可迭代的游标对象。
• 数据有序： 要求数据按关联字段有序。

适用场景

• 数据量较大（无法完全装入内存）。
• 需要与其他延迟计算操作（如流式处理）结合时。