背景

最近做了几个规则逻辑。用到mongo查询比较多,就是查询交易信息跑既定规则筛选出交易商户,使用聚合管道进行统计和取出简单处理后的数据,用SQL代替业务代码逻辑的判断。

方法

MongoDB聚合使用aggregate,聚合管道采取自动向下子执行方式,基本语法格式:

db.COLLECTION_NAME.aggregate(AGGREGATE_OPERATION)

聚合框架中常用的操作:

  • $project:修改输入文档的结构。可以用来重命名、增加或删除域,也可以用于创建计算结果以及嵌套文档。
  • \(match:用于过滤数据,只输出符合条件的文档。\)match使用MongoDB的标准查询操作。
  • $limit:用来限制MongoDB聚合管道返回的文档数。
  • $skip:在聚合管道中跳过指定数量的文档,并返回余下的文档。
  • $unwind:将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值。
  • $group:将集合中的文档分组,可用于统计结果。
  • $sort:将输入文档排序后输出。
  • $geoNear:输出接近某一地理位置的有序文档。
表达式 描述 实例
$sum 计算总和。 db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(sum : "\)likes"}}}])
$avg 计算平均值 db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(avg : "\)likes"}}}])
$min 获取集合中所有文档对应值得最小值。 db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(min : "\)likes"}}}])
$max 获取集合中所有文档对应值得最大值。 db.mycol.aggregate([{\(group : {_id : "\)by_user", num_tutorial : {\(max : "\)likes"}}}])
$push 在结果文档中插入值到一个数组中。 db.mycol.aggregate([{\(group : {_id : "\)by_user", url : {\(push: "\)url"}}}])
$addToSet 在结果文档中插入值到一个数组中,但不创建副本。 db.mycol.aggregate([{\(group : {_id : "\)by_user", url : {\(addToSet : "\)url"}}}])
$first 根据资源文档的排序获取第一个文档数据。 db.mycol.aggregate([{\(group : {_id : "\)by_user", first_url : {\(first : "\)url"}}}])
$last 根据资源文档的排序获取最后一个文档数据 db.mycol.aggregate([{\(group : {_id : "\)by_user", last_url : {\(last : "\)url"}}}])

查询示例

示例一

部分字段说明:transAmt:交易金额,transType:交易类型,transTime:交易时间,mercNum:商户编号

查询交易信息,交易商户昨天交易笔数大于三百,交易金额累加大于三百万,这里现根据$match将交易信息筛选出来,然后使用$group根据商户编号分组,统计交易笔数和累加交易金额,将分组结果判断匹配交易笔数大于三百,交易金额大于三百万。

db.getCollection('box_order').aggregate([
{
$match: {
"transTime":{$gte:ISODate("2020-01-03T00:00:00.000Z"),$lt:ISODate("2020-01-10T00:00:00.000Z")},
"transType":"consume",
"transStatus":{$in:["tsProcessing","success"]}
}
},
{
$group: {
"_id": "$mercNum",
"count": {"$sum": 1},
"totalAmt": {"$sum": "$transAmt"}
}
},
{
$match: {
"count": {"$gte": 300},
"totalAmt": {"$gte": 3000000}
}
}
])

示例二

部分字段说明:cardNo:交易卡号,transType:交易类型,transTime:交易时间,mercNum:商户编号

查询时间段内指定卡号下的交易商户信息。

根据卡号和交易时间将交易数据查出来,然后只显示商户号和卡号两列字段,根据商户号和卡号分组去重,再根据卡号分组,将商户号转化成一个字段变成数组。

db.getCollection('order_202011').aggregate([
{
"$match": {
"detailInfo.cardNo": {
"$in": [
"YtCZ7KhCVG5xerKUg8bzJhVAjW/hWAWj",
"cQ7QQ0yCVW6LhHtJNVRq2A==",
"6KDpHmQ9s+0SQAGAUyLJ4A==",
"cQ7QQ0yCVW7iSegn8uqIfg==",
"ZEOcXdI4rfvswAz7dQ80hw==",
"6KDpHmQ9s+2Nz61PPuOamw=="
]
},
"baseInfo.transTime": {
"$gte": new Date(2020,10,01),
"$lt": new Date(2020,10,24)
}
}
},
{
"$project": {
"merchantInfo.mercNum": 1,
"detailInfo.cardNo": 1
}
},
{
"$group": {
"_id": {
"mercNum": "$merchantInfo.mercNum",
"cardNo": "$detailInfo.cardNo"
}
}
},
{
"$group": {
"_id": "$_id.cardNo",
"mercNums": {
"$push": "$_id.mercNum"
}
}
}
])

示例三

根据指定商户和其他条件查询交易信息,根据卡号分组并组装成一个字段的集合,最后筛选掉id只保留cardNos数组

db.getCollection('box_order_fxq_202104').aggregate([
{
"$match": {
"mercNum": "M15201812030753174730",
"transTime": {
"$gte": ISODate("2021-04-17T16:00:00.000Z"),
"$lt": ISODate("2021-04-18T16:00:00.000Z")
},
"mercLevel": {
"$in": [
"C",
"D",
"E"
]
},
"payType": "POSPAY",
"transType": "consume",
"cardType": "2"
}
},
{
"$group": {
"_id": null,
"cardNos": {
"$push": "$cardNo" //$addToSet
}
}
},
{
"$project":{
"cardNos":1,"_id":0
}
}
])

查询结果:

{
"cardNos" : [
"n2IwHHhfEAJcm6RFsoNPcBVAjW/hWAWj",
"n2IwHHhfEAJcm6RFsoNPcBVAjW/hWAWj"
]
}

示例四

根据时间查询交易信息后,根据商户号分组,并将第一个交易信息存放入data字段中。(如果是需要全部的商户交易信息那么将$first修改为$push

db.getCollection('order').aggregate([
{
"$match": {
"startTrxTime": {
"$gte": ISODate("2021-07-20T16:00:00.000Z"),
"$lt": ISODate("2021-07-21T16:00:00.000Z")
}
}
},
{
"$group": {
"_id": "$subMerchantNo",
'data':{'$first': '$$ROOT'} //$push
}
},
{
"$sort": {
"_id": 1
}
}
])

尾言

最近那个到查询的大差不差,要注意的都是一些小改动,一般情况正常查就可以。后续有什么不一样的会继续补充。先到这里

整理最近用的Mongo查询语句的更多相关文章

  1. 简单oracle查询语句转换为mongo查询语句

    可以将简单的单表查询语句转换成Mongo过滤条件 列: 1. db.demo.aggregate([ {"$match": {"$and": [{"p ...

  2. MYSQL查询语句优化

    mysql的性能优化包罗甚广: 索引优化,查询优化,查询缓存,服务器设置优化,操作系统和硬件优化,应用层面优化(web服务器,缓存)等等.这里的记录的优化技巧更适用于开发人员,都是从网络上收集和自己整 ...

  3. php面试专题---MYSQL查询语句优化

    php面试专题---MYSQL查询语句优化 一.总结 一句话总结: mysql的性能优化包罗甚广: 索引优化,查询优化,查询缓存,服务器设置优化,操作系统和硬件优化,应用层面优化(web服务器,缓存) ...

  4. MySQL 笔记整理(1) --基础架构,一条SQL查询语句如何执行

    最近在学习林晓斌(丁奇)老师的<MySQL实战45讲>,受益匪浅,做一些笔记整理一下,帮助学习.如果有小伙伴感兴趣的话推荐原版课程,很不错. 1) --基础架构,一条SQL查询语句如何执行 ...

  5. MySQL 笔记整理(2) --日志系统,一条SQL查询语句如何执行

    笔记记录自林晓斌(丁奇)老师的<MySQL实战45讲> 2) --日志系统,一条SQL查询语句如何执行 MySQL可以恢复到半个月内任意一秒的状态,它的实现和日志系统有关.上一篇中记录了一 ...

  6. mongo数据库的各种查询语句示例

    左边是mongodb查询语句,右边是sql语句.对照着用,挺方便. db.users.find() select * from users db.users.find({"age" ...

  7. SQL逻辑查询语句执行顺序 需要重新整理

    一.SQL语句定义顺序 1 2 3 4 5 6 7 8 9 10 SELECT DISTINCT <select_list> FROM <left_table> <joi ...

  8. sql查询语句整理

    首先这是我以下语句查询的一个表结构 t_user插入例如以下数据 t_depart中插入例如以下数据 t_role插入例如以下数据 好,建好表后,我们開始数据库查询语句 简单的查询语句 1. 查看表结 ...

  9. pg_sql常用查询语句整理

    #pg_sql之增删改查 #修改: inset into table_name (id, name, age, address ) select replace(old_id,old_id,new_i ...

随机推荐

  1. IM系统中聊天记录模块的设计与实现

    看到很多开发IM系统的朋友都想实现聊天记录存储和查询这一不可或缺的功能,这里我就把自己前段时间为傲瑞通(OrayTalk)开发聊天记录模块的经验分享出来,供需要的朋友参考下. 一.总体设计 1.存储位 ...

  2. [cocos2dx]让CCScrollView支持分页

    [cocos2dx]让CCScrollView支持分页 做过IOS开发的朋友, 肯定知道UIScrollView有一个isPaged属性. 当设置其为true的时候, 滑动会自动分页. 即, 每次滑动 ...

  3. BIEE连接数据库的方法

    BI创建(数据)分析.仪表盘.报表前,都需要对数据进行建模,在oracle biee里称为创建“资料档案库”-该文件后缀为RPD,所以一般也称为创建RPD文件. 步骤: 1.从windows开始菜单里 ...

  4. 简单的TCPIP 客户端 服务器

    // soClient.cpp : Defines the entry point for the console application. // #include "stdafx.h&qu ...

  5. ios游戏开发--cocos2d学习(1)

    学习cocos2d需要一定的编程基础,最好了解objective-c的语法.至于下载和安装的过程网上有很多,这里不多介绍,直接进入项目的学习. 创建一个cocos2d项目,直接运行,效果如图: 左下角 ...

  6. Python 列表实现字典的get功能

    字典有一个很好用的方法,就是get,既可以预防KeyError异常,也可以为不存在的key设置一个默认的value 例如: v=d.get('k','default') 而列表没有一个类似的方法,如果 ...

  7. oracle ed命令

    今天在弄oracle sqlplus的时候需要写一个存储过程,用ed进入之后,退不出来了. 从网上找到下面的方法处理:   如何退出sqlplus ed操作   今天进入sqlplus ,执行完语句后 ...

  8. UVA 10870 - Recurrences(矩阵高速功率)

    UVA 10870 - Recurrences 题目链接 题意:f(n) = a1 f(n - 1) + a2 f(n - 2) + a3 f(n - 3) + ... + ad f(n - d), ...

  9. &gt; library(&#39;ggplot2&#39;) Error in loadNamespace(i, c(lib.loc, .libPaths()), versionCheck = vI[[i]]) : 不存在叫‘colorspace’这个名字的程辑包

    > library('ggplot2')Error in loadNamespace(i, c(lib.loc, .libPaths()), versionCheck = vI[[i]]) : ...

  10. 基于Theano的深度学习框架keras及配合SVM训练模型

    https://blog.csdn.net/a819825294/article/details/51334397 1.介绍 Keras是基于Theano的一个深度学习框架,它的设计参考了Torch, ...