文章目录

  • 1.Trino与Spark SQL的区别分析
  • 2.Trino与Spark SQL解析过程对比
  • 3.Trino基本概念
  • 4.Trino架构
  • 5.Trino SQL执行流程
  • 6.Trino Task执行流程
  • 相关参考：

1.Trino与Spark SQL的区别分析

2.Trino与Spark SQL解析过程对比

  • Trino
  • Spark SQL

3.Trino基本概念

4.Trino架构



5.Trino SQL执行流程

6.Trino Task执行流程

  • 任务调度：
    1.分配多少个任务？
    2.每个任务分配到哪些机器节点上？拓扑调度算法 (Topology Aware Scheduling strategy)
    答：Presto把集群资源划分成两级结构(Machine，集群)；【两层结构】

  • 分配算法如下：
    2.1 当分配一个Split时候，会给定Split的一个地址，这个地址代表期望的分配地址；（尽量距离数据源最近的地址）
    2.2 从Machine层开始查找，首先查看Machine上已经分配的Split个数是否已满，若未满则分配该机器；
    2.3 若Machine资源池已满，则到集群级别找一台机器，这台机器的资源池使用量小于50%，则分配这台机器。否则分配失败；


相关参考：

    1. CentOS7环境下部署PrestoSQL-345版本三节点集群详细过程
    2. PrestoSQL-345集群连接MySQL5.7
    3. PrestoSQL-345集群连接Hive3.1.0
    4. Trino(Presto345) on Hive知识总结及TPC-DS测试
    5. PrestoSQL-345集群连接Kafka2.2.1
    6. PrestoSQL-345集群连接Redis5.0.5
    7. PrestoSQL-345集群连接Phoenix5.0.0-HBase2.0.0-未成功
    8. PrestoSQL-345集群连接Elasticsearch7.3.2
    9. PrestoSQL-345可视化Client yanagishima22.0部署
    10. PrestoSQL-345集群连接TPC-DS

随机推荐

  1. (转)深入理解Java的接口和抽象类

    原文地址: http://www.cnblogs.com/dolphin0520/p/3811437.html 对于面向对象编程来说,抽象是它的一大特征之一.在Java中,可以通过两种形式来体现OOP ...

  2. linux内核中jiffies的回绕问题【转】

    本文转载自:http://blog.csdn.net/yuanlulu/article/details/6019862 ======================================== ...

  3. [原]sdut2624 Contest Print Server （大水+大坑）山东省第四届ACM省赛

    本文出自:http://blog.csdn.net/svitter 原题:http://acm.sdut.edu.cn/sdutoj/problem.php?action=showproblem&am ...

  4. 让pre标签自动换行示例代码

    pre 元素可定义预格式化的文本.被包围在 pre 元素中的文本通常会保留空格和换行符.而文本也会呈现为等宽字体. <pre> 标签的一个常见应用就是用来表示计算机的源代码.对于技术博客经 ...

  5. org.apache.hadoop.fs-BufferedFSInputStream

    封装了FSInputStream package org.apache.hadoop.fs; import java.io.BufferedInputStream; import java.io.IO ...

  6. 改动网卡IP信息

    改动网卡IP信息的情况有非常多种,只是从大体上能够分为两种,一种是暂时改动,重新启动网络服务后改动便会失效:一种是永久改动,重新启动网络服务后才会生效.一般暂时改动应用在暂时的动作中,我们通过分类名字 ...

  7. 转载：MyEclipse安装插件的几种方法

    地址:http://www.cnblogs.com/pharen/archive/2012/02/08/2343342.html 本文讲解MyEclipse(MyEclipse10)的三种方法,以SV ...

  8. 【调试工具】tcpdump

    [tcpdump]https://linux.cn/article-10191-1.html

  9. luogu4705玩游戏

    题解 我们要对于每个t,求一个(1/mn)sigma(ax+by)^t. 把系数不用管,把其他部分二项式展开一下: simga(ax^r*by^(t-r)*C(t,r)). 把组合数拆开,就变成了一个 ...

  10. react整理一二（初入React世界）

    react重要思想:组件化(按钮组件.对话框组件.日期组件等等).JSX语法 react把代码和正式渲染目标隔离开来,除了可以在浏览器渲染到DOM来开发网页,还能用于开发原生移动运用 1.专注视图层: ...