在刚刚结束的CLOUD NATIVE+ OPEN SOURCE Virtual Summit China 2020上,由华为云云原生团队主导的容器批量计算项目Volcano正式发布1.0版本,标志着Volcano项目已经开始走向成熟与稳定. Volcano项目介绍 Volcano是基于Kubernetes的云原生批量计算引擎,基于华为云在AI.大数据领域的深厚业务积累,补齐了Kubernetes在面向AI.大数据.高性能计算等批量计算任务调度.编排等场景下的短板,向下支持鲲鹏.昇腾.X86等多元

先看再点赞,给自己一点思考的时间,微信搜索[沉默王二]关注这个有颜值却假装靠才华苟且的程序员.本文 GitHub github.com/itwanger 已收录,里面还有一线大厂整理的面试题,以及我的系列文章. 题目是一名叫"截然不同"的同学私信我的一个问题,原话是,"搞大数据,java 需要掌握哪些技术点?",我稍微调整了一下.必须得承认一点,我本人没有搞过大数据,所在这方面的经验为零. 但同学既然问了,咱就不能假装不知道啊,虽然真的是不知道.但要变强,就必须无所

写在前面 1.源码(.Net Core 2.2) git地址:https://github.com/yizhaoxian/CoreIdentityServer4Demo.git 2.相关章节 2.1.<IdentityServer4 (1) 客户端授权模式(Client Credentials)> 2.2.<IdentityServer4 (2) 密码授权(Resource Owner Password)> 2.3.<IdentityServer4 (3) 授权码模式(Aut

1. 前言 今天开始搭建我们的kono Spring Boot脚手架,首先会集成Spring MVC并进行定制化以满足日常开发的需要,我们先做一些刚性的需求定制,后续再补充细节.如果你看了本文有什么问题可以留言讨论.多多持续关注,共同学习,共同进步. Gitee: https://gitee.com/felord/kono GitHub: https://github.com/NotFound403/kono 2. 统一返回体 在开发中统一返回数据非常重要.方便前端统一处理.通常设计为以下结构:

在上一篇博客中我们聊到了redis的高可用组件sentinel的相关配置,回顾请参考https://www.cnblogs.com/qiuhom-1874/p/13429776.html:sentinel在redis主从同步架构中主要起到了监控集群master是否正常,如果master不正常,或者宕机,那么sentinel会提升一个slave当选新的master,从而保证了redis服务的正常使用:但对于redis的单机写入问题还是一直存在:在sentinel+主从同步架构中,程序写数据,始终是

每天 3 分钟,走上算法的逆袭之路. 前文合集 每日一道 LeetCode 前文合集 代码仓库 GitHub: https://github.com/meteor1993/LeetCode Gitee: https://gitee.com/inwsy/LeetCode 引言 今天破例两道题,原因是我做完第一道题感觉有点简单,顺手看了下后面的那道题,发现这两道题的思路是一致的,就合在一起了. 题目:删除排序数组中的重复项 题目来源:https://leetcode-cn.com/problems/

一 重复消息 为什么会出现消息重复?消息重复的原因有两个:1.生产时消息重复,2.消费时消息重复. 1.1 生产时消息重复 由于生产者发送消息给MQ,在MQ确认的时候出现了网络波动,生产者没有收到确认,实际上MQ已经接收到了消息.这时候生产者就会重新发送一遍这条消息. 生产者中如果消息未被确认,或确认失败,我们可以使用定时任务+(redis/db)来进行消息重试. @Component @Slf4J public class SendMessage { @Autowired private Me

Windows Redis 安装 链接: https://pan.baidu.com/s/1MJnzX_qRuNXJI09euzkPGA 提取码: 2c6w 复制这段内容后打开百度网盘手机App,操作更方便哦 无脑下一步即可 使用 出现错误: creating server tcp listening socket 127.0.0.1:6379: bind No error 解决方案: redis-cli.exe shutdown exit redis-server.exe redis.wind

一.Flink中的window 1,window简述  window 是一种切割无限数据为有限块进行处理的手段.Window 是无限数据流处理的核心,Window 将一个无限的 stream 拆分成有限大小的”buckets”桶,我们可以在这些桶上做计算操作. 2,window类型 window可分为CountWindow和TimeWindow两类:CountWindow:按照指定的数据条数生成一个 Window,与时间无关:TimeWindow:按照时间生成 Window. a)滚动窗口 将数

极简 Node.js 入门系列教程:https://www.yuque.com/sunluyong/node 本文更佳阅读体验:https://www.yuque.com/sunluyong/node/debugging 调试是解决程序问题的必备工具,在最早的时候 Node 的调试有些麻烦,社区也有不少工具包辅助,现在 Node 的调试已经比较简单,常用的有几种 Chrome DevTools Chrome 开发者工具交互通过 V8 Inspector Protoco 调试协议,使用 webso

什么是注册中心 服务注册中心是服务实现服务化管理的核心组件,类似于目录服务的作用,主要用来存储服务信息,譬如提供者 url 串.路由信息等.服务注册中心是微服务架构中最基础的设施之一. 注册中心可以说是微服务架构中的"通讯录",它记录了服务和服务地址的映射关系.在分布式架构中,服务会注册到这里,当服务需要调用其它服务时,就到这里找到服务的地址,进行调用. 简单理解就是:在没有注册中心时候,服务间调用需要知道被当服务调方的具体地址(写死的 ip:port).更换部署地址,就不得不修改调用

上一篇郭先生在例子中用到了着色器变量中的uniform和varying.这篇继续结合例子将一下attribute变量,在使用过程中也发现由于three.js的版本迭代,之前的一些属性和参数已经发生了改变,ShaderMaterial也不需要传递attributes属性值,查看源码我们可以看到如果传递了attributes参数,会给出下面这样的错误. attributes should now be defined in THREE.BufferGeometry instead. 因为我们现在想传

相关阅读: 双连通分量 ,割点和桥 简介 在阅读下列内容之前,请务必了解 图论相关概念 中的基础部分. 强连通的定义是:有向图 G 强连通是指,G 中任意两个结点连通. 强连通分量(Strongly Connected Components,SCC)的定义是:极大的强连通子图. 这里想要介绍的是如何来求强连通分量. Tarjan 算法发明人 Robert E. Tarjan (1948~) 美国人. 你是不是感觉Robert E. Tarjan 这个名字很熟悉? 没错,Robert E. Tar

虽然SparkStreaming已经停止更新,Spark的重点也放到了 Structured Streaming ,但由于Spark版本过低或者其他技术选型问题,可能还是会选择SparkStreaming. SparkStreaming对于时间窗口,事件时间虽然支撑较少,但还是可以满足部分的实时计算场景的,SparkStreaming资料较多,这里也做一个简单介绍. 一． 什么是Spark Streaming Spark Streaming在当时是为了与当时的Apache Storm竞争,也让S

目前可用于文件存储的网络服务选择有很多,比如阿里云OSS.七牛云.腾讯云等等,但是收费都有点小贵.为了帮公司节约成本,之前一直是使用fastDFS作为文件服务器,准确的说是图片服务器.直到我发现了MinIO,我决定放弃FastDFS. 关于MinIO的使用方法,我就不说了.大家去看MinIO官网地址:docs.min.io/cn/ ,非常详细.我就从对比的角度来说说我为什么果断的放弃了fastDFS,转而使用MinIO作为图片存储服务器. 理由一:安装部署(运维)复杂度 之前公司在使用fastD

本文翻译自 dev.to 文章<10 Standout GitHub Profile READMEs> 原文链接见:https://dev.to/github/10-standout-github-profile-readmes-h2o 作者 Lee Reilly 介绍:GitHub 官方人员 / 工程师 / 市场 / 社区 译者:HelloGitHub-小鱼干|校对:HelloGitHub-丫丫 我的好友兼同事 @bdougieyo 今天在逛 Codeland (一个由程序员和设计师构成的国

InnoDB一个支持事务安全的存储引擎,同时也是mysql的默认存储引擎.本文主要从数据结构的角度,详细介绍InnoDB行记录格式和数据页的实现原理,从底层看清InnoDB存储引擎. 本文主要内容是根据掘金小册<从根儿上理解 MySQL>整理而来.如想详细了解,建议购买掘金小册阅读. InnoDB简介 大家都知道mysql中数据是存储在物理磁盘上的,而真正的数据处理又是在内存中执行的.由于磁盘的读写速度非常慢,如果每次操作都对磁盘进行频繁读写的话,那么性能一定非常差.为了上述问题,InnoDB

上文我们演示了使用NLog向ElasticSearch写日志的基本过程(输出的是普通文本日志),今天我们来看下如何向ES输出结构化日志.并利用Kibana中分析日志. NLog输出结构化日志 ElasticSearch面向文档 什么是结构化日志? 当前互联网.物联网.大数据突飞猛进,软件越复杂,查找任何给定问题的起因就越困难(且成本更高). 在实践中我们开发了各种规避.诊断应用程序错误行为的利器: 静态类型检查,自动化测试,事件探查器,崩溃转储和监视系统.但是记录程序执行步骤的日志仍然是事后诊断

目录 简介 一个普通的virtual call 普通方法中的null check 反优化的例子 总结 简介 之前我们在讲Virtual call的时候有提到,virtual call方法会根据传递的参数实例的不同而进行优化,从而优化成为classic call,从而提升执行效率. 今天我们考虑一下,在virtual call中执行nullcheck的时候,如果已经知道传递的参数是非空的.JIT会对代码进行优化吗? 一起来看看吧. 一个普通的virtual call 我们来分析一下在方法中调用li

设计如下的简单小游戏. 在面板(画布)中放置10行10列共100个小方块,每个小方块随机在5种颜色中选一种颜色进行着色,在面板的下方,放置对应的5种颜色色块,如图1所示. 图1  “统一着色”游戏界面 游戏要求通过每次对包含最左上角方块的相邻同色区域方块改变着色的方式,最终使得面板中的100个小方块着色统一. 例如,图1中包含最左上角方块的相邻同色区域方块只有1个,此时对其有效改变着色应该是选择“绿色”(下方相邻的方块颜色)或“棕色”(左边相邻的方块颜色),这样扩大了包含最左上角方块的相邻同色区