欢迎关注公众号与我交流
 博主目前就职于一家工业互联网公司担任架构师，曾供职于阿里、康佳、电商与移动社交等公司，技术能力、架构能力过硬

Emqx的K8S方式部署

一 说明 K8S服务编排工具，在各个公司基本都会用到，而为了部署Emqx更方便快捷，也更便于统一管理，所以我们的Emqx集群直接通过K8S部署。 当然，并非直接把Emqx直接部署到用户跑微服务的worker节点上。k8s的worker节点，我们一般都会打一些标签，用于区分用来部署什么。而针对emqx，我们增加了三台4核8G的机器作为worker节点，打上了zone=emqx的标签，专用于emqx。 二 Emqx的部署 部署Emqx之前，先确保k8s的master节点安装了helm工具，因为使用helm部署更加方便快捷，而且emqx的开源项目在github在有维护一套helm的charts，便 ...more >>

展开全文 >>

K8S的helm包管理器工具部署

一 说明 Helm官网：https://helm.sh/zh/ 引用官网的话：Helm 帮助您管理 Kubernetes 应用—— Helm Chart，即使是最复杂的 Kubernetes 应用程序，都可以帮助您定义，安装和升级。Helm Chart 易于创建、发版、分享和发布。 优点特别多，直接看官网就行。 二 部署 helm的v3版本部署也非常简单，直接下载解压copy相关目录到/usr/local/bin下即可 1 2 3 wget https://get.helm.sh/helm-v3.7.1-linux-amd64.tar.gz tar -zxvf helm-v3.7.1- ...more >>

展开全文 >>

Emqx的docker-compose方式部署

一 说明 Emqx是mqtt-broker中的一种，其中很大的一个特色是支持共享分组订阅，它的部署方式有很多，其中Docker-compose方式也是很常用的一种方式。 二 部署 编写loaded_plugins文件，用于替换插件启用配置（启用emqx_auth_mysql插件） 1 2 3 4 5 6 7 8 {emqx_management, true}. {emqx_recon, true}. {emqx_retainer, true}. {emqx_dashboard, true}. {emqx_telemetry, true}. {emqx_rule_engine, true} ...more >>

展开全文 >>

使用本地缓存提高服务并发能力

一 背景 我们的工业互联网解析服务，主要是负责解析遥测、遥信等采集数据为平台的物模型，其中每个点号都涉及到四五个redis缓存数据的查询，而我们的单个解析服务并发超过3000每秒左右，即每秒查redis的次数过万次，虽然redis撑得住，但是解析服务的网络IO非常高，导致CPU超高，而且压测时发现，并发基本已快达到瓶颈，即如果突发数据量暴增，会出现解析不过来的情况。 所以，就需要考虑提高解析并发能力，于是考虑到了增加本地缓存。 而本地缓存的方式有很多，可以直接用Java的常量，或者单例中的变量等都可以用来作为本地缓存，但是有个问题，无法自动过期，或者要主动去更新本地缓存。而且还有一个很大的问题 ...more >>

展开全文 >>

记录一次K8S的kubelet启动失败分析

一 错误说明 一个k8s的worker节点需要升级CPU，于是先驱逐完pod之后先停机，更改了配置后，重启起来，机器起来之后，发现无法连接到k8s集群了，节点一直都是NotReady，于是查看节点的kubelet，发现起不来，如下： github他人提的issue：https://github.com/kubernetes/kubernetes/issues/76820 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 $ systemctl status kubelet kube-proxy -l ● kubelet.service - Kubernet ...more >>

展开全文 >>

软考-系统架构设计师考试经验之谈

一 考试初衷 今天下午，软考（系统架构设计师）成绩出来，刚开始查询系统总是502，有点忐忑，经过多次不断刷新页面，终于能登录进去了，查到了成绩，最担心的论文也刚好过了。成绩如下： 通过了，确实挺开心，但是我们一起备考的朋友加上我一共5个人，可最终只有2人通过了。有两位朋友是直接挂在的论文（这两位朋友准备也是挺充分的，大概率是在论文论点上存在一些问题导致没及格，非常遗憾），还有一位朋友是挂在了案例分析（这位朋友平时准备的时间应该不多）。另外，这次考试也反应出了系统架构设计师考试难度还是有的。 回过来说说，参加这次考试的初衷： * 个人提升，这是肯定的，经过几个月对架构理论知识的系统学 ...more >>

展开全文 >>

OpenSSL自签证书生成

一 背景 我们的mqtt broker服务，使用了SSL自签证书，可以提高mqtt连接安全性。 二 生成自签证书 在Centos7下生成，有效时长：100年 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 # copy openssl的默认配置 到当前目录下 cp /etc/pki/tls/open ...more >>

展开全文 >>

通过脚本监控Kafka的消息积压监控

一背景 我们的一些Topic的数据特别多，基于大数据的服务也不是特别稳定，有时出现问题不能及时感知到，导致过了很长时间才能发现大数据Flink任务出现了问题。而这些问题一般都会伴随着Kafka订阅消费消息的积压，所以增加了对kafka的Group消费积压清空做监控，从而反向发现问题并通过钉钉机器人报警。 如果你们公司有Grafana+Prometheus监控，建议不要采用这种使用脚本的笨方法，在后期，我们已经废弃了这种人工维护的脚本，都是通过Grafana来监控积压并主动报警的。 二 监控原理与脚本 Kafka有自带的kafka-consumer-groups.sh 查询出所有group的 ...more >>

展开全文 >>

Jenkins通过[Role-based Authorization Strategy]插件管理用户权限

一 背景 我们的Jenkins支持Gitlab登录后，刚开始只是确保了，每个操作都能追溯到具体的人，并没有严格对每个人的权限做控制，所以发布生产任务的Build权限，是全部能登录到jenkins的人都有的。这样的权限策略是有问题，特别是随着我们的人员越来越多，后面这块会越来越不可控，风险系数也会越来越高。所以我们引入了 Role-based Authorization Strategy 基于角色的授权策略插件。 插件官方地址：https://plugins.jenkins.io/role-strategy 二 操作过程 安装插件 在插件管理中直接搜索 Role-based Authoriz ...more >>

展开全文 >>

Jenkins通过Gitlab Authentication plugin插件支持Gitlab账号登录

一 背景 我们的Jenkins由于刚开始人少大家共用admin账号，但是随着人越来越多，大家都直接使用admin账号风险系数也越来越大，而我们的研发不管是后端还是前端同学肯定都有内部的gitlab账号，为了便于后期管理Jenkins，并且不用人为去管理Jenkins的账号，所以考虑集成 Gitlab Authentication plugin 插件。 插件官方地址：https://plugins.jenkins.io/gitlab-oauth 二 操作过程 安装插件 在插件管理中直接搜索 Gitlab Authentication plugin 即可找到插件点击安装即可。 Gitlab配 ...more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

曾供职于<br>大厂（阿里）、<br>国企（康佳）、<br>电商与移动社交<br>等互联网公司，<br>技术能力、架构能力过硬。<br><br>我的个人微信：qicoding，<br>请注明来自码蜂窝技术博客，<br>非常欢迎加微信沟通交流<br>（包含但不限于源码、技术点、设<br>计与生产实践中遇到的问题等）