欢迎关注公众号与我交流
 博主目前就职于一家工业互联网公司担任架构师，曾供职于阿里、康佳、电商与移动社交等公司，技术能力、架构能力过硬

Emqx的docker-compose方式部署

一 说明 Emqx是mqtt-broker中的一种，其中很大的一个特色是支持共享分组订阅，它的部署方式有很多，其中Docker-compose方式也是很常用的一种方式。 二 部署 编写loaded_plugins文件，用于替换插件启用配置（启用emqx_auth_mysql插件） 1 2 3 4 5 6 7 8 {emqx_management, true}. {emqx_recon, true}. {emqx_retainer, true}. {emqx_dashboard, true}. {emqx_telemetry, true}. {emqx_rule_engine, true} ...more >>

展开全文 >>

使用本地缓存提高服务并发能力

一 背景 我们的工业互联网解析服务，主要是负责解析遥测、遥信等采集数据为平台的物模型，其中每个点号都涉及到四五个redis缓存数据的查询，而我们的单个解析服务并发超过3000每秒左右，即每秒查redis的次数过万次，虽然redis撑得住，但是解析服务的网络IO非常高，导致CPU超高，而且压测时发现，并发基本已快达到瓶颈，即如果突发数据量暴增，会出现解析不过来的情况。 所以，就需要考虑提高解析并发能力，于是考虑到了增加本地缓存。 而本地缓存的方式有很多，可以直接用Java的常量，或者单例中的变量等都可以用来作为本地缓存，但是有个问题，无法自动过期，或者要主动去更新本地缓存。而且还有一个很大的问题 ...more >>

展开全文 >>

记录一次K8S的kubelet启动失败分析

一 错误说明 一个k8s的worker节点需要升级CPU，于是先驱逐完pod之后先停机，更改了配置后，重启起来，机器起来之后，发现无法连接到k8s集群了，节点一直都是NotReady，于是查看节点的kubelet，发现起不来，如下： github他人提的issue：https://github.com/kubernetes/kubernetes/issues/76820 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 $ systemctl status kubelet kube-proxy -l ● kubelet.service - Kubernet ...more >>

展开全文 >>

软考-系统架构设计师考试经验之谈

一 考试初衷 今天下午，软考（系统架构设计师）成绩出来，刚开始查询系统总是502，有点忐忑，经过多次不断刷新页面，终于能登录进去了，查到了成绩，最担心的论文也刚好过了。成绩如下： 通过了，确实挺开心，但是我们一起备考的朋友加上我一共5个人，可最终只有2人通过了。有两位朋友是直接挂在的论文（这两位朋友准备也是挺充分的，大概率是在论文论点上存在一些问题导致没及格，非常遗憾），还有一位朋友是挂在了案例分析（这位朋友平时准备的时间应该不多）。另外，这次考试也反应出了系统架构设计师考试难度还是有的。 回过来说说，参加这次考试的初衷： * 个人提升，这是肯定的，经过几个月对架构理论知识的系统学 ...more >>

展开全文 >>

OpenSSL自签证书生成

一 背景 我们的mqtt broker服务，使用了SSL自签证书，可以提高mqtt连接安全性。 二 生成自签证书 在Centos7下生成，有效时长：100年 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 # copy openssl的默认配置 到当前目录下 cp /etc/pki/tls/open ...more >>

展开全文 >>

通过脚本监控Kafka的消息积压监控

一背景 我们的一些Topic的数据特别多，基于大数据的服务也不是特别稳定，有时出现问题不能及时感知到，导致过了很长时间才能发现大数据Flink任务出现了问题。而这些问题一般都会伴随着Kafka订阅消费消息的积压，所以增加了对kafka的Group消费积压清空做监控，从而反向发现问题并通过钉钉机器人报警。 如果你们公司有Grafana+Prometheus监控，建议不要采用这种使用脚本的笨方法，在后期，我们已经废弃了这种人工维护的脚本，都是通过Grafana来监控积压并主动报警的。 二 监控原理与脚本 Kafka有自带的kafka-consumer-groups.sh 查询出所有group的 ...more >>

展开全文 >>

Jenkins通过[Role-based Authorization Strategy]插件管理用户权限

一 背景 我们的Jenkins支持Gitlab登录后，刚开始只是确保了，每个操作都能追溯到具体的人，并没有严格对每个人的权限做控制，所以发布生产任务的Build权限，是全部能登录到jenkins的人都有的。这样的权限策略是有问题，特别是随着我们的人员越来越多，后面这块会越来越不可控，风险系数也会越来越高。所以我们引入了 Role-based Authorization Strategy 基于角色的授权策略插件。 插件官方地址：https://plugins.jenkins.io/role-strategy 二 操作过程 安装插件 在插件管理中直接搜索 Role-based Authoriz ...more >>

展开全文 >>

Jenkins通过Gitlab Authentication plugin插件支持Gitlab账号登录

一 背景 我们的Jenkins由于刚开始人少大家共用admin账号，但是随着人越来越多，大家都直接使用admin账号风险系数也越来越大，而我们的研发不管是后端还是前端同学肯定都有内部的gitlab账号，为了便于后期管理Jenkins，并且不用人为去管理Jenkins的账号，所以考虑集成 Gitlab Authentication plugin 插件。 插件官方地址：https://plugins.jenkins.io/gitlab-oauth 二 操作过程 安装插件 在插件管理中直接搜索 Gitlab Authentication plugin 即可找到插件点击安装即可。 Gitlab配 ...more >>

展开全文 >>

记一次生产某数据表状态总被覆盖的问题定位过程-通过binlog日志

一 问题背景 生产某个记录的状态，总是被莫名其妙的被覆盖还原回之前的状态。 用户第一次反馈，以为是遗漏调整所致，故人为调整为了正确状态。 用户第二次反馈，真正开始重视，开始定位为什么状态会被还原回了旧的状态。也是手动先改回去，第二天持续跟踪果然又被还原回去了。 二 定位过程 第一步 首先排查后端服务，所有有可能更改这个字段的地方，经过一番排查，并没有发现任何可疑的地方。 第二步 开始查binlog日志，主要是针对更改后，被改回去的这段时间，只有半天，则只查这半天的binlog。 具体操作如下： 1 2 3 4 5 # 首先先找到这段时间的binlog日志 由于我们使用的是RDS，直接在R ...more >>

展开全文 >>

K8S日志通过fluent-bit采集到ES并在Kibana上查询

一 背景和简介 背景：我们的K8S集群，之前虽然已经搭建起来并且服务也已经在上面跑了，但是我们的服务日志并没有做采集，导致的结果是只要pod重启，历史的日志就没法查看了，非常不利于定位问题。 fluent-bit官网：https://fluentbit.io/ fluent-bit官方简介：Fluent Bit 是一个开源日志处理器和转发器，它允许您从不同来源收集任何数据，如指标和日志，用过滤器丰富它们并将它们发送到多个目的地。它是 Kubernetes 等容器化环境的首选。 二 环境与版本 * K8S版本：1.15.12 * fluent-bit版本：1.7.9 * ES：6.2.3 ...more >>

展开全文 >>

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true

曾供职于<br>大厂（阿里）、<br>国企（康佳）、<br>电商与移动社交<br>等互联网公司，<br>技术能力、架构能力过硬。<br><br>我的个人微信：qicoding，<br>请注明来自码蜂窝技术博客，<br>非常欢迎加微信沟通交流<br>（包含但不限于源码、技术点、设<br>计与生产实践中遇到的问题等）