百度360必应搜狗淘宝本站头条
python类型转换python异常python操作mysql数据库python打印九九乘法表python获取列表的长度
当前位置：网站首页 > 技术资源 > 正文

Nginx利用Consul实现动态负载均衡

off999 2025-01-17 12:35 17 浏览 0 评论

首先,说声抱歉哈~~,最近更新的比较慢,不是工作比较忙,而是自己变懒了,对不住各位了

一. 前言

由于最近手中的项目在不断更新迭代,经常对服务做些调整,一调整就需要改配置文件,真是烦死了,这里先简单说下我司架构, openresty 当前端网关,利用nginx反向代理多应用服务器,提供服务(不重要的服务省略了),通过查资料发现,利用consul 可以和nginx配合,实现动态修改nginx配置的需求

二. 资源说明

10.10.100.4

  • centos 系统
  • nginx服务
  • consul template服务

10.10.100.3

  • centos 系统
  • consul服务
  • web1服务
  • web2服务

由于资源有限,就开了2台虚拟机来模拟一下,当然可以用docker实现,这里就不演示了,consul服务也不开集群模式了,同时 consul服务与web服务就放在同一个服务器上了,看懂意思就可以了,多个web服务,就以不同的端口来区分

三. 安装过程

3.1 在10.10.100.4安装openresty

 # add the yum repo:
 wget https://openresty.org/package/centos/openresty.repo
 sudo mv openresty.repo /etc/yum.repos.d/
 
 # 更新
 sudo yum check-update
 #安装
 sudo yum install openresty
 #启动
 systemctl start openresty.service 
 #开机自启动
 systemctl enable openresty.service

验证安装成功

  • 浏览器访问 10.10.100.4
  • 在10.10.100.4服务器上的命令行中执行curl 127.0.0.1

3.2 在10.10.100.4安装 consul-template

consul-template是基于consul自动替换配置文件的应用。在Consul-Template没出现之前，大家构建服务发现系统大多采用的是Zookeeper、Etcd+Confd这样类似的系统。

Consul官方推出了自己的模板系统Consul-Template后，动态的配置系统可以分化为Etcd+Confd和Consul+Consul-Template两大阵营。Consul-Template的定位和Confd差不多，Confd的后端可以是Etcd或者Consul。

Consul-Template提供了一个便捷的方式从Consul中获取存储的值，Consul-Template守护进程会查询Consul实例来更新系统上指定的任何模板。当更新完成后，模板还可以选择运行一些任意的命令。

 #下载 
 wget https://releases.hashicorp.com/consul-template/0.29.2/consul-template_0.29.2_linux_amd64.zip
 #解压
 unzip consul-template_0.29.2_linux_amd64.zip 
 #添加到环境变量中,这里直接复制到里面
 mv consul-template /usr/local/bin/
 #查看版本
 consul-template -v

3.3 在10.10.100.3安装 consul

 sudo yum install -y yum-utils
 #配置源
 sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo
 #安装consul
 sudo yum -y install consul
 #查看版本
 consul -v 
 #测试环境这里使用单机 dev模式了,这种模式只能使用127.0.0.1 的ip访问
 consul agent -dev
 #客户端ip访问 可以指定client参数 就可以访问了http://10.10.100.3:8500/ui/dc1/services
 consul agent -dev -ui -client 10.10.100.3

3.4 在10.10.100.3安装 web应用服务

这里的web服务,我使用go语言实现了,源码在后面,这里通过不同的端口,来对应多个不同的服务,go程序编译后就是一个二进制文件,直接上传到服务器,运行即可!

上传web服务到10.10.100.3,并启动

 #go程序编译命令
 go build -o web01 main.go
 #修改端口号,重新编译
 go build -o web02 main.go
 #修改端口号,重新编译
 go build -o web03 main.go
 #上传到10.10.100.3服务器的/web目录
 #启动命令
 cd /web
 nohup ./web01 >/dev/null 2>&1 &
 nohup ./web02 >/dev/null 2>&1 &
 nohup ./web03 >/dev/null 2>&1 &

web服务源码如下:

package main

import (
	"fmt"
	consulapi "github.com/hashicorp/consul/api"
	"net/http"
)

const (
	CONSULURL  = "10.10.100.3"
	CONSULPORT = 8500
	SERVERADDR = "10.10.100.3"
	SERVERPORT = 8081  //端口需要修改,8081,  8082 ,8083
	SERVERNAME = "go-server"
	SERVERID   = "100"  //需要修改 100 ,200 ,300
	checkAddr  = "10.10.100.3"
	checkPort  = 8081  //端口需要修改 8081,  8082 ,8083
)

func consulRegister() {
	//链接到consul
	config := consulapi.DefaultConfig()
	config.Address = fmt.Sprintf("%s:%d", CONSULURL, CONSULPORT)
	client, err := consulapi.NewClient(config)
	if err != nil {
		fmt.Println("consul client err ", err)
		return
	}
	//注册服务到consul
	registion := new(consulapi.AgentServiceRegistration)
	registion.ID = SERVERID
	registion.Name = SERVERNAME
	registion.Port = SERVERPORT
	registion.Address = SERVERADDR
	registion.Tags = []string{"web03", "go-web03"}
	//增加consul健康检查回调函数
	check := new(consulapi.AgentServiceCheck)
	check.HTTP = fmt.Sprintf("http://%s:%d%s", checkAddr, checkPort, "/check")
	check.Timeout = "5s"
	check.Interval = "5s"
	check.DeregisterCriticalServiceAfter = "30s" //故障检查失败30s后,自动删除删除
	registion.Check = check
	//注册服务
	err = client.Agent().ServiceRegister(registion)
	if err != nil {
		fmt.Println("注册服务失败", err)
		return
	}
}
func main() {
	consulRegister()
	http.HandleFunc("/check", func(writer http.ResponseWriter, request *http.Request) {
		writer.Write([]byte("我是check "))
	})
	http.HandleFunc("/", func(writer http.ResponseWriter, request *http.Request) {
		writer.Write([]byte("我是8081 端口服务返回的 "))
	})
	fmt.Println("启动....")
	err := http.ListenAndServe(fmt.Sprintf("%s:%d", "", SERVERPORT), nil)
	if err != nil {
		fmt.Println("启动 http 失败", err)
	}
}

3.5 在10.10.100.4配置consul-template文件

consul-template的常用参数

 -consul-auth=<username[:password]>      设置基本的认证用户名和密码。
 -consul-addr=<address>                  设置Consul实例的地址。
 -max-stale=<duration>                   查询过期的最大频率，默认是1s。
 -dedup                                  启用重复数据删除，当许多consul template实例渲染一个模板的时候可以降低consul的负载。
 -consul-ssl                             使用https连接Consul。
 -consul-ssl-verify                      通过SSL连接的时候检查证书。
 -consul-ssl-cert                        SSL客户端证书发送给服务器。
 -consul-ssl-key                         客户端认证时使用的SSL/TLS私钥。
 -consul-ssl-ca-cert                     验证服务器的CA证书列表。
 -consul-token=<token>                   设置Consul API的token。
 -syslog                                 把标准输出和标准错误重定向到syslog，syslog的默认级别是local0。
 -syslog-facility=<facility>             设置syslog级别，默认是local0，必须和-syslog配合使用。
 -template=<template>                    增加一个需要监控的模板，格式是：'templatePath:outputPath(:command)'，多个模板则可以设置多次。
 -wait=<duration>                        当呈现一个新的模板到系统和触发一个命令的时候，等待的最大最小时间。如果最大值被忽略，默认是最小值的4倍。
 -retry=<duration>                       当在和consul api交互的返回值是error的时候，等待的时间，默认是5s。
 -config=<path>                          配置文件或者配置目录的路径。
 -pid-file=<path>                        PID文件的路径。
 -log-level=<level>                      设置日志级别，可以是"debug","info", "warn" (default), and "err"。
 -dry                                    Dump生成的模板到标准输出，不会生成到磁盘。
 -once                                   运行consul-template一次后退出，不以守护进程运行。

新建nginx配置的模板文件

注意如果要生成nginx的配置文件,则要一定要与nginx安装到同一台服务器上

 upstream go-server {
     {{range service "go-server" }} {{$name := .Name}}
     ##upstream {{$name}} 
     ##zone upstream-{{$name}} 64k;
     server {{.Address}}:{{.Port}} max_fails=3 fail_timeout=60 weight=1;
     {{else}}server 127.0.0.1:65535; # force a 502
     {{end}}
 }
 
 server {
   listen       8000;
   server_name  localhost;
 
   location / {
     add_header 'Access-Control-Allow-Origin' '*';
     add_header Access-Control-Allow-Methods 'GET, POST, OPTIONS';
     add_header Access-Control-Allow-Headers 'DNT,X-Mx-ReqToken,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Authorization';
     if ($request_method = 'OPTIONS') {
         return 204;
     } 
     proxy_pass http://go-server/;
     
     #Proxy Settings
     proxy_set_header Host $host;
     proxy_set_header   Referer $http_referer;
     proxy_set_header   Cookie $http_cookie;
     proxy_set_header   X-Real-IP  $remote_addr;
     proxy_set_header   X-Forwarded-For $proxy_add_x_forwarded_for;
     proxy_connect_timeout      90;
     proxy_send_timeout         90;
     proxy_read_timeout         90;
     proxy_buffer_size          4k;
     proxy_buffers              4 32k;
     proxy_busy_buffers_size    64k;
     proxy_temp_file_write_size 64k;
   }
 
   error_page 404 /404.html;
       location = /40x.html {
   }
   error_page 500 502 503 504 /50x.html;
       location = /50x.html {
   }
 }

执行命令生成nginx.conf配置文件

 consul-template  -consul-addr 10.10.100.3:8500 -template "nginx.ctmpl:/usr/local/openresty/nginx/conf/conf.d/consul.conf:/usr/local/openresty/bin/openresty -s reload"

当然可以使用配置文件生成了

 vim /usr/local/openresty/nginx/conf/consul-nginx-template/nginx.hcl

配置文件如下:

 wait {
  min="3s"
  max="10s"
 }
 consul {
  address="10.10.100.3:8500"
 }
 template {
  source ="/usr/local/openresty/nginx/conf/consul-nginx-template/nginx.ctmpl"
  destination="/usr/local/openresty/nginx/conf/conf.d/consul.conf"
  command="/usr/local/openresty/bin/openresty -s reload"
 }

运行配置文件

 consul-template -config /usr/local/openresty/nginx/conf/consul-nginx-template/nginx.hcl

浏览器测试

我这里绑定了8000端口,所以访问 10.10.100.4:8000,就可以发现后端3个go服务开始提供服务了,关闭一个服务,nginx的配置文件也会动态的做出改变

结尾:

这种解决方案是可以解决我们遇到的问题, 但是最终开会后确没有使用这种方法来解决,还是使用原始 方法手动改,我是无语了,可能是怕麻烦吧

相关推荐

30s带你使用Python打包exe文件，并修改其图标

在Python中，我们可以使用PyInstaller或cx_Freeze等工具将Python脚本打包成可执行文件（.exe），并且能够修改生成的.exe文件的图标。使用PyInstaller...

Python一键打包为windows的exe文件，无需安装python环境即可执行

一、为什么要将Python打包为exe？在实际应用中，我们希望Python程序能在没有安装Python环境的电脑上直接运行。将Python代码打包为exe可执行文件，不仅能解决环境依赖问题，还便于程...

py2exe实现python文件打包为.exe可执行程序(上篇)

今天分享的内容为：python程序实现发送、读取邮件来控制电脑的关机与重启（作为py2exe打包成.exe可执行程序的基础文件）一、说明：本文介绍的是使用新浪邮箱作为例子进行讲解，代码实现如下：#c...

如何将python程序文件打包生成一个可执行文件(exe文件)

在开发Python程序后，有时我们希望将其打包成一个可执行的exe文件，方便在没有Python环境的计算机上运行。下面将详细介绍使用常见工具实现这一目标的方法。安装PyInstaller...

Python程序打包为EXE的全面指南:从入门到精通

引言在Python开发中，将程序打包成可执行文件（EXE）是分发应用程序的重要环节。通过打包，我们可以创建独立的可执行文件，让没有安装Python环境的用户也能运行我们的程序。本篇文章将详细介绍如何使...

10个你没有充分利用的令人惊叹的 Python 特性

Python的简单性和多功能性使其成为全球开发人员的最爱。每天有超过1000万开发者使用Python进行从网络开发、机器学习到网络脚本等各种开发，Python的功能非常强大。然而，我们中的...

编程语言可以用来做什么

1.web前端你每天浏览的网页，所看到的页面特效，均是由web前端工程师来实现的2.Java大型购物网站有关通信及网络企业大型企业级应用管理系统大型网游后台数据3.C++嵌入式三维游戏领域人工智能领域...

用Python进行机器学习(16)-内容总结

对于用Python进行机器学习的内容，到这里就要做一个阶段性总结啦，后续再写的文章就是关于深度学习的了，算是对该部分内容的进阶版。对于机器学习，我们主要介绍了五个方面的内容：第一个就是分类算法，主要包...

普通人如何利用python做自媒体赚收益

普通人利用Python做自媒体赚收益，最简单的方式是下载某些网站的视频，并利用剪影编辑视频，最后导出发布，每天可以制作个10几条，并设置好定时发布，每天如此坚持下去，一定会有所收获的...

AI能写什么做什么?这些技能已经颠覆你的认知!

在ChatGPT、文心一言等AI工具爆火的今天，人工智能早已不再是科幻电影里的概念，而是实实在在地渗透进我们的生活。**AI到底能写什么？能做什么？它的边界在哪里？**让我们一探究竟！---**1....

Python 3.14 新特性盘点，更新了些什么?

Python3.14.0稳定版将于2025年10月正式发布，目前已进入beta测试阶段。这意味着在往后的几个月里，3.14的新功能已冻结，不再合入新功能（除了修复问题和完善文档）。3...

每天一个Python库:sys模块的5个高频用法(建议收藏)

很多人学Python，一直卡在“写不了实用脚本”。其实，会用标准库，效率直接翻倍。今天分享的是：sys模块。这个模块虽然基础，但非常实用，下面是我亲测常用的5个功能1.获取命令行参数（自动化脚...

Python除了做爬虫抓数据还能做什么?其实还能监视和衡量网站性能

　　借助这份对初学者友好的指南，您可以构建自己的自定义Python脚本来自动测量网站的关键速度和性能指标。　　在过去的一个月中，Google宣布了许多通过关键速度和性能指标来衡量用户体验的方法。　　巧...

python究竟可以用来做些什么

这里就不撰述python的一些像什么“高级语言”之类的比较常规的介绍了，还是老样子，说说一些比较常用的东西吧。python是什么python，一款可编程的开源软件，很多第三方库、框架也是开源的，比如强...

Python 实现 dubbo 协议接口自动化测试

前言python语言也可以实现对dubbo协议的接口进行调用与测试，可以使用python+hessian结合的方式，也可以使用python+telnet结合的方式模拟命令行的模式来实现对...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
Copyright Your WebSite.Some Rights Reserved.