V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
xxjwxc
V2EX  ›  程序员

golang 限流器,控制并发,线程池

  •  
  •   xxjwxc ·
    xxjwxc · 2021-05-19 18:09:00 +08:00 · 1599 次点击
    这是一个创建于 618 天前的主题,其中的信息可能已经有所发展或是发生改变。

    gowp

    golang worker pool ,线程池 , 工作池

    • 并发限制 goroutine 池。
    • 限制任务执行的并发性,而不是排队的任务数。
    • 无论排队多少任务,都不会阻止提交任务。
    • 通过队列支持
    • 限流器
    • golang 工作池公共库

    支持最大任务数, 放到工作池里面 并等待全部完成

    package main
    
    import (
    	"fmt"
    	"time"
    
    	"github.com/xxjwxc/gowp/workerpool"
    )
    
    func main() {
    	wp := workerpool.New(10)             //设置最大线程数
    	for i := 0; i < 20; i++ { //开启 20 个请求
    		ii := i
    		wp.Do(func() error {
    			for j := 0; j < 10; j++ { //每次打印 0-10 的值
    				fmt.Println(fmt.Sprintf("%v->\t%v", ii, j))
    				time.Sleep(1 * time.Second)
    			}
    			//time.Sleep(1 * time.Second)
    			return nil
    		})
    	}
    
    	wp.Wait()
    	fmt.Println("down")
    }
    

    限流器(cache)

    package main
    
    import (
    	"fmt"
    	"sync"
    	"time"
    
    	"github.com/xxjwxc/gowp/limiter"
    )
    
    func main() {
    	limiter := limiter.NewLimiter(limiter.WithLimit(10), limiter.WithNamespace("test"), limiter.WithTsTimeout(true) /*, limiter.WithRedis(res)*/)
    	var wg sync.WaitGroup
    	for i := 0; i < 20; i++ {
    		wg.Add(1)
    		go func() {
    			defer wg.Done()
    			token, _ := limiter.Acquire(10) // 获取一个
    			fmt.Println(token)
    
    			time.Sleep(1 * time.Second)
    			limiter.Release(token) // 回退
    		}()
    	}
    	wg.Wait()
    	fmt.Println("down")
    }
    

    限流器(redis)

    package main
    
    import (
    	"fmt"
    	"sync"
    	"time"
    
    	"github.com/xxjwxc/gowp/limiter"
    	"github.com/xxjwxc/public/myredis"
    )
    
    func main() {
    	conf := myredis.InitRedis(myredis.WithAddr("127.0.0.1:6379"), myredis.WithPwd("123456"), myredis.WithGroupName("test"))
    	res, err := myredis.NewRedis(conf)
    	if err != nil {
    		fmt.Println(err)
    		return
    	}
    
    	limiter := limiter.NewLimiter(limiter.WithRedis(res), limiter.WithLimit(10), limiter.WithNamespace("test") /*, limiter.WithRedis(res)*/)
    	var wg sync.WaitGroup
    	for i := 0; i < 20; i++ {
    		wg.Add(1)
    		go func() {
    			defer wg.Done()
    			token, _ := limiter.Acquire(10) // 获取一个
    			fmt.Println(token)
    
    			time.Sleep(1 * time.Second)
    			limiter.Release(token) // 回退
    		}()
    	}
    	wg.Wait()
    	fmt.Println("down")
    }
    
    

    代码地址 gowp

    7 条回复    2021-05-20 09:07:07 +08:00
    lrvy
        1
    lrvy  
       2021-05-19 19:33:44 +08:00
    .DS_Store?
    wellsc
        2
    wellsc  
       2021-05-19 19:38:20 +08:00
    为什么不在网关层做这些呢
    Hyvi
        3
    Hyvi  
       2021-05-19 19:50:36 +08:00   ❤️ 1
    @wellsc +1
    jziwenchen
        4
    jziwenchen  
       2021-05-19 20:36:34 +08:00
    赞一个
    xxjwxc
        5
    xxjwxc  
    OP
       2021-05-19 23:28:53 +08:00 via Android
    @wellsc 很多可以用的,比如连接池,控制并发数,最大并发数!
    xxjwxc
        6
    xxjwxc  
    OP
       2021-05-19 23:30:42 +08:00 via Android
    @Hyvi 数据库连接池,可以用这个工具,或者分布式并发数,比如控制 MQ 的消费者数量!
    xxjwxc
        7
    xxjwxc  
    OP
       2021-05-20 09:07:07 +08:00
    @lrvy ??
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   广告投放   ·   实用小工具   ·   1615 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 43ms · UTC 04:16 · PVG 12:16 · LAX 20:16 · JFK 23:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.