【问题标题】:Go routine- stops running process [duplicate]Goroutine-停止运行进程[重复]
【发布时间】:2020-11-03 09:19:39
【问题描述】:

我使用以下代码在大多数情况下都可以正常工作,以防我们使用一些长时间运行的进程,它不会在程序内停止结束(这里我限制为 60 秒例子)

我希望每个作业都在 5 秒后终止(即使它没有完成工作也终止进程), 更改函数myLongRunningFunc,我该怎么做。

我知道这在 go 中解决起来并不简单,有什么我可以使用的技巧吗?

这是一些可重现的最小示例

https://play.golang.org/p/a0RWY4bYWMt

package main

import (
    "context"
    "errors"
    "fmt"
    "time"

    "github.com/gammazero/workerpool"
)

func main() {
    // here define a timeout for 5 sec,
    // the task should be terminate after 5 sec
    ctx, cancel := context.WithTimeout(context.Background(), time.Second*5)
    defer cancel()

    runner := newRunner(ctx, 10)

    runner.do(job{
        Name: "a",
        Task: func() jobResult {
            select {
            case <-ctx.Done():
                return jobResult{Error: errors.New("Timedout, exiting")}
            default:
                myLongRunningFunc("A job")
            }
            return jobResult{Data: "from a"}
        },
    })

    runner.do(job{
        Name: "b",
        Task: func() jobResult {
            select {
            case <-ctx.Done():
                return jobResult{Error: errors.New("Timeouts, exiting")}
            default:
                myLongRunningFunc("B job")
            }

            return jobResult{Data: "from b"}
        },
    })

    results := runner.getjobResults()
    fmt.Println(results)
    time.Sleep(time.Second * 60)
}

func myLongRunningFunc(name string) {
    for i := 0; i < 100000; i++ {
        time.Sleep(time.Second * 1)
        msg := "job" + name + " running..\n"
        fmt.Println(msg)
    }
}

type runner struct {
    *workerpool.WorkerPool
    ctx     context.Context
    kill    chan struct{}
    result  chan jobResult
    results []jobResult
}

func (r *runner) processResults() {
    for {
        select {
        case res, ok := <-r.result:
            if !ok {
                goto Done
            }
            r.results = append(r.results, res)
        }
    }
Done:
    <-r.kill
}

func newRunner(ctx context.Context, numRunners int) *runner {
    r := &runner{
        WorkerPool: workerpool.New(numRunners),
        ctx:        ctx,
        kill:       make(chan struct{}),
        result:     make(chan jobResult),
    }
    go r.processResults()
    return r
}

func (r *runner) do(j job) {
    r.Submit(r.wrap(&j))
}

func (r *runner) getjobResults() []jobResult {
    r.StopWait()
    close(r.result)
    r.kill <- struct{}{}
    return r.results
}

func (r *runner) wrap(job *job) func() {
    return func() {
        job.result = make(chan jobResult)
        go job.Run()
        select {
        case res := <-job.result:
            r.result <- res
        case <-r.ctx.Done():
            fmt.Printf("Job '%s' should stop here\n", job.Name)
            r.result <- jobResult{name: job.Name, Error: r.ctx.Err()}
        }
    }
}

type job struct {
    Name    string
    Task    func() jobResult
    Context context.Context
    result  chan jobResult
    stopped chan struct{}
    done    context.CancelFunc
}

func (j *job) Run() {
    result := j.Task()
    result.name = j.Name
    j.result <- result
}

type jobResult struct {
    name  string
    Error error
    Data  interface{}
}

由于我使用的是圣坛频道,因此编辑不相关

【问题讨论】:

  • @DavidMaze - 是的,但不确定如何采用我的代码以干净的方式使用它,您能否提供示例?

标签: multithreading go


【解决方案1】:

我希望每个作业都将被终止(即使它是终止进程 没有完成工作)5秒后,我怎么能不改变 函数 myLongRunningFunc。

然后你只需添加一个 5 秒的服务员然后退出。

package main

import (
    "context"
    "errors"
    "fmt"
    "time"

    "github.com/gammazero/workerpool"
)

func main() {
    go func() {
        // here define a timeout for 5 sec,
        // the task should be terminate after 5 sec
        ctx, cancel := context.WithTimeout(context.Background(), time.Second*5)
        defer cancel()

        runner := newRunner(ctx, 10)

        runner.do(job{
            Name: "a",
            Task: func() jobResult {
                select {
                case <-ctx.Done():
                    return jobResult{Error: errors.New("Timedout, exiting")}
                default:
                    myLongRunningFunc("A job")
                }
                return jobResult{Data: "from a"}
            },
        })

        runner.do(job{
            Name: "b",
            Task: func() jobResult {
                select {
                case <-ctx.Done():
                    return jobResult{Error: errors.New("Timeouts, exiting")}
                default:
                    myLongRunningFunc("B job")
                }

                return jobResult{Data: "from b"}
            },
        })

        results := runner.getjobResults()
        fmt.Println(results)
        time.Sleep(time.Second * 60)
    }()
    <-time.After(time.Second * 5)
}

func myLongRunningFunc(name string) {
    for i := 0; i < 100000; i++ {
        time.Sleep(time.Second * 1)
        msg := "job" + name + " running..\n"
        fmt.Println(msg)
    }
}

type runner struct {
    *workerpool.WorkerPool
    ctx     context.Context
    kill    chan struct{}
    result  chan jobResult
    results []jobResult
}

func (r *runner) processResults() {
    for {
        select {
        case res, ok := <-r.result:
            if !ok {
                goto Done
            }
            r.results = append(r.results, res)
        }
    }
Done:
    <-r.kill
}

func newRunner(ctx context.Context, numRunners int) *runner {
    r := &runner{
        WorkerPool: workerpool.New(numRunners),
        ctx:        ctx,
        kill:       make(chan struct{}),
        result:     make(chan jobResult),
    }
    go r.processResults()
    return r
}

func (r *runner) do(j job) {
    r.Submit(r.wrap(&j))
}

func (r *runner) getjobResults() []jobResult {
    r.StopWait()
    close(r.result)
    r.kill <- struct{}{}
    return r.results
}

func (r *runner) wrap(job *job) func() {
    return func() {
        job.result = make(chan jobResult)
        go job.Run()
        select {
        case res := <-job.result:
            r.result <- res
        case <-r.ctx.Done():
            fmt.Printf("Job '%s' should stop here\n", job.Name)
            r.result <- jobResult{name: job.Name, Error: r.ctx.Err()}
        }
    }
}

type job struct {
    Name    string
    Task    func() jobResult
    Context context.Context
    result  chan jobResult
    stopped chan struct{}
    done    context.CancelFunc
}

func (j *job) Run() {
    result := j.Task()
    result.name = j.Name
    j.result <- result
}

type jobResult struct {
    name  string
    Error error
    Data  interface{}
}

【讨论】:

  • 问题是我想为每个任务配置他的超时时间,此外,在我的例子中,我们有一个 Web 应用程序服务器,例如每次调用路由 http://localhost:3000/run 都会调用这个逻辑(在 main 内部并且应该返回响应),你会怎么做?我不想杀死程序,我希望每个请求都能完成 5 sec 的最大值,你会怎么做?
  • HamoriZ 确实给了你答案。关于您对问题的描述,我只强调了一个解决方案。
【解决方案2】:

我认为不可能从外部 goroutine 中停止 goroutine。你可以检查它是否超时,但是你不能停止它。

你可以做的是通过通道向goroutine发送一条消息,在这种情况下可以监控并停止。

You can find examples here

【讨论】:

  • 谢谢,我已经看到了,但不确定我是否理解如何在我的上下文中执行此操作,云请在我的上下文中提供一个示例? play.golang.org/p/a0RWY4bYWMt
  • 请检查这个 - play.golang.org/p/Oa-5vlfYRMs
  • 非常感谢,但我需要 without changing longRunnigFunc :) ,如果不可能,也许一个选项是:假设用户提供两个差异函数 longRunnigFunc1 longRunnigFunc2哪个做完全不同的事情,我可以abstractselect 并告诉实现这些不同功能的用户将此abstractSelectfunc 添加到您的longRunnigFuncN 并且您是安全的,有没有办法?
  • 这可能是可行的,但必须在长时间运行的操作中检查选择部分,即。您需要将带有 select 的函数传递给长时间运行的函数,因此可能与传递通道的解决方案非常相似。
  • 如果你能提供一个例子你会怎么做就太好了