从文件到进程的haskell管道

Question

如何从文件流式传输到进程中？

Data.Conduit.Binary.sourceFile :: MonadResource m => FilePath -> Producer m ByteString
Data.Conduit.Process.sourceProcessWithStreams :: CreateProcess -> Producer IO ByteString -> Consumer ByteString IO a -> Consumer ByteString IO b -> IO (ExitCode, a, b)

唯一的MonadResource 是ResourceT，特别是IO 不是MonadResource。

我可以看到有sourceHandle，即IO，但如果可能的话，我宁愿不处理我自己的文件打开和关闭。另外，如果我在另一个空间中理解它，我想理解这个问题。

还有Data.Conduit.Lift.distribute：

distribute :: (Monad (t (ConduitM b o m)), Monad m, Monad (t m), MonadTrans t, MFunctor t) => ConduitM b o (t m) () -> t (ConduitM b o m) () 

所以我会得到类似的东西

distribute $ sourceFile "foo" :: ResourceT (ConduitM i ByteString IO) ()

但我不知道如何使用它。

Answer 1

由于您能够提供 CreateProcess，因此您可以使用 CreateProcess 的重定向功能甚至 shell 从已知文件名重定向标准输入。

这里有一些例子。请注意，在每种情况下，wc 都会报告 文件 input 的统计信息，而不是提供的 Producer（其中 是空的生产者。）

#!/usr/bin/env stack
{- stack runghc --resolver lts-6.0
    --package conduit-extra
    --package conduit-combinators
 -}
{-# LANGUAGE OverloadedStrings #-}

import Conduit
import Data.Conduit
import Data.Conduit.Process
import qualified Data.ByteString.Char8 as BS

ex1 = do x <- sourceCmdWithConsumer "date" lengthC
         print x

emit prefix = mapM_C (\x -> BS.putStr prefix >> BS.putStr ": " >> BS.putStrLn x)

ex2 = do let cp = shell "wc < input"
         x <- sourceProcessWithConsumer cp (emit "stdout")
         print x

ex3 = sourceCmdWithStreams "wc < input" (return ())  (emit "stdout") (emit "stderr")

ex4 = do let cp = shell "wc < input"
         sourceProcessWithStreams cp (return ()) (emit "stdout") (emit "stderr" )

更新

如果您想避免生成 shell，我创建了一个替代版本 sourceProcessWithStreams 从 CreateProcess 中获取标准输入：

Using UseProvidedHandle with streamingProcess

或者，您可以使用withFile 和sourceHandle：

#!/usr/bin/env stack
{- stack runghc --resolver lts-6.0
    --package streaming-commons
    --package conduit
    --package conduit-extra
 -}

{-# LANGUAGE OverloadedStrings #-}

import System.IO
import qualified Data.ByteString.Char8 as BS
import Conduit
import System.Process
import Data.Conduit.Process

emit prefix = mapM_C $ \x -> BS.putStr prefix >> BS.putStr ": " >> BS.putStrLn x

ex3 = do let cp = (proc "wc" [])
         withFile "input" ReadMode $ \h -> do
           sourceProcessWithStreams cp (sourceHandle h) (emit "stdout") (emit "stderr")

main = ex3 >>= print