【问题标题】:Directory Scanner in JavaJava 中的目录扫描器
【发布时间】:2012-10-03 22:48:18
【问题描述】:

连续扫描一组目录以查找一组文件名过滤器。 对于每个到达的文件名过滤器,处理文件并重复所有步骤

在 jdk 1.5 中推荐的设计是什么,可能使用 java.concurrent.Executor 和 Future

【问题讨论】:

  • 那么,它是不是类似于 java 代码将在一个目录上执行的定期扫描?

标签: java multithreading polling java.util.concurrent


【解决方案1】:

我已经使用网络爬虫完成了类似的任务。只需进行一些更改......这是一个并发实现,新找到的目录被执行器框架中的线程池扫描。它使用并发集合队列和列表保存索引文件。索引器从队列中提取文件并对它们进行处理。 这是 FileFilter 的实现



    public class ImageFileFilter implements FileFilter
    {
      private final String[] okFileExtensions = 
        new String[] {"jpg", "png", "gif"};

      public boolean accept(File file)
      {
        for (String extension : okFileExtensions)
        {
          if (file.getName().toLowerCase().endsWith(extension))
          {
            return true;
          }
        }
        return false;
      }
    }

这是带有 main 方法的类...




     public class FileFilterTest {
        public static void main(String[] args) {
            File dir = new File("D:\\dev\\css-templates\\cms-admin");
            BlockingQueue blockingQueue = new ArrayBlockingQueue(5);
            FileCrawler fileCrawler = new FileCrawler(blockingQueue,
                    new ImageFileFilter(), dir);
            new Thread(fileCrawler).start();

            FileIndexer indexer = new FileIndexer(blockingQueue);
            new Thread(indexer).start();
        }
    }

这是文件爬虫线程




     public class FileCrawler implements Runnable {
            private final BlockingQueue fileQueue;
            private ConcurrentSkipListSet indexedFiles = new ConcurrentSkipListSet();
            private final FileFilter fileFilter;
            private final File root;
            private final ExecutorService exec = Executors.newCachedThreadPool();

            public FileCrawler(BlockingQueue fileQueue,
                               final FileFilter fileFilter,
                               File root) {
                this.fileQueue = fileQueue;
                this.root = root;
                this.fileFilter = new FileFilter() {
                    public boolean accept(File f) {
                        return f.isDirectory() || fileFilter.accept(f);
                    }
                };
            }

            public void run() {

                    submitCrawlTask(root);

            }

            private void submitCrawlTask(File f) {
                CrawlTask crawlTask = new CrawlTask(f);
                exec.execute(crawlTask);
            }

            private class CrawlTask implements Runnable {
                private final File file;

                CrawlTask(File file ) {

                    this.file= file;
                }

             public void run() {        
                 if(Thread.currentThread().isInterrupted())
                return;

                    File[] entries = file.listFiles(fileFilter);

                    if (entries != null) {
                        for (File entry : entries)
                            if (entry.isDirectory())
                                submitCrawlTask(entry);
                            else if (entry !=null && !indexedFiles.contains(entry)){
                                indexedFiles.add(entry);
                                try {
                                    fileQueue.put(entry);
                                } catch (InterruptedException e) {
                                        Thread.currentThread().interrupt();
                                }
                            }
                    }
                }
        }
       }

这是文件索引器线程



        public class FileIndexer implements Runnable {
        private final BlockingQueue queue;

        public FileIndexer(BlockingQueue queue) {
            this.queue = queue;
        }

        public void run() { 
            try {
                while (true) {
                    indexFile(queue.take());
                }
            } catch (InterruptedException e) {
                System.out.println("Indexer Interrupted");
                Thread.currentThread().interrupt();
            }
        }

        public void indexFile(File file) {
            // do something with the file...
            System.out.println("Indexing File : " + file.getAbsolutePath() + " " + file.getName());
        };
    }

【讨论】:

    【解决方案2】:

    我猜这就是你想要做的:

    1. 你有一组目录:

      目录1
      目录2
      目录3

    2. 并且您需要在这 3 个目录上放置一个“监视”以获取特定的文件名模式。 示例:如果添加了一个名称为 watchme_9192.log 的新文件,那么您的 java 逻辑应该启动并处理该文件。

    所以,基于这个假设,你可以试试:jnotify

    JNotify 是一个允许 java 应用程序监听的 java 库 文件系统事件,例如:
    文件已创建
    文件已修改
    文件重命名
    文件已删除

    另外,相关:best practice for directory polling

    【讨论】:

    • 感谢您的回复。我不允许为此实现添加新库,否则 jnotify 是不错的选择。我正在检查提供的第一个实现以满足我的需求。
    猜你喜欢
    • 2013-06-16
    • 2011-06-28
    • 2011-10-14
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多