原有的spooling source的方式只支持一级目录的文件变动的检测,修改了一下源码支持对目录的递归检测,可以支持多级目录下的文件变动 ReliableSpoolingFileEventReader类增加以下下方法 /** * add by * * @param files * @param dir * @param filter */ private void listDirFiles(List<File> files, File dir, FileFilter filter) { File[] childs = dir.listFiles(filter);// 列出目录下所有的文件 for (int i = 0; i < childs.length; i++) { if (childs[i].isFile()) { files.add(childs[i]); } else { if (childs[i].isDirectory()) { listDirFiles(files, childs[i], filter);// 如果是个目录,就继续递归列出其下面的文件. } } } } 修改getNextFile方法 private Optional<FileInfo> getNextFile() { List<File> candidateFiles = Collections.emptyList(); if (consumeOrder != ConsumeOrder.RANDOM || candidateFileIter == null || !candidateFileIter.hasNext()) { /* Filter to exclude finished or hidden files */ FileFilter filter = new FileFilter() { public boolean accept(File candidate) { String fileName = candidate.getName(); if ((candidate.isDirectory()) || (fileName.endsWith(completedSuffix)) || (fileName.startsWith(".")) || ignorePattern.matcher(fileName).matches()) { return false; } return true; } }; //candidateFiles = Arrays.asList(spoolDirectory.listFiles(filter)); candidateFiles = new ArrayList<File>();//新增的 listDirFiles(candidateFiles, directory, filter);//新增的
Flume-ng spooling source的方式增加了对目录的递归检测
猜你喜欢
转载自liyonghui160com.iteye.com/blog/2297484
今日推荐
周排行