Spring Batch使用详细例子

Spring Batch 是一个开源的批处理框架，它提供了一种简单的方式来处理大规模的数据处理任务。它基于 Spring 框架，可以与 Spring 的其他组件无缝集成，如 Spring Boot、Spring Data 等。本文将介绍如何使用 Spring Batch 进行批处理任务。
1. 准备工作
在开始使用 Spring Batch 之前，需要先准备好以下环境：
- JDK 1.8 或以上版本
- Maven 或 Gradle
- IDE，如 Eclipse 或 IntelliJ IDEA
2. 创建 Spring Batch 项目
使用 Maven 或 Gradle 创建一个 Spring Boot 项目，然后添加 Spring Batch 的依赖。在 Maven 中添加以下依赖：

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-batch</artifactId>
</dependency>

在 Gradle 中添加以下依赖：

implementation 'org.springframework.boot:spring-boot-starter-batch'

3. 创建 Job

在 Spring Batch 中，Job 是一个批处理任务的最高级别的抽象。一个 Job 包含了多个 Step，每个 Step 执行一个具体的任务。
创建一个 Job 需要实现 Job 接口，并重写 execute 方法。例如，创建一个简单的 Job，它只包含一个 Step：

@Configuration
public class SimpleJobConfig {
    @Autowired
    private JobBuilderFactory jobBuilderFactory;

    @Autowired
    private StepBuilderFactory stepBuilderFactory;

    @Bean
    public Step simpleStep() {
        return stepBuilderFactory.get("simpleStep")
                .tasklet((contribution, chunkContext) -> {
                    System.out.println("Hello, World!");
                    return RepeatStatus.FINISHED;
                })
                .build();
    }

    @Bean
    public Job simpleJob() {
        return jobBuilderFactory.get("simpleJob")
                .start(simpleStep())
                .build();
    }

}

在上面的代码中，我们创建了一个名为 simpleJob 的 Job，它包含了一个名为 simpleStep 的 Step。simpleStep 执行了一个简单的任务，输出了一条消息。
4. 创建 ItemReader 和 ItemWriter
在 Spring Batch 中，ItemReader 用于读取数据，ItemWriter 用于写入数据。它们通常与 Step 一起使用，用于处理大量数据。
创建一个 ItemReader 需要实现 ItemReader 接口，并重写 read 方法。例如，创建一个从文件中读取数据的 ItemReader：

@Bean
public FlatFileItemReader<Person> personItemReader() {
    FlatFileItemReader<Person> reader = new FlatFileItemReader<>();
    reader.setResource(new ClassPathResource("people.csv"));
    reader.setLineMapper(new DefaultLineMapper<Person>() {
   
   {
        setLineTokenizer(new DelimitedLineTokenizer() {
   
   {
            setNames(new String[]{"firstName", "lastName"});
        }});
        setFieldSetMapper(new BeanWrapperFieldSetMapper<Person>() {
   
   {
            setTargetType(Person.class);
        }});
    }});
    return reader;
}

在上面的代码中，我们创建了一个名为 personItemReader 的 ItemReader，它从一个 CSV 文件中读取数据，并将每行数据映射到一个 Person 对象中。
创建一个 ItemWriter 需要实现 ItemWriter 接口，并重写 write 方法。例如，创建一个将数据写入数据库的 ItemWriter：

@Bean
public JdbcBatchItemWriter<Person> personItemWriter(DataSource dataSource) {
    JdbcBatchItemWriter<Person> writer = new JdbcBatchItemWriter<>();
    writer.setItemSqlParameterSourceProvider(new BeanPropertyItemSqlParameterSourceProvider<>());
    writer.setSql("INSERT INTO people (first_name, last_name) VALUES (:firstName, :lastName)");
    writer.setDataSource(dataSource);
    return writer;
}

在上面的代码中，我们创建了一个名为 personItemWriter 的 ItemWriter，它将数据插入到一个名为 people 的表中。

5. 创建 Step
在 Spring Batch 中，Step 是一个具体的任务，它包含了一个 ItemReader、一个 ItemProcessor 和一个 ItemWriter。
创建一个 Step 需要实现 Step 接口，并重写 execute 方法。例如，创建一个从文件中读取数据，并将数据写入数据库的 Step：

@Bean
public Step importPersonStep(DataSource dataSource) {
    return stepBuilderFactory.get("importPersonStep")
            .<Person, Person>chunk(10)
            .reader(personItemReader())
            .processor((person) -> {
                person.setLastName(person.getLastName().toUpperCase());
                return person;
            })
            .writer(personItemWriter(dataSource))
            .build();
}

在上面的代码中，我们创建了一个名为 importPersonStep 的 Step，它包含了一个 personItemReader、一个 ItemProcessor 和一个 personItemWriter。在 ItemProcessor 中，我们将 lastName 转换为大写字母。
6. 运行 Job
在完成了以上步骤之后，我们可以运行 Job 了。在 Spring Boot 中，可以使用 CommandLineRunner 来运行 Job。

@SpringBootApplication
public class Application implements CommandLineRunner {
    @Autowired
    private JobLauncher jobLauncher;
    @Autowired
    private Job simpleJob;
    @Autowired
    private Job importPersonJob;
    public static void main(String[] args) {
        SpringApplication.run(Application.class, args);
    }
    @Override
    public void run(String... args) throws Exception {
        JobParameters jobParameters = new JobParametersBuilder()
                .addDate("date", new Date())
                .toJobParameters();
        jobLauncher.run(simpleJob, jobParameters);
        jobLauncher.run(importPersonJob, jobParameters);
    }
}

在上面的代码中，我们创建了一个名为 Application 的类，它实现了 CommandLineRunner 接口，并重写了 run 方法。在 run 方法中，我们运行了 simpleJob 和 importPersonJob。
7. 总结
本文介绍了如何使用 Spring Batch 进行批处理任务。首先，我们创建了一个 Job，它包含了一个 Step。然后，我们创建了一个 ItemReader 和一个 ItemWriter，用于读取和写入数据。最后，我们创建了一个 Step，它包含了一个 ItemReader、一个 ItemProcessor 和一个 ItemWriter。通过以上步骤，我们可以使用 Spring Batch 完成大规模数据处理任务。

Spring Batch使用详细例子

猜你喜欢