APP下载
报价宝  ›  科技  › 

后端开发实践系列——开发者的第0个迭代_专案

报价宝 来源:baojiabao.com 发布时间:2019-08-25 21:56:00 11月16日更新
报价宝综合消息后端开发实践系列——开发者的第0个迭代_专案

在ThoughtWorks,我从零开始搭建了不少软件专案,其中包含了基础程式码框架和持续整合基础设施等,这些内容在敏捷开发中通常被称为“第0个迭代”要做的事情。但是,当专案运行了一段时间之后再来反观,我总会发现一些不足的地方,要么测试分类没有分好,要么基本的编码架子没有考虑周全。

另外,我在工作中也会接触到很多既有专案,公司内部和外部的都有,多数专案的编码实践我都是不满意的。比如,我曾经新加入一个专案的时候,前前后后请教了3位同事才把该专案在本地执行起来;又比如在另一专案中,我发现前端请求对应的Java类命名规范不统一,有被字尾为Request的,也有被字尾为Command的。

再者,工作了这么多年之后,我越来越发现基础知识以及系统性学习的重要性。诚然,技术框架的发展使得我们可以快速地实现业务功能,但是当软件出了问题之后有时却需要将各方面的知识融会贯通并在大脑里综合反应才能找到解决思路。

基于以上,我希望整理出一套公共性的专案模板出来,旨在尽量多地包含日常开发之所需,减少开发者的重复性工作以及提供一些最佳实践。对于后端开发而言,我选择了当前被行业大量使用的Spring Boot,基于此整理出了一套公共的、基础性的实践方式,在结合了自己的经验以及其他专案的优秀实践之后,总结出本文以飨开发者。

本文以一个简单的电商订单系统为例,源代码请访问:

所使用的技术栈主要包括:Spring Boot、Gradle、MySQL、Junit 5、Rest Assured、Docker等。

一份好的README可以给人以专案全景概览,可以使新人快速上手专案,可以降低沟通成本。同时,README应该简明扼要,条理清晰,建议包含以下方面:

需要注意的是,README中的资讯可能随着专案的演进而改变(比如引入了新的技术栈或者加入了新的领域模型),因此也是需要持续更新的。虽然我们知道,软件档案的一个痛点便是无法与专案实际进展保持同步,但是就README这点资讯来讲,还是建议开发者们不要吝啬那一点点敲键盘的时间。

此外,除了保持README的持续更新,一些重要的架构决定可以通过示例程式码的形式记录在程式码库中,新开发者可以通过直接阅读这些示例程式码快速了解专案的通用实践方式以及架构选择,请参考ThoughtWorks的技术雷达。

为了避免诸如前文中所提到的“请教了3位同事才本地构建成功”的尴尬,为了减少“懒惰”的程序员们的手动操作,也为了为所有开发者提供一种一致的开发体验,我们希望用一个命令就可以完成所有的事情。这里,对于不同的场景我总结出了以下命令:

以上3个命令基本上可以完成日常开发之所需,此时,对于新人的开发流程大致为:

事实上,这些命令指令码的内容非常简单,比如run.sh档案内容为:

#!/usr/bin/env bash

./gradlew clean bootRun

然而,这种显式化的命令却可以减少新人的恐惧感,因为他们只需要知道执行这3个命令就可以搞开发了。另外,一个小小的细节:本地构建的local-build.sh命令本来可以重新命名为更简单的build.sh,但是当我们在命令列中使用Tab键自动补全的时候,会发现自动补全到了build目录,而不是build.sh命令,并不方便,因此命名为了local-build.sh。细节虽小,但是却体现了一个宗旨,即我们希望给开发者一种极简的开发体验,我把这些看似微不足道的东西称作是对程序员的“人文关怀”。

Maven所提倡的目录结构当前已经成为事实上的行业标准,Gradle在预设情况下也采用了Maven的目录结构,这对于多数专案来说已经足够了。此外,除了Java程式码,专案中还存在其他型别的档案,比如Gradle外挂的配置、工具指令码和部署配置等。无论如何,专案目录结构的原则是简单而有条理,不要随意地增加多余的资料夹,并且也需要及时重构。

在示例专案中,顶层只有2个资料夹,一个是用于放置Java源代码和专案配置的src资料夹,另一个是用于放置所有Gradle配置的gradle资料夹,此外,为了方便开发人员使用,将上文提到的3个常用指令码直接放到根目录下:

└── order-backend

├── gradle // 资料夹,用于放置所有Gradle配置

├── src // 资料夹,Java源代码

├── idea.sh //生成IntelliJ工程

├── local-build.sh // 提交之前的本地构建

└── run.sh // 本地执行

对于gradle而言,我们刻意地将Gradle外挂指令码与外挂配置放到了一起,比如Checkstyle:

├── gradle

│ ├── checkstyle

│ │ ├── checkstyle.gradle

│ │ └── checkstyle.xml

事实上,在预设情况下Checkstyle外挂会从专案根目录下的config目录查询checkstyle.xml配置档案,但是这一方面增加了多余的资料夹,另一方面与该外挂相关的设施分散在了不同的地方,违背了广义上的内聚原则。

早年的Java分包方式通常是基于技术的,比如与domain包平级的有controller包、service包和infrastructure包等。这种方式当前并不被行业所推崇,而是应该首先基于业务分包。比如,在订单示例专案中,有两个重要的领域物件Order和Product(在DDD中称为聚合根),所有的业务都围绕它们展开,因此分别建立order包和product包,再分别在包下建立与之相关的各个子包。此时的order包如下:

├── order

│ ├── OrderApplicationService.java

│ ├── OrderController.java

│ ├── OrderNotFoundException.java

│ ├── OrderRepository.java

│ ├── OrderService.java

│ └── model

│ ├── Order.java

│ ├── OrderFactory.java

│ ├── OrderId.java

│ ├── OrderItem.java

│ └── OrderStatus.java

可以看到,在order包下我们直接放置了OrderController和OrderRepository等类,而没有必要再为这些类划分单独的子包。而对于领域模型Order来讲,由于包含了多个物件,因此基于内聚性原则将它们归到model包中。但是这并不是一个必须,如果业务足够简单,我们甚至可以将所有类直接放到业务包下,product包便是如此:

└── product

├── Product.java

├── ProductApplicationService.java

├── ProductController.java

├── ProductId.java

└── ProductRepository.java

在编码实践中,我们总是基于一个业务用例来实现程式码,在技术分包场景下,我们需要在分散的各包中来回切换,增加了程式码导航的成本;另外,程式码提交的变更内容也是散落的,在检视程式码提交历史时,无法直观的看出该次提交是关于什么业务功能的。在业务分包下,我们只需要在单个统一的包下修改程式码,减少了程式码导航成本;另外一个好处是,如果哪天我们需要将某个业务迁移到另外的专案(比如识别出了独立的微服务),那么直接整体移动业务包即可。

当然,基于业务分包并不意味着所有的程式码都必须囿于业务包下,这里的逻辑是:优先进行业务分包,然后对于一些不隶属于任何业务的程式码可以单独分包,比如一些util类、公共配置等。比如我们依然可以建立一个common包,下面放置了Spring公共配置、异常处理框架和日志等子包:

└── common

├── configuration

├── exception

├── loggin

└── utils

在当前的微服务和前后端分离的开发模式下,后端专案仅提供纯粹的业务API,而不包含UI逻辑,因此后端专案不会再包含诸如WebDriver的重量级端到端测试。同时,后端专案作为向外提供业务功能的独立执行单元,在API级别也应该有相应的测试。

此外,程式中有些框架性程式码,要么是诸如Controller之类的技术性框架程式码,要么是基于某种架构风格的程式码(比如DDD实践中的ApplicationService),这些程式码一方面并不包含业务逻辑,一方面是很薄的一个抽象层(即实现相对简单),用单元测试来覆盖显得没有必要,因此笔者的观点是可以不为此编写单独的单元测试。再者,程式中有些重要的元件性程式码,比如访问数据库的Repository或者分散式锁,使用单元测试实际上“测不到点上”,而使用API测试又显得在分类逻辑上不合理,为此我们可以专门建立一种测试型别谓之元件测试。

基于以上,我们可以对自动化测试做个分类:

Gradle在预设情况下只提供src/test/java目录用于测试,对于以上3种型别的测试,我们需要将它们分开以便于管理(也是职责分离的体现)。为此,可以通过Gradle提供的SourceSets对测试程式码进行分类:

sourceSets {

componentTest {

compileClasspath += sourceSets.main.output + sourceSets.test.output

runtimeClasspath += sourceSets.main.output + sourceSets.test.output

}

apiTest {

compileClasspath += sourceSets.main.output + sourceSets.test.output

runtimeClasspath += sourceSets.main.output + sourceSets.test.output

}

}

到此,3种型别的测试可以分别编写在以下目录:

需要注意的是,这里的API测试更多强调的是对业务功能的测试,有些专案中可能还会存在契约测试和安全测试等,虽然从技术上讲都是对API的访问,但是这些测试都是单独的关注点,因此建议分开对待。

值得一提的是,由于元件测试和API测试需要启动程式,也即需要准备好本地数据库,我们采用了Gradle的docker-compose外挂(或者jib外挂),该外挂会在执行测试之前自动执行Docker容器(比如MySQL):

apply plugin: 'docker-compose'

dockerCompose {

useComposeFiles = ['docker/mysql/docker-compose.yml']

}

bootRun.dependsOn composeUp

componentTest.dependsOn composeUp

apiTest.dependsOn composeUp

更多的测试分类配置细节,比如JaCoCo测试覆盖率配置等,请参考本文的示例专案程式码。对Gradle不熟悉的读者可以参考笔者的Gradle学习系列文章。

在日志处理中,除了完成基本配置外,还有2个需要考虑的点:

protected void doFilterInternal(HttpServletRequest request,

HttpServletResponse response,

FilterChain filterChain)

throws ServletException, IOException {

//request id in header may come from Gateway, eg. Nginx

String headerRequestId = request.getHeader(HEADER_X_REQUEST_ID);

MDC.put(REQUEST_ID, isNullOrEmpty(headerRequestId) ? newUuid() : headerRequestId);

try {

filterChain.doFilter(request, response);

} finally {

clearMdc();

}

}

ecommerce-order-backend-${ACTIVE_PROFILE}

elk.yourdomain.com

6379

whatever

ecommerce-ordder-log

true

redis

当然,统一日志的方案还有很多,比如Splunk和Graylog等。

在设计异常处理的框架时,需要考虑以下几点:

异常处理通常有两种形式,一种是层级式的,即每种具体的异常都对应了一个异常类,这些类最终继承自某个父异常;另一种是单一式的,即整个程式中只有一个异常类,再以一个字段来区分不同的异常场景。层级式异常的好处是能够显式化异常含义,但是如果层级设计不好可能导致整个程式中充斥着大量的异常类;单一式的好处是简单,而其缺点在于表意性不够。

本文的示例专案使用了层级式异常,所有异常都继承自一个AppException:

public abstract class AppException extends RuntimeException {

private final ErrorCode code;

private final Map data = newHashMap();

}

这里,ErrorCode列举中包含了异常的唯一标识、HTTP状态码以及错误资讯;而data字段表示各个异常的上下文资讯。

在示例系统中,在没有找到订单时丢掷异常:

public class OrderNotFoundException extends AppException {

public OrderNotFoundException(OrderId orderId) {

super(ErrorCode.ORDER_NOT_FOUND, ImmutableMap.of("orderId", orderId.toString()));

}

}

在返回异常给客户端时,通过一个ErrorDetail类来统一异常格式:

public final class ErrorDetail {

private final ErrorCode code;

private final int status;

private final String message;

private final String path;

private final Instant timestamp;

private final Map data = newHashMap();

}

最终返回客户端的资料为:

{

requestId: "d008ef46bb4f4cf19c9081ad50df33bd",

error: {

code: "ORDER_NOT_FOUND",

status: 404,

message: "没有找到订单",

path: "/order",

timestamp: 1555031270087,

data: {

orderId: "123456789"

}

}

}

可以看到,ORDER_NOT_FOUND与data中的资料结构是一一对应的,也即对于客户端来讲,如果发现了ORDER_NOT_FOUND,那么便可确定data中一定存在orderId字段,进而完成精确的结构化解析。

除了即时完成客户端的请求外,系统中通常会有一些定时性的例行任务,比如定期地向用户传送邮件或者执行资料报表等;另外,有时从设计上我们会对请求进行异步化处理。此时,我们需要搭建后台任务相关基础设施。Spring原生提供了任务处理(TaskExecutor)和任务计划(TaskSchedulor)机制;而在分散式场景下,还需要引入分散式锁来解决并发冲突,为此我们引入一个轻量级的分散式锁框架ShedLock。

启用Spring任务配置如下:

@Configuration

@EnableAsync

@EnableScheduling

public class SchedulingConfiguration implements SchedulingConfigurer {

@Override

public void configureTasks(ScheduledTaskRegistrar taskRegistrar) {

taskRegistrar.setScheduler(newScheduledThreadPool(10));

}

@Bean(destroyMethod = "shutdown")

@Primary

public TaskExecutor taskExecutor() {

ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();

executor.setCorePoolSize(2);

executor.setMaxPoolSize(5);

executor.setQueueCapacity(10);

executor.setTaskDecorator(new LogbackMdcTaskDecorator());

executor.initialize();

return executor;

}

}

然后配置Shedlock:

@Configuration

@EnableSchedulerLock(defaultLockAtMostFor = "PT30S")

public class DistributedLockConfiguration {

@Bean

public LockProvider lockProvider(DataSource dataSource) {

return new JdbcTemplateLockProvider(dataSource);

}

@Bean

public DistributedLockExecutor distributedLockExecutor(LockProvider lockProvider) {

return new DistributedLockExecutor(lockProvider);

}

}

实现后台任务处理:

@Scheduled(cron = "0 0/1 * * * ?")

@SchedulerLock(name = "scheduledTask", lockAtMostFor = THIRTY_MIN, lockAtLeastFor = ONE_MIN)

public void run() {

logger.info("Run scheduled task.");

}

为了支援程式码直接呼叫分散式锁,基于Shedlock的LockProvider建立DistributedLockExecutor:

public class DistributedLockExecutor {

private final LockProvider lockProvider;

public DistributedLockExecutor(LockProvider lockProvider) {

this.lockProvider = lockProvider;

}

public T executeWithLock(Supplier supplier, LockConfiguration configuration) {

Optional lock = lockProvider.lock(configuration);

if (!lock.isPresent()) {

throw new LockAlreadyOccupiedException(configuration.getName());

}

try {

return supplier.get();

} finally {

lock.get().unlock();

}

}

}

使用时在程式码中直接呼叫:

public String doBusiness() {

return distributedLockExecutor.executeWithLock(() -> "Hello World.",

new LockConfiguration("key", Instant.now().plusSeconds(60)));

}

本文的示例专案使用了基于JDBC的分散式锁,事实上任何提供原子操作的机制都可用于分散式锁,Shedlock还提供基于Redis、ZooKeeper和Hazelcast等的分散式锁实现机制。

除了Checkstyle统一程式码格式之外,专案中有些通用的公共的编码实践方式也需要在整个开发团队中进行统一,包括但不限于以下方面:

静态程式码检查主要包含以下Gradle外挂,具体配置请参考本文示例程式码:

– Checkstyle:用于检查程式码格式,规范编码风格

– Spotbugs:Findbugs的继承者

– Dependency check:OWASP提供的Java类库安全性检查

– Sonar:用于程式码持续改进的跟踪

健康检查主要用于以下场景:

此时,可以实现一个简单的API界面,该界面不受许可权管控,可以公开访问。如果该界面返回HTTP的200状态码,便可初步认为程式执行正常。此外,我们还可以在该API中加入一些额外的资讯,比如提交版本号、构建时间、部署时间等。

启动本文的示例专案:

./run.sh

然后访问健康检查API:http://localhost:8080/about,结果如下:

{

requestId: "698c8d29add54e24a3d435e2c749ea00",

buildNumber: "unknown",

buildTime: "unknown",

deployTime: "2019-04-11T13:05:46.901+08:00[Asia/Shanghai]",

gitRevision: "unknown",

gitBranch: "unknown",

environment: "[local]"

}

以上界面在示例专案中用了一个简单的Controller实现,事实上Spring Boot的Acuator框架也能够提供相似的功能。

软件档案的难点不在于写,而在于维护。多少次,当我对照着专案档案一步一步往下走时,总得不到正确的结果,问了同事之后得到回复“哦,那个已经过时了”。本文示例专案所采用的Swagger在一定程度上降低了API维护的成本,因为Swagger能自动识别程式码中的方法引数、返回物件和URL等资讯,然后自动地实时地创建出API档案。

配置Swagger如下:

@Configuration

@EnableSwagger2

@Profile(value = {"local", "dev"})

public class SwaggerConfiguration {

@Bean

public Docket api() {

return new Docket(SWAGGER_2)

.select()

.apis(basePackage("com.ecommerce.order"))

.paths(any())

.build();

}

}

启动本地专案,访问http://localhost:8080/swagger-ui.html:

在传统的开发模式中,数据库由专门的运维团队或者DBA来维护,要对数据库进行修改需要向DBA申请,告之迁移内容,最后由DBA负责数据库变更实施。在持续交付和DevOps运动中,这些工作逐步提前到开发过程,当然并不是说不需要DBA了,而是这些工作可以由开发者和运维人员一同完成。另外,在微服务场景下,数据库被包含在单个服务的边界之内,因此基于内聚性原则(咦,这好像是本文第三次提到内聚原则了,可见其在软件开发中的重要性),数据库的变更最好也与专案程式码一道维护在程式码库中。

本文的示例专案采用了Flyway作为数据库迁移工具,加入了Flyway依赖后,在src/main/sources/db/migration目录下建立迁移指令码档案即可:

resources/

├── db

│ └── migration

│ ├── V1__init.sql

│ └── V2__create_product_table.sql

迁移指令码的命名需要遵循一定的规则以保证指令码执行顺序,另外迁移档案生效之后不要任意修改,因为Flyway会检查档案的checksum,如果checksum不一致将导致迁移失败。

在软件的开发流程中,我们需要将软件部署到多个环境,经过多轮验证后才能最终上线。在不同的阶段中,软件的执行态可能是不一样的,比如本地开发时可能将所依赖的第三方系统stub掉;持续整合构建时可能使用的是测试用的内存数据库等等。为此,本文的示例专案推荐采用以下环境:

在前后端分离的系统中,前端单独部署,有时连域名都和后端不同,此时需要进行跨域处理。传统的做法可以通过JSONP,但这是一种比较“trick”的做法,当前更通用的实践是采用CORS机制,在Spring Boot专案中,启用CORS配置如下:

@Configuration

public class CorsConfiguration {

@Bean

public WebMvcConfigurer corsConfigurer() {

return new WebMvcConfigurer() {

@Override

public void addCorsMappings(CorsRegistry registry) {

registry.addMapping("/**");

}

};

}

}

对于使用Spring Security的专案,需要保证CORS工作于Spring Security的过滤器之前,为此Spring Security专门提供了相应配置:

@EnableWebSecurity

public class WebSecurityConfig extends WebSecurityConfigurerAdapter {

@Override

protected void configure(HttpSecurity http) throws Exception {

http

// by default uses a Bean by the name of corsConfigurationSource

.cors().and()

...

}

@Bean

CorsConfigurationSource corsConfigurationSource() {

CorsConfiguration configuration = new CorsConfiguration();

configuration.setAllowedOrigins(Arrays.asList("https://example.com"));

configuration.setAllowedMethods(Arrays.asList("GET","POST"));

UrlBasedCorsConfigurationSource source = new UrlBasedCorsConfigurationSource();

source.registerCorsConfiguration("/**", configuration);

return source;

}

}

这里列出一些比较常见的第三方库,开发者们可以根据专案所需引入:

本文通过一个示例专案谈及到了专案之初开发者搭建后端工程的诸多方面,其中的绝大多数实践均在笔者的专案中真实落地。读完本文之后你可能会发现,文中的很多内容都是很基础很简单的。没错,的确没有什么难的东西,但是要系统性地搭建好后端专案的基础框架却不见得是每个开发团队都已经做到的事情,而这恰恰是本文的目的。最后,需要提醒的是,本文提到的实践方式只是一个参考,一方面依然存在考虑不周的地方,另一方面示例专案中用到的技术工具还存在其他替代方案,请根据自己专案的实际情况进行取舍。

文/ThoughtWorks滕云

原文:https://insights.thoughtworks.cn/backend-development-iteration0/

更多精彩洞见,请关注公众号:ThoughtWorks洞见

文章标签: 报价宝 降噪耳机价格 耳机价格 红米手机价格 华为手机价格 小米手机价格 电视机价格 笔记本电脑价格 笔记本价格 汽车价格 手机价格 笔记本电脑价格 小米手机价格 耳机价格 降噪耳机价格