项目信息
为何要开发一款新的测试框架
目前业界主流的测试框架，Catch2, doctest, Boost.Test, cpputest 功能完善成熟，基本满足大多数应用场景。glog ，spdlog 等日志库使用也很简便。但这其中还存在一些问题：
1. 泛型打印支持
以上主流框架对任意类型数据的打印支持不够，大多数测试框架，断言库，日志库，大多缺乏泛型打印支持，对于容器和用户自定义类型缺乏直接打印的能力，ZeroErr 解决了这一问题。
TEST_CASE("Try logging") {
std::vector<int> data = {1, 2, 3};
LOG_IF(1 == 1, "data = {data}", data);
}
类似于其他 C++单元测试框架，ZeroErr 可以将这段宏注册的单元测试代码编译成自动运行的函数，执行后结果如下，这里我们无需定义任何规则，就可以使用 LOG 宏打印vector模板：
对于带有 std::ostream& operator<<(std::ostream&, Type) 流输出重载的自定义类型，可以不加修改直接打印。并且还支持容器类型的嵌套。
struct Node {
std::string name;
int id;
};
std::ostream& operator<<(std::ostream& out, Node n) {
out << n.id << '.' << n.name;
return out;
}
TEST_CASE("Try logging with custom type") {
std::map<std::string, std::vector<Node>> data = {
{"user1", {{"a",1}, {"b",2}}}, {"user2", {{"c",3}, {"d",4}}}
};
LOG("data = {data}", data);
}
当然，很多情况下，第三方库并没有重载我们预期的<<操作符。对于较复杂的情况，我们可以编写泛型打印函数来处理，这大大增强了系统对不同接口的处置能力。例如，我们对这个 LLVM 的 llvm::Function* 类型，可以使用如下方式用dbg函数打印，这里dbg类似于 rust 的dbg宏，用来快速打印检查任意类型，并且可以嵌套使用：
namespace zeroerr { // must defined in namespace zeroerr
template <typename T>
typename std::enable_if<
std::is_base_of<llvm::Value, T>::value || std::is_base_of<llvm::Type, T>::value, void>::type
PrinterExt(Printer& P, T* s, unsigned level, const char* lb, rank<2>) {
if (s == nullptr) {
P.os << P.tab(level) << "nullptr" << lb;
} else {
llvm::raw_os_ostream os(P.os);
s->print(os);
}
}
}
TEST_CASE("customize printing of LLVM pointers") {
llvm::LLVMContext context;
std::vector<llvm::Type*> args = {llvm::Type::getInt32Ty(context)};
llvm::Module* module = new llvm::Module("test_module", context);
auto* f =
llvm::Function::Create(llvm::FunctionType::get(llvm::Type::getVoidTy(context), args, false),
llvm::GlobalValue::ExternalLinkage, "test", module);
dbg(dbg(f)->getType());
}
这个泛型函数会匹配所有基类为Value和Type的 llvm 类，然后打印时创建一个llvm::raw_os_ostream输出流，并对其进行调用print方法打印。
2. 断言、日志、单元测试的联合使用
对于使用多个不同的库实现上述功能，断言、日志、单元测试的各种功能无法协同使用。而在 ZeroErr 中，断言出错时，可以被日志系统捕获，可以输出到文件中保存，断言在单元测试中，可以被报告系统记录，并在最终输出中统计共有哪些断言失败。上述功能可以联合使用，也可以单独使用某一项，用法非常灵活。
int fib(int n) {
REQUIRE(n >= 0, "n must be non-negative");
REQUIRE(n < 20, "n must be less than 20");
if (n <= 2) {
return 1;
}
return fib(n - 1) + fib(n - 2);
}
TEST_CASE("fib function test") {
CHECK(fib(0) == 0);
CHECK(fib(1) == 1);
CHECK(fib(2) == 1);
CHECK(fib(3) == 2);
CHECK(fib(4) == 3);
CHECK(fib(5) == 5);
CHECK(fib(20) == 6765);
}
更进一步，单元测试甚至可以通过比较 log 结果是否与之前正确的结果相同，从而避免很多复杂的单元测试编写，粗略检查代码的正确性。
TEST_CASE("match ostream") {
// match output can be done in the following workflow
// 1. user mark the test case which are comparing output use 'have_same_output'
// 2. If the output is not exist, the result has been used as a correct verifier.
// 3. If the output is exist, compare with it and report error if output is not match.
std::cerr << "a = 100" << std::endl;
ZEROERR_HAVE_SAME_OUTPUT;
}
通过设置 ZEROERR_HAVE_SAME_OUTPUT 宏，系统会自动检查该测试点的 output stream 输出，第一次执行时的结果会自动保存起来，而之后每次执行，都会将输出与第一次输出进行对比，相同则正确，否则该点错误。用户可以第一次手动观察输出是否符合预期，若是修改了实现后，想清除保存的结果，只需要将测试目录下的 output.txt 缓存文件删除即可。(目前仍是实验功能)
最后，对于日志系统，单元测试不但能够访问日志数据，以确保函数按照预期逻辑执行出来了结果。 还可以在逻辑出错时，自动捕获函数中的断言和相关打印信息，以便于后续的调试。
118 static void function() {
119 LOG("function log {i}", 1);
120 LOG("function log {sum}, {i}", 10, 1);
121 }
...
TEST_CASE("access log in Test case") {
zeroerr::suspendLog();
function();
CHECK(LOG_GET(function, 119, i, int) == 1);
CHECK(LOG_GET(function, 120, sum, int) == 10);
CHECK(LOG_GET(function, 120, i, int) == 1);
zeroerr::resumeLog();
}
为了访问 log ，我们首先要暂停 log 系统，避免数据被输出到文件中，然后调用函数，通过LOG_GET宏访问 log 中的数据，最后再恢复 log 系统的运行。(目前，暂时仅能获取到每个 Log 点第一次调用的数据，仍是实验功能)。
3. Fuzzing 的支持
大多数单元测试框架不支持 fuzzing 。然而，Fuzzing 功能强大，可以自动检测软件中的错误，并且可以大大减少编写测试用例的工作量。
不同于其他 fuzzing 框架，zeroerr可以支持在代码中使用日志和断言，因此 fuzzing 的结果不仅包含了输入数据，还包含了日志和断言的信息。
使用方法：
FUZZ_TEST_CASE("fuzz_test") {
LOG("Run fuzz_test");
FUZZ_FUNC([=](int k, std::string num) {
int t = atoi(num.c_str());
LOG("k: {k}, num:{num}, t: {t}", k, num, t);
REQUIRE(k == t);
})
.WithDomains(InRange<int>(0, 10), Arbitrary<std::string>())
.WithSeeds({{5, "Foo"}, {10, "Bar"}})
.Run(10);
}
受到 fuzztest的启发，我们使用 Domain 这个概念，用于指定目标函数的输入数据范围（或模式）。在这里，我们使用 InRange 来指定 k 的范围是 0 到 10 ，使用 Arbitrary 来指定 num 的数据可以是任意随机字符串。然后，我们使用 WithSeeds 来指定 fuzzing 的初始种子。最后，我们使用 Run 来指定 fuzzing 的次数。
宏 FUZZ_TEST_CASE 会生成一个测试用例，可以连接到 libFuzzer 来运行 fuzzing 。最后，我们使用 Run(10) 来调用 libFuzzer 来运行目标 10 次。
为了构建带有 fuzzing 的测试用例，您需要使用 clang++ 编译代码，并使用 -fsanitize=fuzzer-no-link 并链接 -lclang_rt.fuzzer_no_main-x86_64，这是一个没有 main 函数的 libFuzzer 版本。您可以通过调用 clang++ -print-runtime-dir 来找到这个运行时库。以下是带有 fuzzing 支持的测试用例的完整构建命令：
clang++ -std=c++11 -fsanitize=fuzzer-no-link -L=`clang++ -print-runtime-dir` -lclang_rt.fuzzer_no_main-x86_64 -o test_fuzz test_fuzz.cpp
目前尚无回复
Select Language