Tengine Convert Tools代码走读-图优化篇

最新推荐文章于 2025-07-09 10:45:13 发布

原创

最新推荐文章于 2025-07-09 10:45:13 发布 · 998 阅读

本文详细解析了Tengine框架中的图优化过程，包括Serialize优化和Device优化两大环节，揭示了其转换模型、优化图结构的具体步骤和技术细节。

为了与TVM进行对比，笔者决定同时看一下Tengine是如何做的。首先还是从图优化入手。

Tengine的整体架构

Tengine整体代码架构
根据架构以及代码发现，Tengine将模型转换分离出来了，叫做Tengine-Convert-Tools
Tengine-Convert-Tools Github
有一说一，看的出来，Tengine的开发团队应该不是特别多，时间紧任务重，几乎所有的函数都没有注释（同时也没文档），虽然靠函数名也能猜出来，但是对于刚开始看的同学来说确实不太友好，对比来说，TVM或者任何其他的框架都做的要好很多。当然，baipiao就别有这么多想法了额。

Tengine Convert Tools

这个工具的功能也很简单，可以理解成onnx吧，作为一个中间键，后续Tengine的前端只需要解析tmfile就ok了。
我们还是看一下它做的图优化吧，

Tengine 图优化

Convert Tools的目的就是将原来框架的graph转换成Tengine的stactic graph。
基于此，Convert Tools中的图优化可以分为两个部分，

1. Serialize 优化

这一步是在由model创建graph的时候完成的。

graph = create_graph(nullptr, file_format.c_str(), model_file.c_str());

在create_graph函数中会调用：

vload_file_model(exec_context, model_name.c_str(), model_format, fname, argp)

其中，model_format代表转换的哪个框架，例如tf，onnx；fname代表转换的模型的名称，例如xxx.pb；model_name代表转换后的static graph的名字。
一直往下走的时候，一直到real load函数，才是根据不同的model_format来进行调用具体的load函数的。

static int real_vload_model(context_t exec_context, const char* model_name, const char* model_format, const void* addr,
                            int mem_size, va_list argp)
{
   
   
    SerializerPtr serializer;

    if (!SerializerManager::SafeGet(model_format, serializer))
    {
   
   
        /* try to load from plugin */
        std::string plugin_fname = std::string("lib") + model_format + "-serializer.so";
        std::string plugin_init_func = std::string(model_format) + "_plugin_init";
        if (load_tengine_plugin(model_format, plugin_fname.c_str(), plugin_init_func.c_str()) < 0)
        {
   
   
            LOG_ERROR() << "Get serializer failed, unknown model format: " << model_format << "\n";
            set_tengine_errno(ENOENT);
            return -1;
        }

        SerializerManager::SafeGet(model_format, serializer);
    }

    StaticGraph* static_graph = CreateStaticGraph(model_name);
    std::cout << "[step] [Test 2.2]" << std::endl;
    static_graph->exec_context = exec_context;

    int saved_file_number = serializer->GetFileNum();

    if (mem_size == 0)    // file mode
    {
   
   
        std::vector<std::string> file_list;
        file_list.push_back(( const char* )addr);

        for (int i = 1; i < saved_file_number; i++)
        {
            const char* file = va_arg(argp, const char*);
            file_list.emplace_back(file);
        }

        if (!serializer->LoadModel(file_list, static_graph) || !CheckGraphIntegraity(static_graph))
        {
   
   
            delete static_graph;
            return -1;
        }
    }
    else
    {
   
   
        std::vector<const void*> addr_list;
        std::vector<int> size_list;

        addr_list.push_back(addr);
        size_list.push_back