[使用 Namespace 进行资源隔离 ](https://www.lanqiao.cn/courses/608/learning/?id=2004) > 一、实验介绍实验内容 Docker 的本质是使用 LXC 实现类似虚拟机的功能，进而节省的硬件资源提供给用户更多的计算资源。本项目将 C++ 与 Linux 的 Namespace 及 Control Group 技术相结合，实现一个简易 Docker 容器。实验知识点 Linux 相关知识 : Namespace 、 Control Group Linux 系统调用 : clone() 、 chdir() 、 chroot() 、 sethostname() 、 mount() 、 execv() 、 …… C++ : namespace 、 lambda expression 、 C/C++ 混合编译代码获取这里是关于本课程所有的代码和文件, 不过希望读者能跟着文档一步一步实现 ``` wget http://labfile.oss.aliyuncs.com/courses/608/cppdocker.tar wget http://labfile.oss.aliyuncs.com/courses/608/docker-image.tar ``` 最终效果最后我们将为容器实现下面这些功能：独立的文件系统网络访问的支持容器资源的限制 ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660017787014) > 二、实验原理接下来，我们将讲解 Namespace 技术以及了解对系统调用封装的API。 2.1 Linux Namespace 技术在 C++ 中，我们知道有 namespace 这个关键字。在 C++ 中，每一个 namespace 对不同代码的相同名称进行了隔离，只要 namespace 的名称不同，就能够让 namespace 中的代码名称相同，从而解决了代码名称冲突的问题。而 Linux Namespace 则是 Linux 内核提供的一种技术，它为应用程序提供了一种资源隔离的方案，和 C++ 中的 namespace 有异曲同工之妙。我们知道，PID、IPC、网络等系统资源本应该属于操作系统本身进行管理，但 Linux Namespace 则可以让这些资源的全局性消失，让一部分属于某个特定的 Namespace。在 Docker 技术中，我们时常听说 LXC、操作系统级虚拟化这些名词，而 LXC 就是利用了 Namespace 这种技术实现了不同容器之前的资源隔离。利用 Namespace 技术，不同的容器内进程属于不同的 Namespace，彼此不相干扰。总的来说，Namespace 技术，提供了虚拟化的一种轻量级形式，使我们可以从不同方面来运行系统全局属性。在 Linux 中，和 Namespace 相关的系统调用最重要的就是 clone()。 clone() 的作用是在创建进程时，将线程限制在某个 Namespace 中。 2.2 对系统调用封装由于 Linux 系统调用都是由 C 语言写成的，我们要编写的是 C++ 相关的代码，为了让整套代码不是出于 C 和 C++ 混搭的风格，我们先对这些必要的 API 进行一层 C++ 形式的封装，同时也能更加深入的了解这些 API 的使用。本节实验中，我们将用到下面这些 API： 2.3 clone() clone 和 fork 两个系统调用的功能非常类似，他们都是 linux 提供的创建进程的系统调用。但 fork 只是 clone 的一个小部分，他们的区别就在于， clone 的函数原型如下： ``` int clone(int (*fn)(void *), void *child_stack, int flags, void *arg); ``` fork 在创建一个进程的时候，子进程会完全复制父进程的资源。而 clone 则比 fork 更加强大，因为 clone 可以有选择性的将父进程的资源复制给子进程，而没有复制的数据结构则通过指针的复制让子进程共享(arg)，具体要复制的资源，则可以通过 flags 进行指定，并返回子进程的 PID。我们知道，进程主要由四个要素组成：一段需要执行的程序、进程自己的专用堆栈空间、进程控制块（PCB）、进程专有的 Namespace. 前两点要素在 clone 中对应的参数很明显，分别为 fn 和 child_stack。而对于进程控制块来说，由内核控制我们不需要关心，因此，Namespace 就落在了 flags 的身上。我们要实现一个满足我们之前所定目标的 Docker 容器，需要的主要参数如下： Namespace 分类---系统调用参数 UTS---CLONE_NEWUTS Mount---CLONE_NEWNS PID---CLONE_NEWPID Network---CLONE_NEWNET 从名字可以看出，CLONE_NEWNS 提供了文件系统相关的挂载，用于复制和文件系统相关的资源，CLONE_NEWUTS 则提供了主机名相关的设置，CLONE_NEWPID 提供了独立的进程空间支持，而 CLONE_NEWNET 则提供了网络相关支持。 2.4 execv() ``` int execv(const char *path, char *const argv[]); ``` execv 可以通过传入一个 path 来执行 path 中的执行文件，这个系统调用可以让我们的子进程执行 /bin/bash 从而让整个容器保持运行。 2.5 sethostname() ``` int sethostname(const char *name, size_t len); ``` 从名字不难看出，这个系统调用能够设置我们的主机名，值得一提的是，由于 C 风格的字符串使用的是指针，不指定长度是无法直接从内部得知字符串长度的，这里 len 起到了获得字符串长度的作用。 2.6 chdir() ``` int chdir(const char *path); ``` 我们知道，任何一个程序，都会在某个特定的目录下运行。当我们需要访问资源时，就可以通过相对路径而不是绝对路径来访问相关资源。而 chdir 恰好提供给了我们一个便利之处，那就是可以改变我们程序的运行目录，从而达到某些不可描述的目的。 2.7 chroot() 这个系统调用能够用于设置根目录： ``` int chroot(const char *path); ``` 2.8 mount() 这个系统调用用于挂载文件系统，和 mount 这个命令能够达到相同的目的。 ``` int mount(const char *source, const char *target, const char *filesystemtype, unsigned long mountflags, const void *data); ``` > 三、实验步骤本节将通过实践操作，带领大家学习使用 Namespace 进行资源隔离。 3.1 创建容器子进程进入 /home/shiyanlou/Code 目录下创建 cpp-docker 文件夹，并在文件夹下新建 docker.hpp 文件，在其中我们首先创建一个名叫 docker 的命名空间，以供我们的外部代码进行调用。 ``` // // docker.hpp // cpp_docker // // created by changkun at shiyanlou.com // // 本节实验要用到的系统调用所在的头文件 #include // waitpid #include // mount #include // open #include // execv, sethostname, chroot, fchdir #include // clone // C 标准库 #include // C++ 标准库 #include // std::string #define STACK_SIZE (512 * 512) // 定义子进程空间大小 namespace docker { // ..docker 魔法开始的地方 } ``` 我们先定义一些增加可读性的变量： ``` // 在 namespace docker 内部定义 typedef int proc_statu; proc_statu proc_err = -1; proc_statu proc_exit = 0; proc_statu proc_wait = 1; ``` 在定义容器类之前，我们先分析一下定义一个容器需要哪些参数，在本节实验中，我们暂时不考虑网络相关的配置，那么，从一个镜像创建一个 Docker 容器，只需要指定主机名字、以及镜像的位置即可，因此： ``` // docker 容器启动配置 typedef struct container_config { std::string host_name; // 主机名 std::string root_dir; // 容器根目录 } container_config; ``` 下面我们来定义容器类 container，并让它在构造方法中完成对容器的相关配置： ``` class container { private: // 可读性增强 typedef int process_pid; // 子进程栈 char child_stack[STACK_SIZE]; // 容器配置 container_config config; public: container(container_config &config) { this->config = config; } }; ``` 在思考 container 类中的具体方法之前，我们先回过头来思考如何使用这个 container 类。为此，我们先在cpp-docker 文件夹下创建 main.cpp 文件： ``` // // main.cpp // cpp_docker // // created by changkun at shiyanlou.com // #include "docker.hpp" #include int main(int argc, char** argv) { std::cout << "...start container" << std::endl; docker::container_config config; // 配置容器 // ... docker::container container(config);// 根据 config 构造容器 container.start(); // 启动容器 std::cout << "stop container..." << std::endl; return 0; } ``` 在 main.cpp 中，为了让容器的启动变得简洁易懂，我们假设让容器通过一个 start() 方法启动，这就为我们后续编写 docker.hpp 提供了基础。现在我们回到 docker.hpp 中来，实现 start() 这个方法： ``` void start() { auto setup = [](void *args) -> int { auto _this = reinterpret_cast(args); // 对容器进行相关配置 // ... return proc_wait; }; process_pid child_pid = clone(setup, child_stack+STACK_SIZE, // 移动到栈底 SIGCHLD, // 子进程退出时会发出信号给父进程 this); waitpid(child_pid, nullptr, 0); // 等待子进程的退出 } ``` docker::container::start() 这个方法使用了 clone 这个 Linux 的系统调用，同时，为了让我们的回调函数 setup 顺利获取到我们的 docker::container 实例对象，可以通过 clone() 中的第四个参数进行传递，这里，我们传递了 this 指针。而对于 setup 而言，我们使用了 lambda 表达式创建 setup 这个回调函数。在 C++ 中，捕获列表为空的 lambda 表达式能够作为函数指针进行传递。因此，setup 也就成为了传递给 clone() 的回调函数。你可以不使用 lambda 表达式，但这时你必须在类中定义一个静态的成员函数，这会使得代码很不美观。在这个 container 这个类的构造函数中，我们定义了一个要被 clone() 系统调用所需要调用的子进程处理函数，这个函数的返回值被我们使用了 typedef 改写为了 proc_statu，当这个函数返回 proc_wait 时，就会让 clone 后的子进程等待到结束时再退出。这还不够，因为我们还没有在进程中进行任何配置，可想而知，当这个进程启动后，由于什么事情都没有做就直接返回了，我们的程序也就会立即退出。我们知道，在 Docker 中，为了让一个容器保持运行状态，我们可以使用： ``` docker run -it ubuntu:14.04 /bin/bash ``` 将 STDIN 绑定到容器的 /bin/bash 中，所以我们可以给 docker::container 类编写一个 start_bash()： ``` private: void start_bash() { // 将 C++ std::string 安全的转换为 C 风格的字符串 char * // 从 C++14 开始, C++编译器将禁止这种写法 `char *str = "test";` std::string bash = "/bin/bash"; char *c_bash = new char[bash.length()+1]; // +1 用于存放 '\0' strcpy(c_bash, bash.c_str()); char* const child_args[] = { c_bash, NULL }; execv(child_args[0], child_args); // 在子进程中执行 /bin/bash delete []c_bash; } ``` 并在 setup 中调用： ``` auto setup = [](void *args) -> int { auto _this = reinterpret_cast(args); _this->start_bash(); return proc_wait; } ``` 这时，我们可以看到如下所示的操作： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033195004) 在上面的操作中，我们首先查看了当前的 hostname，并编译我们目前为止编写的代码，运行，并进入了我们的容器。可以看到，进入容器后，bash 的显示发生了变化，这和我们的目的是一致的。但是，很容易发现，这并不是我们想要的结果，因为这简直就和我们的宿主机一模一样，在这个『容器』里的操作会直接影响到宿主机。这时，我们就要在 clone 这个 API 中引入需要的 Namespace 了。 3.2 使容器具备自己的主机名在前面关于系统调用中已经说过了很简单，通过系统调用设置子进程的 hostname 只需要一句话，于是我们为 docker::container 这个类创建一个私有方法： ``` private: // 设置容器主机名 void set_hostname() { sethostname(this->config.host_name.c_str(), this->config.host_name.length()); } ``` 并将 start()，更改为： ``` void start() { auto setup = [](void *args) -> int { auto _this = reinterpret_cast(args); // 对容器进行相关配置 _this->set_hostname(); _this->start_bash(); return proc_wait; }; process_pid child_pid = clone(setup, child_stack+STACK_SIZE, CLONE_NEWUTS| // 添加 UTS namespace SIGCHLD, // 子进程退出时会发出信号给父进程 this); waitpid(child_pid, nullptr, 0); // 等待子进程的退出 } ``` 并在 main.cpp 中配置 hostname 的名字： ``` int main(int argc, char** argv) { std::cout << "...start container" << std::endl; docker::container_config config; config.host_name = "shiyanlou"; …… ``` 这时，我们再重新编译： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033321053) 容易发现，我们的容器直接就退出了，这是因为当引入了 Namespace 后，我们的程序就需要超级用户权限的支持了，因此，我们在执行程序前加入 sudo： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033402569) 然而这还远远达不到容器的效果，因为我们通过 ls 可以看到，我们依然能访问宿主机的目录。 3.3 使容器具备自己的文件系统在 Docker 技术中，容器是基于镜像进行创建的。既然我们要实现容器，自然也不例外的要基于镜像进行创建，好在我们已经给你准备好了 Docker 镜像，你可以从： ``` wget http://labfile.oss.aliyuncs.com/courses/608/docker-image.tar ``` 如果上面的链接长时间没有响应，你还可以从下面的链接获取： ``` wget http://labfile-10066424.cos.myqcloud.com/docker-image.tar ``` ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033491697) 中下载，然后解压他们到 ./shiyanlou 文件夹(先用 mkdir 创建好)下： ``` tar -xf docker-image.tar --directory shiyanlou/ ``` ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033540678) 这里会遇到一些提取错误，这是因为在实验楼环境中，有些文件是被禁止创建到外部的，这不影响我们实现自己的容器，直接无视就好。此外，如果你保存的环境中装好了 docker，那么你可以使用 docker pull 来下载一个镜像。解压完成后，我们就能够看到在 ./shiyanlou 下面有一个差不多还算完整的 Linux 目录了： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033645788) 现在，我们让 docker::container 在启动的时，就进入到这个目录下，并以这个目录为根目录，屏蔽掉子进程对外的访问： ``` private: // 设置根目录 void set_rootdir() { // chdir 系统调用, 切换到某个目录下 chdir(this->config.root_dir.c_str()); // chrrot 系统调用, 设置根目录, 因为刚才已经切换过当前目录 // 故直接使用当前目录作为根目录即可 chroot("."); } ``` 然后在 main.cpp 中填写好相关配置： ``` #include "docker.hpp" #include int main(int argc, char** argv) { std::cout << "...start container" << std::endl; docker::container_config config; config.host_name = "shiyanlou"; config.root_dir = "./shiyanlou"; …… ``` 并在 clone() 这个调用里启用 CLONE_NEWNS 来开启 Mount Namespace： ``` void start() { auto setup = [](void *args) -> int { auto _this = reinterpret_cast(args); _this->set_hostname(); _this->set_rootdir(); _this->start_bash(); return proc_wait; }; process_pid child_pid = clone(setup, child_stack+STACK_SIZE, CLONE_NEWUTS| // UTS namespace CLONE_NEWNS| // Mount namespace SIGCHLD, // 子进程退出时会发出信号给父进程 this); waitpid(child_pid, nullptr, 0); // 等待子进程的退出 } ``` 这时，我们再重新编译： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033760275) 透过 ls 便能看到这个子进程已经生活在了一个完整的 linux 目录下了。 3.4 使容器具备自己的进程系统但这还是有问题，如果我们使用 ps、top 这样的命令，仍然能够观察到父进程中的全部进程，这不是我们想要的效果，比如我们能够看到 a.out 在 ps 的输出中，而且进程 ID 的数值也很大： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033847981) 为了解决这个问题，我们还需要引入 PID Namespace 来隔离子进程和父进程他们的 PID 空间。 ``` private: // 设置独立的进程空间 void set_procsys() { // 挂载 proc 文件系统 mount("none", "/proc", "proc", 0, nullptr); mount("none", "/sys", "sysfs", 0, nullptr); } ``` 同样，我们依然需要在 start() 里面增加这部分内容，引入 CLONE_NEWPID ： ``` void start() { auto setup = [](void *args) -> int { auto _this = reinterpret_cast(args); _this->set_hostname(); _this->set_rootdir(); _this->set_procsys(); _this->start_bash(); return proc_wait; }; process_pid child_pid = clone(setup, child_stack, CLONE_NEWUTS| // UTS namespace CLONE_NEWNS| // Mount namespace CLONE_NEWPID| // PID namespace SIGCHLD, // 子进程退出时会发出信号给父进程 this); waitpid(child_pid, nullptr, 0); // 等待子进程的退出 } ``` 这时，我们再重新编译运行，便能够看到： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660033943298) 这个容器已经具有独立的进程空间了，并且不会出现其他的问题。 > 四、总结本节我们使用了 Linux 中的 Namespace 技术，对子进程中的资源进行了简单的隔离，让我们子进程中的『Docker』容器具备了自己的进程空间以及自己的文件系统。但现在我们的容器还不能够访问网络，而且使用 ifconfig 甚至能够访问到宿主机的网络设备： ![图片描述](https://dn-simplecloud.shiyanlou.com/courses/uid1516197-20220809-1660034567678) 这也不是我们想要的。那么，在下一节实验中，我们将进一步让这个容器变得更像一个完整的容器，对其提供网络访问的相关支持。

“C++ 实现简易 Docker 容器”实验报告