网站主机多少钱,常州做网站公司有哪些,wap网站psd,sem是什么设备啊我摔倒了..有没有人扶我起来学习.... #x1f471;个人主页#xff1a; 《 C G o d 的个人主页》 \color{Darkorange}{《CGod的个人主页》} 《CGod的个人主页》交个朋友叭~ #x1f492;个人社区#xff1a; 《编程成神技术交流社区》 \color{Darkorange}{《编程成神技术… 啊我摔倒了..有没有人扶我起来学习.... 个人主页 《 C G o d 的个人主页》 \color{Darkorange}{《CGod的个人主页》} 《CGod的个人主页》交个朋友叭~ 个人社区 《编程成神技术交流社区》 \color{Darkorange}{《编程成神技术交流社区》} 《编程成神技术交流社区》加入我们一起高效学习收割好Offer叭~ 刷题链接 《 L e e t C o d e 》 \color{Darkorange}{《LeetCode》} 《LeetCode》快速成长的渠道哦~ 目录 前言一、所用技术与开发环境二、项目介绍三、项目开始3.1 compile_server的设计3.1.1 complier编译功能3.1.2 runner运行功能3.1.3 complie_run编译运行功能3.1.4 compile_server调用以上功能3.1.5 使用Postman调试compile_server功能 3.2 基于MVC 结构的oj 服务设计3.2.1 用户请求的服务路由功能3.2.2 model功能提供对数据的操作3.2.3 control功能逻辑控制模块3.3.3 view功能网页渲染模块 前言
本项目实现一个类似 leetcode 的题目列表在线编程功能的负载均衡式在线OJ服务 一、所用技术与开发环境
所用技术: C STL 标准库Boost 准标准库(字符串切割)cpp-httplib 第三方开源网络库ctemplate 第三方开源前端网页渲染库jsoncpp 第三方开源序列化、反序列化库负载均衡设计多进程、多线程MySQL C connectAce前端在线编辑器(了解)html/css/js/jquery/ajax (了解) 开发环境 Centos 7 云服务器vscodeMysql Workbench
二、项目介绍 项目核心是三个模块 comm公共模块compile_server编译与运行模块oj_server获取题目列表查看题目编写题目界面负载均衡其他功能 项目宏观结构 编写思路 compile_serveroj_serverversion1 ——基于文件版的在线OJ前端的页面设计version2 ——基于 MySQL 版的在线OJ
三、项目开始
3.1 compile_server的设计
提供的服务编译并运行代码得到格式化的相关的结果
3.1.1 complier编译功能
compile_server/compiler.hpp
namespace ns_compiler
{using namespace ns_util;using namespace ns_log;class Compiler{public:// 返回值编译成功true否则false// 输入参数编译的文件名// file_name: 1234// 1234 - ./temp/1234.cpp// 1234 - ./temp/1234.exe// 1234 - ./temp/1234.stderrstatic bool Compile(const std::string file_name){pid_t pid fork();if (pid 0){logMessage(ERROR, 内部错误创建子进程失败...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));return false;}else if (pid 0){umask(0);int _complie_stderr_fd open(PathUtil::CompilerError(file_name).c_str(), O_CREAT | O_WRONLY, 0644);if (_complie_stderr_fd 0){logMessage(FATAL, 没有成功形成stderr文件...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));exit(1);}// 重定向标准错误到_complie_stderr_fddup2(_complie_stderr_fd, 2);// 程序替换并不影响进程的文件描述符表// 子进程: 调用编译器完成对代码的编译工作// g -o target src -stdc11execlp(g, g, -o, PathUtil::Exe(file_name).c_str(), PathUtil::Src(file_name).c_str(), -stdc11, -D, COMPILER_ONLINE, nullptr);logMessage(FATAL, 启动编译器g失败可能是参数错误...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));exit(2);}else{waitpid(pid, nullptr, 0);// 编译是否成功,就看有没有形成对应的可执行程序if (FileUtil::IsFileExists(PathUtil::Exe(file_name))){logMessage(NORMAL, 编译成功);return true;}logMessage(ERROR, 编译失败没有形成可执行程序...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));return false;}}};
}comm/log.hpp
namespace ns_log
{#define DEBUG 0#define NORMAL 1#define WARNING 2#define ERROR 3#define FATAL 4static const char *gLevelMap[] {DEBUG,NORMAL,WARNING,ERROR,FATAL};static void logMessage(int level, const char *format, ...){time_t timeStamp time(nullptr);char stdBuffer[1024];snprintf(stdBuffer, sizeof stdBuffer, [%s] [%ld], gLevelMap[level], timeStamp);va_list arg;va_start(arg, format);char usrBuffer[1024];vsnprintf(usrBuffer, sizeof stdBuffer, format, arg);va_end(arg);printf(%s %s\n, stdBuffer, usrBuffer);}
}comm/util.hpp新增的接口有
namespace ns_util
{const std::string temp_name ./temp/;class PathUtil{public:static std::string AddSuffix(const std::string file_name, const std::string suffix){std::string path_name temp_name;path_name file_name;path_name suffix;return path_name;}// 1.编译时需要有的临时文件// 1.1构建源文件路径后缀的完整文件名static std::string Src(const std::string file_name){return AddSuffix(file_name, .cpp);}// 1.2构建可执行程序的完整路径后缀名static std::string Exe(const std::string file_name){return AddSuffix(file_name, .exe);}// 1.3构建编译错误时的完整路径后缀名static std::string CompilerError(const std::string file_name){return AddSuffix(file_name, .compile_error);}};class FileUtil{public:static bool IsFileExists(const std::string path_name){struct stat st;return stat(path_name.c_str(), st) 0;}};
}3.1.2 runner运行功能
其中我们需要引入资源限制功能来限制用户提交的代码运行的占用时间和占用空间分别测试一下时间资源限制和空间资源限制
test.cc
#includeiostream
#includesys/time.h
#includesys/resource.hint main()
{// 限制累计运行时长struct rlimit r;r.rlim_cur 1; // 软限制设置为1秒r.rlim_max RLIM_INFINITY; // 硬限制限制软限制的上限这里设为无穷即可setrlimit(RLIMIT_CPU, r);while(1);// 限制累计运行空间struct rlimit r;r.rlim_cur 1024 * 1024 * 20; // 软限制设置为20Mr.rlim_max RLIM_INFINITY; // 硬限制限制软限制的上限这里设为无穷即可setrlimit(RLIMIT_AS, r);int count 0;while(1){int *p new int[1024 * 1024];count;std::cout size: count std::endl;sleep(1);}return 0;
}测试结果(进程分别收到24号信号SIGXCPU和6号信号SIGABRT而终止) 编写运行功能
compile_server/runner.hpp
namespace ns_runner
{using namespace ns_util;using namespace ns_log;class Runner{public:// 提供设置进程占用资源大小的接口static void SetProcLimit(int _cpu_limit, int _mem_limit){// 设置CPU时长struct rlimit cpu;cpu.rlim_cur _cpu_limit;cpu.rlim_max RLIM_INFINITY;setrlimit(RLIMIT_CPU, cpu);// 设置内存大小struct rlimit mem;mem.rlim_cur _mem_limit * 1024; // 转化成为KBmem.rlim_max RLIM_INFINITY;setrlimit(RLIMIT_AS, mem);}// 指明文件名即可不需要代理路径不需要带后缀/******************************************** 返回值 0: 程序异常了退出时收到了信号返回值就是对应的信号编号* 返回值 0: 正常运行完毕的结果保存到了对应的临时文件中* 返回值 0: 内部错误** cpu_limit: 该程序运行的时候可以使用的最大cpu资源上限* mem_limit: 改程序运行的时候可以使用的最大的内存大小(KB)* *****************************************/static int Run(const std::string file_name, int _cpu_limit, int _mem_limit){/********************************************** 程序运行* 1. 代码跑完结果正确* 2. 代码跑完结果不正确* 3. 代码没跑完异常了* Run需要考虑代码跑完结果正确与否吗不考虑* 结果正确与否是由我们的测试用例决定的* 我们只考虑是否正确运行完毕** 我们必须知道可执行程序是谁* 一个程序在默认启动的时候* 标准输入: 不处理* 标准输出: 程序运行完成输出结果是什么* 标准错误: 运行时错误信息* *******************************************/std::string _execute PathUtil::Exe(file_name);std::string _stdin PathUtil::Stdin(file_name);std::string _stdout PathUtil::Stdout(file_name);std::string _stderr PathUtil::Stderr(file_name);umask(0);int _stdin_fd open(_stdin.c_str(), O_CREAT | O_RDONLY | O_TRUNC, 0644);int _stdout_fd open(_stdout.c_str(), O_CREAT | O_WRONLY | O_TRUNC, 0644);int _stderr_fd open(_stderr.c_str(), O_CREAT | O_WRONLY | O_TRUNC, 0644);if (_stdin_fd 0 | _stdout_fd 0 | _stderr_fd 0){logMessage(FATAL, 运行时打开标准文件失败...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));return -1; // 代表打开文件失败}pid_t pid fork();if (pid 0){logMessage(FATAL, 运行时创建子进程失败...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));close(_stdin_fd);close(_stdout_fd);close(_stderr_fd);return -2; // 代表创建子进程失败}else if (pid 0){dup2(_stdin_fd, 0);dup2(_stdout_fd, 1);dup2(_stderr_fd, 2);execl(_execute.c_str() /*我要执行谁*/, _execute.c_str() /*我想在命令行上如何执行该程序*/, nullptr);exit(1);}else{close(_stdin_fd);close(_stdout_fd);close(_stderr_fd);int status 0;waitpid(pid, status, 0);// 程序运行异常一定是因为因为收到了信号logMessage(NORMAL, 运行完毕...info: %d | [%s][%d]: %s, status 0x7F, __FILE__, __LINE__, strerror(errno));return status 0x7F;}}};
}comm/util.hpp新增的接口有
namespace ns_util
{class PathUtil{public:// 2.运行时需要的临时文件// 2.1构建该程序对应的标准输入完整的路径后缀名static std::string Stdin(const std::string file_name){return AddSuffix(file_name, .stdin);}// 2.2构建该程序对应的标准输出完整的路径后缀名static std::string Stdout(const std::string file_name){return AddSuffix(file_name, .stdout);}// 2.3构建该程序对应的标准错误完整的路径后缀名static std::string Stderr(const std::string file_name){return AddSuffix(file_name, .stderr);}};
}3.1.3 complie_run编译运行功能
首先引入一下jsoncpp功能用于数据的序列化和反序列化测试一下jsoncpp的使用 test.cc
#includeiostream
#includestring
#includejsoncpp/json/json.hint main()
{// 序列化// 将结构化数据转化为字符串// value 是一个json的中间类 可以填充kv值Json::Value root;root[code] mycode;root[user] bobo;root[age] 27;// Json::FastWriter writer;Json::StyledWriter writer;std::string str writer.write(root);std::cout str std::endl;return 0;
}测试结果 编写编译运行功能
complie_server/compile_run.hpp
namespace ns_compile_and_run
{using namespace ns_compiler;using namespace ns_runner;using namespace ns_log;using namespace ns_util;class CompileAndRun{public:static void RemoveTempFile(const std::string file_name){//清理文件的个数是不确定的但是有哪些我们是知道的std::string _src PathUtil::Src(file_name);if(FileUtil::IsFileExists(_src)) unlink(_src.c_str());std::string _compiler_error PathUtil::CompilerError(file_name);if(FileUtil::IsFileExists(_compiler_error)) unlink(_compiler_error.c_str());std::string _execute PathUtil::Exe(file_name);if(FileUtil::IsFileExists(_execute)) unlink(_execute.c_str());std::string _stdin PathUtil::Stdin(file_name);if(FileUtil::IsFileExists(_stdin)) unlink(_stdin.c_str());std::string _stdout PathUtil::Stdout(file_name);if(FileUtil::IsFileExists(_stdout)) unlink(_stdout.c_str());std::string _stderr PathUtil::Stderr(file_name);if(FileUtil::IsFileExists(_stderr)) unlink(_stderr.c_str());}// code 0 : 进程收到了信号导致异常奔溃// code 0 : 整个过程非运行报错(代码为空编译报错等)// code 0 : 整个过程全部完成static std::string CodeToDesc(int status_code, const std::string file_name){std::string desc;switch (status_code){case 0:desc 编译运行成功;break;case -1:desc 提交的代码是空;break;case -2:desc 未知错误;break;case -3:// desc 代码编译的时候发生了错误;FileUtil::ReadFile(PathUtil::CompilerError(file_name), desc, true);break;case SIGABRT: // 6desc 内存超过范围;break;case SIGXCPU: // 24desc CPU使用超时;break;case SIGFPE: // 8desc 浮点数溢出;break;default:desc 未知: std::to_string(status_code);break;}return desc;}/**************************************** 输入:* code 用户提交的代码* input: 用户给自己提交的代码对应的输入不做处理* cpu_limit: 时间要求* mem_limit: 空间要求** 输出:* 必填* status: 状态码* reason: 请求结果* 选填* stdout: 我的程序运行完的结果* stderr: 我的程序运行完的错误结果** 参数* in_json: {code: #include..., input: ,cpu_limit:1, mem_limit:10240}* out_json: {status:0, reason:,stdout:,stderr:,}* ************************************/static void start(const std::string in_json, std::string *out_json){Json::Value in_value;Json::Reader reader;reader.parse(in_json, in_value);std::string code in_value[code].asString();std::string input in_value[input].asString();int cpu_limit in_value[cpu_limit].asInt();int mem_limit in_value[mem_limit].asInt();std::string file_name; // 需要内部形成的唯一文件名int status_code 0;int run_result 0;Json::Value out_value;if (code.size() 0){status_code -1; // 代码为空goto END;}// 形成的文件名只具有唯一性没有目录没有后缀// 毫秒级时间戳原子性递增唯一值: 来保证唯一性file_name FileUtil::UniqFileName();// 形成临时src文件if (!FileUtil::WriteFile(PathUtil::Src(file_name), code)){status_code -2; // 未知错误goto END;}if (!Compiler::Compile(file_name)){// 编译失败status_code -3; // 代码编译的时候发生了错误goto END;}run_result Runner::Run(file_name, cpu_limit, mem_limit);if (run_result 0){status_code -2; // 未知错误}else if (run_result 0){status_code run_result; // 程序运行崩溃了}else{status_code 0; // 运行成功}END:out_value[status] status_code;out_value[reason] CodeToDesc(status_code, file_name);if (status_code 0){// 整个过程全部成功std::string _stdout;FileUtil::ReadFile(PathUtil::Stdout(file_name), _stdout, true);out_value[stdout] _stdout;std::string _stderr;FileUtil::ReadFile(PathUtil::Stderr(file_name), _stderr, true);out_value[stderr] _stderr;}Json::StyledWriter writer;*out_json writer.write(out_value);RemoveTempFile(file_name); // 清理临时文件}};
}comm/util.hpp新增的接口有
namespace ns_util
{class TimeUtil{public:// 获得毫秒时间戳static std::string GetTimeMS(){struct timeval _time;gettimeofday(_time, nullptr);return std::to_string(_time.tv_sec * 1000 _time.tv_usec / 1000);}};class FileUtil{public:static bool WriteFile(const std::string path_name, const std::string content){std::ofstream out(path_name);if (!out.is_open()){return false;}out.write(content.c_str(), content.size());out.close();return true;}static bool ReadFile(const std::string path_name, std::string *content, bool keep false){content-clear();std::ifstream in(path_name);if (!in.is_open()){return false;}std::string line;// getline:不保存行分割符,有些时候需要保留\n,// getline内部重载了强制类型转化while (std::getline(in, line)){(*content) line;(*content) keep ? \n : ;}in.close();return true;}};
}3.1.4 compile_server调用以上功能
首先引入cpp-httplib的使用把compile_server打包成网络服务学习使用httplib test.cc
#includehttplib.h
using namespace httplib;int main()
{Server svr;svr.Get(/bobo, [](const Request req, Response resp){resp.set_content(hello bobo!, text/plain);});svr.listen(0.0.0.0, 9090); // 启动HTTP服务return 0;
}启动服务(httplib提供多线程阻塞式网络服务)此时用浏览器访问 编写compile_server.cc功能把compile_server打包成网络服务 compile_server/compile_server.cc
void Usage(const std::string command)
{std::cout Usage: command port std::endl;
}
// 编译服务随时可能被多个人请求必须保证传递上来的code形成源文件名称的时候要具有
// 唯一性要不然多个用户之间会互相影响
//./compile_server port
int main(int argc, char *argv[])
{if (argc ! 2){Usage(argv[0]);return 1;}Server svr;svr.Post(/compile_and_run, [](const Request req, Response res){// 用户请求的服务正文是我们想要的json stringstd::string in_json req.body;std::string out_json;if(!in_json.empty()){CompileAndRun::start(in_json, out_json);res.set_content(out_json, application/json;charsetutf-8);} });svr.listen(0.0.0.0, atoi(argv[1])); // 启动http服务return 0;
}3.1.5 使用Postman调试compile_server功能 3.2 基于MVC 结构的oj 服务设计
本质 建立一个小型网站 获取首页用题目列表充当编辑区域页面提交判题功能(编译并运行)
M: Model,通常是和数据交互的模块比如对题库进行增删改查文件版MySQL V: view, 通常是拿到数据之后要进行构建网页渲染网页内容展示给用户的(浏览器) C: control, 控制器就是我们的核心业务逻辑
3.2.1 用户请求的服务路由功能
oj_server/oj_server.cc
int main()
{Server svr; //用户请求的服务路由功能// 获取所有的题目列表svr.Get(/all_questions, [](const Request req, Response res){resp.set_content(这是所有题目的列表, text/plain; charsetutf-8);});// 用户要根据题目编号获取题目的内容// /question/100 - 正则匹配// R(), 原始字符串raw string,保持字符串内容的原貌不用做相关的转义svr.Get(R(/one_question/(\d)), [ctrl](const Request req, Response res){resp.set_content(这是指定的一道题: number, text/plain; charsetutf-8);
});// 用户提交代码使用我们的判题功能(1. 每道题的测试用例 2. compile_and_run)svr.Get(R(/judge/(\d)), [](const Request req, Response resp){
std::string number req.matches[1];resp.set_content(指定题目的判题: number, text/plain; charsetutf-8);
});svr.set_base_dir(./wwwroot);svr.listen(0.0.0.0, 8080);return 0;
}3.2.2 model功能提供对数据的操作
oj_server/oj_model.hpp
// 根据题目list文件加载所有的题目信息到内存中
// model: 主要用来和数据进行交互对外提供访问数据的接口
namespace ns_model
{using namespace ns_log;using namespace ns_util;class Question{public:std::string _number; //题目编号唯一std::string _title; //题目的标题std::string _star; //难度: 简单 中等 困难int _cpu_limit; //题目的时间要求(S)int _mem_limit; //题目的空间要去(KB)std::string _desc; //题目的描述std::string _head; //题目预设给用户在线编辑器的代码std::string _tail; //题目的测试用例需要和header拼接形成完整代码};const std::string questions_list ./questions/questions.list;const std::string questions_path ./questions/;class Model{public:Model(){LoadQuestionList(questions_list);}bool LoadQuestionList(const std::string question_list){//加载配置文件: questions/questions.list 题目编号文件std::ifstream in(questions_list);if(!in.is_open()){logMessage(FATAL, 加载题库失败,请检查是否存在题库文件...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));return false;}std::string line;while(std::getline(in, line)){std::vectorstd::string tokens;StringUtil::SplitString(line, tokens, );// 1 判断回文数 简单 1 30000if(tokens.size() ! 5){logMessage(WARNING, 加载部分题目失败, 请检查文件格式...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));continue;}Question q;q._number tokens[0];q._title tokens[1];q._star tokens[2];q._cpu_limit stoi(tokens[3]);q._mem_limit stoi(tokens[4]);std::string path questions_path;path q._number;path /;FileUtil::ReadFile(pathdesc.txt, (q._desc), true);FileUtil::ReadFile(pathhead.cpp, (q._head), true);FileUtil::ReadFile(pathtail.cpp, (q._tail), true);_questions.insert({q._number, q});}logMessage(NORMAL, 加载题库...成功!);in.close();return true;}bool GetAllQuestions(std::vectorQuestion* out){if(_questions.size() 0){logMessage(ERROR, 用户获取题库失败...[%s][%d]: %s, __FILE__, __LINE__, strerror(errno));return false;}for(const auto q : _questions) out-push_back(q.second);return true;}bool GetOneQuestion(const std::string number, Question *question){const auto q _questions.find(number);if(q _questions.end()){logMessage(ERROR, 用户获取题目失败, 题目编号: %s | [%s][%d]: %s, number, __FILE__, __LINE__, strerror(errno));return false;}(*question) q-second;return true; }private:std::unordered_mapstd::string, Question _questions;};
}comm/util.hpp新增接口
namespace ns_util
{class StringUtil{public:static void SplitString(const std::string str, std::vectorstd::string* out, const std::string sep){boost::split(*out, str, boost::is_any_of(sep), boost::token_compress_on);}};
}oj_server/questions/questions.list
1 回文串 简单 1 30000oj_server/questions/1/desc.txt
判断一个整数是否是回文数。回文数是指正序从左向右和倒序从右向左读都是一样的整数。示例 1:输入: 121
输出: true
示例 2:输入: -121
输出: false
解释: 从左向右读, 为 -121 。 从右向左读, 为 121- 。因此它不是一个回文数。
示例 3:输入: 10
输出: false
解释: 从右向左读, 为 01 。因此它不是一个回文数。
进阶:你能不将整数转为字符串来解决这个问题吗oj_server/questions/1/head.cpp
#include iostream
#include string
#include vector
#include map
#include algorithmusing namespace std;class Solution {
public:bool IsPalindrome(int x){}
};oj_server/questions/1/tail.cpp
#ifndef COMPILE_ONLINE#includehead.cpp
#endifvoid test1()
{bool ret Solution().IsPalindrome(1234321);if(ret) std::cout 通过用例1, 测试121通过 ... OK! std::endl;else std::cout 没有通过用例1, 测试的值是: 121 std::endl;
}
void test2()
{bool ret Solution().IsPalindrome(-10);if(!ret) std::cout 通过用例2, 测试-10通过 ... OK! std::endl;else std::cout 没有通过用例2, 测试的值是: -10 std::endl;
}
int main()
{test1();test2();return 0;
}3.2.3 control功能逻辑控制模块
3.3.3 view功能网页渲染模块
首先引入ctemplate提供网页渲染功能测试使用一下ctemplate
test.cc
#includectemplate/template.h
#includestring
#includeiostreamint main()
{std::string in_html ./test.html;std::string value bobo;// 形成数据字典ctemplate::TemplateDictionary root(test); // 理解为unordered_map testroot.SetValue(key, value); // 理解为test.insert({key, value})// 获取被渲染网页对象ctemplate::Template* tpl ctemplate::Template::GetTemplate(in_html, ctemplate::DO_NOT_STRIP);// 添加字典数据到网页中std::string out_html;tpl-Expand(out_html, root);// 完成了渲染std::cout out_html std::endl;return 0;
}test.html
!DOCTYPE html
html langen
headmeta charsetUTF-8meta nameviewport contentwidthdevice-width, initial-scale1.0title用来测试/title
/head
bodyp{{key}}/pp{{key}}/pp{{key}}/pp{{key}}/pp{{key}}/p
/body
/html测试结果
