tar -zxvf nginx-1.24.0.tar.gz

mkdir /var/temp/nginx -p

cd nginx-1.24.0

sudo apt update

sudo apt install -y build-essential libpcre3-dev zlib1g-dev libssl-dev

./configure --prefix=/usr/local/nginx --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --with-http_ssl_module

make -j$(nproc)

make install

sudo /usr/local/nginx/sbin/nginxsudo /usr/local/nginx/sbin/nginx -s stopsudo /usr/local/nginx/sbin/nginx -s reload/usr/local/nginx/sbin/nginx -v

package com.cjbdi.test;import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.exceptions.ClientException;import com.aliyuncs.kms.model.v20160120.GenerateDataKeyRequest;import com.aliyuncs.kms.model.v20160120.GenerateDataKeyResponse;import com.aliyuncs.profile.DefaultProfile;import com.aliyuncs.vod.model.v20170321.GenerateKMSDataKeyRequest;import com.aliyuncs.vod.model.v20170321.GenerateKMSDataKeyResponse;import com.aliyuncs.vod.model.v20170321.SubmitTranscodeJobsRequest;import com.aliyuncs.vod.model.v20170321.SubmitTranscodeJobsResponse;import com.alibaba.fastjson.JSONObject;import java.net.URLEncoder;import java.nio.charset.StandardCharsets;public class SubmitEncryptTranscodeJob {    private static DefaultAcsClient kmsClient;    private static DefaultAcsClient vodClient;    static {         String REGION_ID = "cn-beijing"; // 阿里云区域ID        String accessKeyId = "";        String accessKeySecret ="";        // 初始化KMS客户端        DefaultProfile kmsProfile = DefaultProfile.getProfile(REGION_ID, accessKeyId, accessKeySecret);        kmsClient = new DefaultAcsClient(kmsProfile);        // 初始化VOD客户端        DefaultProfile vodProfile = DefaultProfile.getProfile(REGION_ID, accessKeyId, accessKeySecret);        vodClient = new DefaultAcsClient(vodProfile);    }    /**     * 提交HLS加密转码任务     *      * @param videoId 视频ID（从上传回调获取）     * @param templateGroupId HLS加密模板组ID     * @param decryptServiceUrl 解密服务地址 (e.g., "http://your-server:8099/decrypt")     * @return 转码任务响应     */    public static SubmitTranscodeJobsResponse submitHlsEncryptJob(            String videoId,             String templateGroupId,            String decryptServiceUrl) throws ClientException {        //        // 1. 生成KMS数据密钥//        GenerateDataKeyRequest keyRequest = new GenerateDataKeyRequest();//        // 设置密钥规格为AES_256（阿里云VOD要求）////        keyRequest.setKeySpec("AES_256");//        GenerateDataKeyResponse keyResponse = kmsClient.getAcsResponse(keyRequest);        GenerateKMSDataKeyRequest request = new GenerateKMSDataKeyRequest();        GenerateKMSDataKeyResponse keyResponse = kmsClient.getAcsResponse(request);        System.out.println("获取ciphertextBlob");        String ciphertextBlob = keyResponse.getCiphertextBlob();        System.out.println("CiphertextBlob Value: " + ciphertextBlob); // <-- 添加这行日志        // 2. 构建加密配置        JSONObject encryptConfig = new JSONObject();        encryptConfig.put("CipherText", keyResponse.getCiphertextBlob()); // 信封加密密钥(EDK)        System.out.println("EncryptConfig JSONObject: " + encryptConfig.toJSONString()); // <-- 添加这行日志        // 使用 UTF-8 编码进行 URL 编码        String encodedCipherText;        try {            // 使用 UTF-8 编码进行 URL 编码            encodedCipherText = URLEncoder.encode(ciphertextBlob, StandardCharsets.UTF_8.toString());        } catch (Exception e) {            throw new RuntimeException("Failed to encode CiphertextBlob for URL", e);        }        String fullDecryptKeyUri = decryptServiceUrl + "?CipherText=" + encodedCipherText;        System.out.println("Constructed Full DecryptKeyUri: " + fullDecryptKeyUri);        // 3. 构建加密配置 (注意 CipherText 字段现在是可选的，因为 URI 已经包含了它)        // encryptConfig.put("CipherText", ciphertextBlob); // 可以保留，也可以不保留，取决于 VOD 要求        encryptConfig.put("DecryptKeyUri", fullDecryptKeyUri); // 使用拼接好的完整 URI        encryptConfig.put("KeyServiceType", "KMS"); // 加密类型                // 3. 提交转码任务        SubmitTranscodeJobsRequest transcodeRequest = new SubmitTranscodeJobsRequest();        transcodeRequest.setVideoId(videoId);        transcodeRequest.setTemplateGroupId(templateGroupId);        transcodeRequest.setEncryptConfig(encryptConfig.toJSONString());        System.out.println("Final EncryptConfig JSON String: " + encryptConfig.toJSONString()); // <-- 添加这行日志                return vodClient.getAcsResponse(transcodeRequest);    }    public static void main(String[] args) {        try {            // 示例参数 - 实际使用中应从配置或参数传入            String videoId = "40bafb848b1171f080a77fb2780c0102";            String templateGroupId = "610e0d1c7b9ed52d6974d72dd2075743";            //http://g5w6p0oa.dongtaiyuming.net/decrypt?CipherText=123.&Token=123            String decryptServiceUrl = "https://show.syntheticreality.cn/hd-api/decrypt";                        SubmitTranscodeJobsResponse response = submitHlsEncryptJob(                    videoId, templateGroupId, decryptServiceUrl);                        System.out.println("转码任务提交成功!");            System.out.println("请求ID: " + response.getRequestId());            System.out.println("转码任务ID: " + response.getTranscodeTaskId());                    } catch (ClientException e) {            System.err.println("转码任务提交失败:");            System.err.println("错误代码: " + e.getErrCode());            System.err.println("错误消息: " + e.getErrMsg());            System.err.println("请求ID: " + e.getRequestId());        }    }}

package com.cjbdi.test;import com.aliyuncs.DefaultAcsClient;import com.aliyuncs.exceptions.ClientException;import com.aliyuncs.http.ProtocolType;import com.aliyuncs.profile.DefaultProfile;// 注意：导入的是 VOD 的 DecryptKMSDataKeyRequest/Responseimport com.aliyuncs.vod.model.v20170321.DecryptKMSDataKeyRequest;import com.aliyuncs.vod.model.v20170321.DecryptKMSDataKeyResponse;import com.sun.net.httpserver.Headers;import com.sun.net.httpserver.HttpExchange;import com.sun.net.httpserver.HttpHandler;import com.sun.net.httpserver.HttpServer;import org.apache.commons.codec.binary.Base64; // 确保引入了 commons-codecimport java.io.IOException;import java.io.OutputStream;import java.net.HttpURLConnection;import java.net.InetSocketAddress;import java.net.URI;import java.net.URLDecoder; // 导入 URLDecoderimport java.nio.charset.StandardCharsets; // 导入 StandardCharsetsimport java.util.regex.Matcher;import java.util.regex.Pattern;public class HlsDecryptServer {    private static final int PORT = 8099;    private static final String CONTEXT_PATH = "/decrypt"; // 定义一个明确的上下文路径    private static DefaultAcsClient client;    static {        // --- 配置 ---        // KMS的区域，必须与视频对应区域        // 访问KMS的授权AccessKey信息        // 强烈建议不要把AccessKey ID和AccessKey Secret保存到工程代码里。        // 本示例为了演示方便，直接写在代码里。生产环境请从环境变量或配置文件读取。        String region = "cn-beijing"; // 阿里云区域ID        String accessKeyId = "LTAI5tFzxxuoLfUEF2UzrCsB";        String accessKeySecret ="zTZkmMSc0WoGR6nhIh7cLbfYWsIQ8S";        // 检查凭据是否设置        if (accessKeyId == null || accessKeySecret == null || accessKeyId.isEmpty() || accessKeySecret.isEmpty()) {            System.err.println("错误: 请设置环境变量 ALIBABA_CLOUD_ACCESS_KEY_ID 和 ALIBABA_CLOUD_ACCESS_KEY_SECRET。");            // System.exit(1); // 或者抛出异常阻止服务器启动            client = null; // 标记客户端初始化失败        } else {            try {                DefaultProfile profile = DefaultProfile.getProfile(region, accessKeyId, accessKeySecret);                client = new DefaultAcsClient(profile);                System.out.println("HlsDecryptServerNoToken: VOD KMS Client initialized for region: " + region);            } catch (Exception e) {                System.err.println("HlsDecryptServerNoToken: Failed to initialize VOD KMS Client: " + e.getMessage());                e.printStackTrace();                client = null;            }        }    }    /**     * 说明：     * 1、接收解密请求，获取密文密钥和令牌Token     * 2、调用VOD KMS decrypt接口获取明文密钥     * 3、将明文密钥base64decode返回     */    public class HlsDecryptHandler implements HttpHandler {        /**         * 处理解密请求         * @param httpExchange         * @throws IOException         */        @Override // 添加 @Override 注解        public void handle(HttpExchange httpExchange) throws IOException {            System.out.println("\n--- Received new request ---");            System.out.println("Request URI: " + httpExchange.getRequestURI());            System.out.println("Request Method: " + httpExchange.getRequestMethod());            Headers responseHeaders = httpExchange.getResponseHeaders();            // 设置 CORS 头            responseHeaders.add("Access-Control-Allow-Origin", "*");            responseHeaders.add("Access-Control-Allow-Methods", "GET, OPTIONS");            responseHeaders.add("Access-Control-Allow-Headers", "*");            String requestMethod = httpExchange.getRequestMethod();            // 处理 OPTIONS 预检请求            if ("OPTIONS".equalsIgnoreCase(requestMethod)) {                httpExchange.sendResponseHeaders(HttpURLConnection.HTTP_OK, -1); // 204 No Content                httpExchange.close(); // 关闭交换                System.out.println("Handled OPTIONS preflight request.");                return;            }            if ("GET".equalsIgnoreCase(requestMethod)) {                try {                    // 从URL中取得密文密钥                    String ciphertext = getCiphertext(httpExchange);                    System.out.println("Extracted CipherText: " + ciphertext);                    if (ciphertext == null || ciphertext.isEmpty()) {                        sendErrorResponse(httpExchange, HttpURLConnection.HTTP_BAD_REQUEST, "Missing or empty CipherText parameter.");                        return;                    }                    if (client == null) {                        sendErrorResponse(httpExchange, HttpURLConnection.HTTP_INTERNAL_ERROR, "Server not properly configured (KMS client is null).");                        return;                    }                    // 从KMS中解密出来，并Base64 decode                    byte[] key = decrypt(ciphertext);                    if (key == null) {                        // decrypt 方法内部已打印错误，这里只需发送错误响应                        sendErrorResponse(httpExchange, HttpURLConnection.HTTP_INTERNAL_ERROR, "Failed to decrypt key using KMS.");                        return;                    }                    // 设置header                    setHeader(httpExchange, key);                    // 返回base64decode之后的密钥                    try (OutputStream responseBody = httpExchange.getResponseBody()) { // 使用 try-with-resources 确保 OutputStream 关闭                        responseBody.write(key);                    }                    System.out.println("Decrypted key sent successfully.");                } catch (Exception e) {                    System.err.println("Internal server error during request handling: " + e.getMessage());                    e.printStackTrace();                    // 即使发生异常，也要确保 HttpExchange 被关闭                    if (!httpExchange.getResponseHeaders().containsKey("Content-Type")) { // 检查是否已发送响应头                        sendErrorResponse(httpExchange, HttpURLConnection.HTTP_INTERNAL_ERROR, "Internal Server Error: " + e.getMessage());                    }                } finally {                    // 最终确保 HttpExchange 被关闭                    httpExchange.close();                    System.out.println("--- Request processing finished ---\n");                }            } else {                // 不支持的方法                sendErrorResponse(httpExchange, HttpURLConnection.HTTP_BAD_METHOD, "Method Not Allowed. Only GET is supported.");                // sendErrorResponse 内部会关闭 httpExchange            }        }        /**         * 发送错误响应         * @param exchange HttpExchange 对象         * @param statusCode HTTP 状态码         * @param message 错误信息         */        private void sendErrorResponse(HttpExchange exchange, int statusCode, String message) {            try {                System.err.println("Sending error response (" + statusCode + "): " + message);                byte[] response = message.getBytes(StandardCharsets.UTF_8);                Headers headers = exchange.getResponseHeaders();                headers.set("Content-Type", "text/plain; charset=utf-8");                headers.set("Access-Control-Allow-Origin", "*"); // 确保错误响应也有 CORS 头                exchange.sendResponseHeaders(statusCode, response.length);                try (OutputStream os = exchange.getResponseBody()) {                    os.write(response);                }            } catch (IOException e) {                System.err.println("Failed to send error response: " + e.getMessage());                e.printStackTrace();            } finally {                // 确保交换被关闭                exchange.close();            }        }        private void setHeader(HttpExchange httpExchange, byte[] key) throws IOException {            Headers responseHeaders = httpExchange.getResponseHeaders();            responseHeaders.set("Content-Type", "application/octet-stream");            responseHeaders.set("Access-Control-Allow-Origin", "*");            // 可选：添加缓存控制头            // responseHeaders.set("Cache-Control", "no-store");            httpExchange.sendResponseHeaders(HttpURLConnection.HTTP_OK, key.length);        }        /**         * 调用VOD KMS decrypt接口解密，并将明文base64decode         * @param ciphertext Base64 encoded ciphertext         * @return Decrypted key bytes, or null if failed         */        private byte[] decrypt(String ciphertext) {            DecryptKMSDataKeyRequest request = new DecryptKMSDataKeyRequest();            request.setCipherText(ciphertext); // VOD SDK 期望接收 Base64 字符串            request.setProtocol(ProtocolType.HTTPS);            try {                System.out.println("Calling VOD KMS Decrypt API...");                DecryptKMSDataKeyResponse response = client.getAcsResponse(request);                String plaintextBase64 = response.getPlaintext(); // VOD SDK 返回 Base64 String                System.out.println("KMS Decrypted Plaintext (Base64): " + plaintextBase64);                if (plaintextBase64 == null || plaintextBase64.isEmpty()) {                    System.err.println("Warning: KMS returned null or empty plaintext.");                    return null;                }                // 注意：需要base64 decode                byte[] keyBytes = Base64.decodeBase64(plaintextBase64); // 使用 commons-codec                System.out.println("Plaintext decoded to " + keyBytes.length + " bytes.");                return keyBytes;            } catch (ClientException e) {                System.err.println("KMS Decrypt API call failed:");                System.err.println("Error Code: " + e.getErrCode());                System.err.println("Error Message: " + e.getMessage());                System.err.println("Request ID: " + e.getRequestId()); // 打印 Request ID 有助于排查                // e.printStackTrace(); // 可以选择打印完整堆栈                return null;            }        }        /**         * 从URL中获取密文密钥参数 (修正版)         * @param httpExchange         * @return Base64 encoded ciphertext, or null if not found         */        private String getCiphertext(HttpExchange httpExchange) {            URI uri = httpExchange.getRequestURI();            String queryString = uri.getQuery();            System.out.println("Raw Query String: " + queryString);            if (queryString == null || queryString.isEmpty()) {                System.out.println("Query string is null or empty.");                return null;            }            // --- 修正 1: URL 解码 ---            try {                queryString = URLDecoder.decode(queryString, StandardCharsets.UTF_8.name());                System.out.println("URL Decoded Query String: " + queryString);            } catch (Exception e) { // 包括 UnsupportedEncodingException                System.err.println("Failed to URL decode query string: " + e.getMessage());                // 即使解码失败，也尝试用原始字符串匹配            }            // --- 修正 2: 更宽松的正则表达式 ---            // 匹配 CipherText= 后面的任何非 & 字符 (包括 Base64 字符)            String pattern = "CipherText=([^&]*)";            Pattern r = Pattern.compile(pattern);            Matcher m = r.matcher(queryString);            if (m.find()) {                String cipherTextValue = m.group(1);                System.out.println("Matched CipherText value: " + cipherTextValue);                return cipherTextValue; // 返回匹配到的值            } else {                System.out.println("CipherText parameter not found in query string using regex: " + pattern);                return null;            }        }    }    /**     * 服务启动     *     * @throws IOException     */    public void serviceBootStrap() throws IOException {        if (client == null) {            throw new IOException("VOD KMS Client failed to initialize, cannot start server.");        }        // 监听端口可以自定义，能同时接受最多30个请求        HttpServer httpserver = HttpServer.create(new InetSocketAddress(PORT), 30);        httpserver.createContext(CONTEXT_PATH, new HlsDecryptHandler()); // 使用定义的路径        // 可以设置线程池        // httpserver.setExecutor(Executors.newFixedThreadPool(10));        httpserver.start();        System.out.println("===================================================");        System.out.println("HLS VOD KMS 解密服务已启动");        System.out.println("监听端口: " + PORT);        System.out.println("解密端点: http://<your-server-ip>:" + PORT + CONTEXT_PATH + "?CipherText=BASE64_ENCODED_CIPHERTEXT");        System.out.println("===================================================");    }//    public static void main(String[] args) throws IOException {//        HlsDecryptServerNoToken server = new HlsDecryptServerNoToken();//        server.serviceBootStrap();//        System.out.println("服务器启动成功，按 Ctrl+C 停止服务...");//        // 可以添加一个关闭钩子来优雅地停止服务器//        Runtime.getRuntime().addShutdownHook(new Thread(() -> {//            System.out.println("\n正在关闭服务器...");//            // 如果需要停止 HttpServer, 可以保存 httpserver 实例并调用 httpserver.stop(0);//            System.out.println("服务器已关闭。");//        }));//    }}

前端

<!DOCTYPE html><html lang="zh-CN"><head>    <meta charset="UTF-8">    <meta name="viewport" content="width=device-width, initial-scale=1.0">    <title>艾达纪元</title>    <link rel="stylesheet" href="https://g.alicdn.com/apsara-media-box/imp-web-player/2.16.3/skins/default/aliplayer-min.css">    <script charset="utf-8" src="https://g.alicdn.com/apsara-media-box/imp-web-player/2.16.3/aliplayer-min.js"></script>    <link rel="stylesheet" href="https://cdnjs.cloudflare.com/ajax/libs/font-awesome/6.4.0/css/all.min.css">    <style>        * {            margin: 0;            padding: 0;            box-sizing: border-box;        }        body {            font-family: 'Segoe UI', Roboto, 'PingFang SC', 'Microsoft YaHei', sans-serif;            padding: 20px;            background: linear-gradient(135deg, #0c0e1a 0%, #1a1c2c 100%);            color: #e0e0ff;            min-height: 100vh;        }        .container {            max-width: 1200px;            margin: 0 auto;        }        .header {            margin-bottom: 30px;            text-align: center;            padding: 25px 0;            background: rgba(30, 32, 48, 0.6);            border-radius: 16px;            backdrop-filter: blur(10px);            box-shadow: 0 12px 24px rgba(0, 0, 0, 0.25);            border: 1px solid rgba(142, 231, 255, 0.15);        }        .header h1 {            font-size: 32px;            margin-bottom: 10px;            font-weight: 700;            letter-spacing: 1px;            background: linear-gradient(90deg, #8ee7ff, #6cb2ff);            -webkit-background-clip: text;            -webkit-text-fill-color: transparent;            text-shadow: 0 0 15px rgba(142, 231, 255, 0.6);        }        .subtitle {            font-size: 18px;            color: #a0a0d0;            max-width: 800px;            margin: 0 auto;            line-height: 1.6;            font-weight: 300;        }                /* 播放器网格容器 */        .players-grid {            display: grid;            grid-template-columns: repeat(auto-fit, minmax(350px, 1fr));            gap: 25px;            margin-bottom: 30px;        }                /* 单个播放器容器 */        .player-container {            position: relative;            background: rgba(20, 22, 36, 0.8);            border-radius: 16px;            overflow: hidden;            box-shadow: 0 12px 30px rgba(0, 0, 0, 0.4);            transition: all 0.3s ease;            border: 1px solid rgba(142, 231, 255, 0.1);        }        .player-container:hover {            transform: translateY(-5px);            box-shadow: 0 15px 35px rgba(0, 0, 0, 0.5), 0 0 20px rgba(142, 231, 255, 0.3);            border-color: rgba(142, 231, 255, 0.3);        }                /* 播放器标题 */        .player-title {            padding: 15px 20px;            background: rgba(42, 44, 66, 0.7);            font-size: 18px;            font-weight: 600;            color: #e0e0ff;            display: flex;            align-items: center;            min-height: 60px;        }        .player-title i {            margin-right: 10px;            color: #8ee7ff;            font-size: 20px;        }                /* 播放器包装 */        .player-wrapper {            position: relative;            width: 100%;            height: 0;            padding-bottom: 56.25%; /* 16:9 宽高比 */        }        .player-wrapper-inner {            position: absolute;            top: 0;            left: 0;            width: 100%;            height: 100%;            background: #000;        }                /* 加载状态 */        .loading-state {            position: absolute;            top: 0;            left: 0;            width: 100%;            height: 100%;            display: flex;            flex-direction: column;            align-items: center;            justify-content: center;            background: rgba(10, 12, 20, 0.9);            z-index: 10;        }        .loading-spinner {            width: 40px;            height: 40px;            border: 4px solid rgba(142, 231, 255, 0.2);            border-radius: 50%;            border-top-color: #8ee7ff;            animation: spin 1s ease-in-out infinite;            margin-bottom: 15px;        }        .status-message {            font-size: 16px;            text-align: center;            color: #e0e0ff;            padding: 0 20px;        }                /* 控制区域 */        .controls {            display: flex;            justify-content: center;            gap: 20px;            padding: 15px 20px;            background: rgba(30, 32, 48, 0.6);            border-radius: 12px;            margin-bottom: 20px;            border: 1px solid rgba(142, 231, 255, 0.1);        }        .control-btn {            background: linear-gradient(135deg, #3c5aa0, #2a3d80);            color: white;            border: none;            padding: 10px 22px;            border-radius: 8px;            cursor: pointer;            font-weight: 600;            transition: all 0.3s ease;            display: flex;            align-items: center;            font-size: 16px;            min-width: 160px;            justify-content: center;        }        .control-btn i {            margin-right: 8px;        }        .control-btn:hover {            background: linear-gradient(135deg, #4a6cc0, #364b8a);            transform: translateY(-2px);            box-shadow: 0 4px 10px rgba(0, 0, 0, 0.3);        }                /* 状态信息 */        .status-info {            text-align: center;            padding: 15px;            color: #8a8ac4;            font-size: 16px;            background: rgba(30, 32, 48, 0.5);            border-radius: 10px;            margin-top: 20px;            border: 1px solid rgba(142, 231, 255, 0.1);        }                /* 响应式设计 */        @media (max-width: 900px) {            .players-grid {                grid-template-columns: 1fr 1fr;            }        }        @media (max-width: 600px) {            .players-grid {                grid-template-columns: 1fr;            }            .header h1 {                font-size: 26px;            }            .subtitle {                font-size: 16px;            }            .control-btn {                min-width: 140px;                padding: 8px 16px;                font-size: 14px;            }        }                /* 动画 */        @keyframes spin {            to { transform: rotate(360deg); }        }        @keyframes fadeIn {            from { opacity: 0; transform: translateY(20px); }            to { opacity: 1; transform: translateY(0); }        }                .player-container {            animation: fadeIn 0.5s ease-out forwards;        }                /* 页脚 */        .footer {            text-align: center;            margin-top: 40px;            padding: 20px;            color: #8a8ac4;            font-size: 14px;            border-top: 1px solid rgba(142, 231, 255, 0.1);        }    </style></head><body>    <div class="container">        <div class="header">            <h1>全双工数字人案例</h1>            <!-- <div class="subtitle">探索人工智能与人类交互的未来，体验前沿数字人技术</div> -->        </div>                <!-- 控制区域 -->        <div class="controls">            <button class="control-btn" id="pauseAllBtn">                <i class="fas fa-pause"></i> 暂停所有            </button>            <!-- <button class="control-btn" id="muteAllBtn">                <i class="fas fa-volume-mute"></i> 全部静音            </button> -->            <button class="control-btn" id="refreshBtn">                <i class="fas fa-sync-alt"></i> 刷新数据            </button>        </div>                <!-- 播放器网格 -->        <div id="playersGrid" class="players-grid">            <!-- 播放器将动态生成 -->        </div>                <div id="statusInfo" class="status-info">            正在加载视频数据...        </div>                <div class="footer">            © 2025 艾达纪元        </div>    </div>    <script>        // 全局变量        let players = [];        let videoData = [];                // 页面加载完成后初始化        document.addEventListener('DOMContentLoaded', function() {            // 加载播放器资源            loadPlayerResources();                        // 添加按钮事件监听            document.getElementById('pauseAllBtn').addEventListener('click', pauseAllPlayers);            document.getElementById('muteAllBtn').addEventListener('click', toggleMuteAll);            document.getElementById('refreshBtn').addEventListener('click', refreshData);        });          // 检测苹果设备        function isAppleDevice() {            const userAgent = navigator.userAgent;            return /iPhone|iPad|iPod|Macintosh|MacIntel|MacPPC|Mac68K/i.test(userAgent);        }        // 1. 加载播放器资源        function loadPlayerResources() {            updateStatus('正在初始化播放环境...');            // 检查是否已经加载了播放器脚本            if (typeof Aliplayer !== 'undefined') {                initPlayerData();                return;            }                        // 创建脚本加载监听            const script = document.createElement('script');            script.src = 'https://g.alicdn.com/apsara-media-box/imp-web-player/2.16.3/aliplayer-min.js';            script.charset = 'utf-8';                        script.onload = function() {                console.log('播放器脚本加载完成');                initPlayerData();            };                        script.onerror = function() {                showError('播放器脚本加载失败，请检查网络连接');            };                        document.head.appendChild(script);        }        // 2. 初始化视频数据        function initPlayerData() {            updateStatus('正在获取视频数据...');                        // 获取视频数据            fetch('https://ip/api/open/tls/db')                .then(response => {                    if (!response.ok) {                        throw new Error(`HTTP 错误! 状态码: ${response.status}`);                    }                    return response.json();                })                .then(result => {                    if (result.code === 200 && result.data && result.data.length > 0) {                        videoData = result.data;                        createPlayerContainers();                        initPlayers();                    } else {                        throw new Error(result.msg || '接口返回数据格式异常');                    }                })                .catch(error => {                    console.error('获取视频数据失败:', error);                    showError(`获取视频数据失败: ${error.message}`);                });        }                // 3. 创建播放器容器        function createPlayerContainers() {            const playersGrid = document.getElementById('playersGrid');            playersGrid.innerHTML = '';                        // 更新状态信息            updateStatus(`已加载 ${videoData.length} 个视频`);                        // 为每个视频创建容器            videoData.forEach((video, index) => {                const playerContainer = document.createElement('div');                playerContainer.className = 'player-container';                                playerContainer.innerHTML = `                    <div class="player-title">                        <i class="fas fa-video"></i> ${video.tittle || `数字人视频 ${index + 1}`}                    </div>                    <div class="player-wrapper">                        <div class="player-wrapper-inner">                            <div id="player-${index}"></div>                            <div class="loading-state">                                <div class="loading-spinner"></div>                                <div class="status-message">加载视频中...</div>                            </div>                        </div>                    </div>                `;                                playersGrid.appendChild(playerContainer);            });        }                // 4. 初始化播放器        function initPlayers() {            players = [];                        videoData.forEach((video, index) => {                try {                    // 创建新播放器                    const player = new Aliplayer({                        id: `player-${index}`,                        width: '100%',                        height: '100%',                        vid: video.vid,                        playauth: video.playauth,                        encryptType: 1, // 私有加密流                        qualitySort: 'asc',                        format: 'm3u8',                        mediaType: 'video',                        encryptType: 1,                        width: '100%',                        autoplay: true,                        isLive: false,                        rePlay: false,                        videoHeight: undefined,                        isVBR: undefined,                        preload: true,                        controlBarVisibility: 'hover',                        useH5Prism: true                    }, function(playerInstance) {                        console.log(`播放器 ${index} 创建成功`);                                                // 隐藏加载状态                        const container = document.querySelector(`#player-${index}`).parentNode;                        const loadingState = container.querySelector('.loading-state');                        if (loadingState) {                            loadingState.style.display = 'none';                        }                                                // 监听播放器事件                        player.on('play', function() {                            console.log(`播放器 ${index} 开始播放`);                        });                                                player.on('pause', function() {                            console.log(`播放器 ${index} 暂停播放`);                        });                                                player.on('error', function(e) {                            console.error(`播放器 ${index} 错误:`, e);                            showError(`播放器 ${index+1} 错误: ${e.paramData.errorMsg || '未知错误'}`);                        });                    });                                        players.push(player);                } catch (e) {                    console.error(`播放器 ${index} 创建失败`, e);                    showError(`播放器 ${index+1} 初始化失败: ${e.message}`);                }            });        }                // 5. 控制功能        function pauseAllPlayers() {            players.forEach(player => {                if (player && player.pause) {                    player.pause();                }            });        }                function toggleMuteAll() {            const btn = document.getElementById('muteAllBtn');            const isMuted = players.length > 0 ? players[0].isMuted() : false;                        players.forEach(player => {                if (player && player.mute) {                    player.mute(!isMuted);                }            });                        // 更新按钮文本            btn.innerHTML = isMuted ?                 '<i class="fas fa-volume-mute"></i> 全部静音' :                 '<i class="fas fa-volume-up"></i> 取消静音';        }                function refreshData() {            players.forEach(player => {                if (player && player.dispose) {                    player.dispose();                }            });            players = [];                        updateStatus('正在刷新数据...');            initPlayerData();        }                // 6. 状态管理        function updateStatus(message) {            const statusElement = document.getElementById('statusInfo');            if (statusElement) {                statusElement.textContent = message;            }        }                function showError(message) {            const statusElement = document.getElementById('statusInfo');            if (statusElement) {                statusElement.textContent = message;                statusElement.style.color = '#ff7d9c';            }        }    </script></body></html>

如果是三方应用没办法怎么办？草！比如我这次对接的阿里云的ws服务，尼玛让我ws放token.我是Vue啊大哥，我怎么玩？

算了哥们直接给出方案吧。

通过nginx代理一层解决。

下面给出nginx的配置方案

WebSocket代理配置

location /api-ws/v1/inference {    proxy_pass https://dashscope.aliyuncs.com/api-ws/v1/inference;   # ws的真实地址    proxy_http_version 1.1;    proxy_set_header Upgrade $http_upgrade;    proxy_set_header Connection "upgrade";    proxy_set_header Host dashscope.aliyuncs.com;   # 目标地址的主机头    proxy_set_header Authorization "自定义key1";    proxy_set_header X-DashScope-DataInspection "自定义key2";    # 超时和SSL配置    proxy_read_timeout 1000s;    proxy_ssl_server_name on;  # 启用SNI    proxy_ssl_protocols TLSv1.2;}

故事的发展是这样的，当linux系统持续的运行程序，会产生很多的数据日志，那么这部分日志删也不舍得，存着浪费空间，那么最好的方案就是压缩到本地咯，那么首先想到的就是使用find命令进行查找自己需要压缩的文件对不

find /your/directory/path -type f -ctime +150 -ctime -200

但是呢，这里面有个坑？什么坑呢，find这个命令是有长度限制的，那应该怎么办呢？那我们可以使用管道符的命令接不就行啦。

|

哈哈，那么如何实现，往压缩包里面追加文件呢？很简单啊

1:我们先创建一个压缩包

tar cvf var_lib_jenkins.tar

2:找到需要的文件往里面追加

find jobs/ -name config.xml | xargs tar rf var_lib_jenkins.tar
find jobs/ -name log | xargs tar rf var_lib_jenkins.tar

3:追加完成，哈哈我们还可以再压缩一轮(根据业务需要)

gzip var_lib_jenkins.tar

4: 完整追加的命令

find /your/directory/path -type f -ctime +150 -ctime -200 | xargs tar rf var_lib_jenkins.tar

这样写还不够，为什么？

你会发现，当这样以后在微信开发者工具是可以正常使用的，但是发布/体验版本会报错，提示:“不支持打开该页面等类型的错误”。

接下来，你应该登陆你的微信开发者平台，将业务域名配置好

业务域名只能是企业账号配置

在微信开发者平台下载描述文件，如果使用的是nginx，可以采用如下的方案，直接配置即可。

#微信业务域名校验
location /xIkUPj1m30.txt {
default_type text/html;
return 200 ‘教研文件里面的内容粘贴到此’;
}

准备工作

安装MySQL的话会和MariaDB的文件冲突，所以需要先卸载掉MariaDB。

查看是否安装mariadb

rpm -qa|grep mariadb
卸载

rpm -e --nodeps 上一步的文件名

检查是否卸载完成

rpm -qa|grep mariadb

查看是否安装libaio

rpm -qa|grep libaio
如果没有安装则执行

yum -y install libaio

查看是否安装numactl

rpm -qa|grep numactl
如果没有安装则执行

yum -y install numactl

安装MySQL
这里我安装在/usr/local目录下
cd /usr/local/
wget https://cdn.mysql.com//Downloads/MySQL-8.0/mysql-8.0.30-el7-x86_64.tar
如果下载较慢可以使用本地的

链接: https://pan.baidu.com/s/1XyEuo3urMhcxLXnKvy2CfQ?pwd=irsf 提取码: irsf 

下载完成后，拆分tar包

tar -xvf mysql-8.0.30-el7-x86_64.tar
解压安装包

tar -zxvf mysql-8.0.30-el7-x86_64.tar.gz
将解压后的文件夹重命名为mysql

mv mysql-8.0.30-el7-x86_64/ mysql
存储数据文件

在重命名后的mysql文件夹中创建data文件夹

mkdir mysql/data
设置用户组并赋权
groupadd mysql
useradd -r -g mysql mysql
chown -R mysql:mysql /usr/local/mysql/
chmod -R 755 /usr/local/mysql/
初始化MySQL
cd /usr/local/mysql/bin/
./mysqld --initialize --user=mysql --datadir=/usr/local/mysql/data --basedir=/usr/local/mysql
注意：这里会打印一个初始密码，需要记录下来，后面用于登录：

启动MySQL

/usr/local/mysql/support-files/mysql.server start
设置软连接

ln -s /usr/local/mysql/support-files/mysql.server /etc/init.d/mysql
ln -s /usr/local/mysql/bin/mysql /usr/bin/mysql
ln -s /usr/local/mysql/mysql.sock /var/mysql.sock
service mysql restart

修改密码

mysql -uroot -pt)k*3KuiMdr;
alter user ‘root’@‘localhost’ identified by ‘Iphone970129’;
grant all on . to root@‘localhost’ identified by ‘Iphone970129’;

开启远程连接

use mysql;
update user set user.Host=‘%’ where user.User=‘root’;
flush privileges;
exit;
启动

service mysql start
service mysql stop
service mysql restart

开机自启动

cp /usr/local/mysql/support-files/mysql.server /etc/init.d/mysqld
chmod +x /etc/init.d/mysqld
chkconfig --add mysqld
chkconfig --list
然后本地进行测试连接看是否可以连接。

如果是云服务器，则注意需要开启端口和防火墙即可！

添加环境变量即可

UNZIP_DISABLE_ZIPBOMB_DETECTION=TRUE
export UNZIP_DISABLE_ZIPBOMB_DETECTION

数据去重bitMap位图解决方案

一个32g的内存操作系统，在20亿个整数，找出某个数x是否存在其中

 - 方式一:假设是java int占4个字节，1个字节=8位(1byte=8bit)一个int 32*20亿 个bit 约等于7g - 方式二：不存储具体数据，而存储是否存在，如果存在则打上标签，采用bit存储20亿个数就是20亿位，空间就是0.2g。

• 什么是Bitmap
  Bit-map就是用一个bit位来标记某个元素对应的Value（若元素存在bit位置为1，不存在则置为0）。可创建一个整型数组（如byte数组，int数组，long数组）来表示

• Bitmap原理
  在Java中，数据类型int占4字节，4字节=32位（1 byte = 8 bit）
  数据类型byte占1字节，1字节=8位

  • 用byte数组来表示 集合 {1,2,4,6}，byte数组一个元素占一个字节，一个字节占8位
  • 计算机内存分配的最小单位是字节，也就是8位，那如果要表示集合{1,2,4,6,12,13,15},需要在byte数组，增加一个元素，即增加8位的数据来表示

  • 需求案例方式二解答

    • 每个int类型可标识32个整数，存储20亿个元素需要20亿个比特位，20亿/8/1024/1024 约上200多MB，省32倍空间

    需要申请的数组大小array[0]:可表示0~31array[1]:可表示32~63array[2]可表示64~95…总的数组长度为20亿/32 +1

    • 如何确定位置（给定任意整数M，那么M/32就得到下标，M%32就知道它在此下标的哪个位置）

    比如元素存储 80，确定所在数组的bit位置1、数组index索引  80/32 = 2.5，即第3个数组的位置 arr[2]2、比特位index索引 80%32 = 16，索引下标为16的比特位，把比特位设置为1，即arr[2][16]

• 注意

  • 位图适合对【数值类型】的海量数据进行查询统计、排序、去重 和 对两个集合做交集、并集运算
  • bitmap在数据连续的时候，非常节省空间，但是在数据稀疏的时候，会有极大的浪费

• 缺点

  • 数据碰撞：
    • 字符串映射到 bitmap会有碰撞问题，即可能映射到同个位置，即hash碰撞
  • 稀疏数据
    • 不连续的数据容易浪费空间，比如存入1和88两个数，需要构建长度89的数组
    • 表示索引从1到88，所以需要构建一个长度为89的数组，存放1到88的元素，但实际只存储2个数字
    • 如果用户的ID的数据类型是int32的话，那么最大值是2^32，需要用512MB的字节的位图来表示
      • 2^32bit=4294967296 比特(bit)=512 兆字节(MB)
      • 如果只往bitmap存储一个最大值，那边需要申请512 兆字节(MB)，大大浪费空间

• 业务应用：日活/月活UV统计、签到统计、用户点赞，用户签到，访问计数，在线用户数等

  编码实现1亿个数据找不存在的随机数

  • 题目需求
  • 有1千万个随机数，随机数的范围在1到1亿之间，将1到1亿之间没有在随机数中的数求出来
  • 前提条件：使用java现有数据结构或自定义数据结构，要求高效和省空间

• 位图在java里面的实现BitSet类

  • 是一个实现按需增长的位向量，位Set的每一个位置都有一个boolean值，默认初始值都是false

  • 底层实现是使用long数组作为内部存储结构的，所以BitSet的大小为long类型大小(64位)的整数倍

  • 如果指定了bitset的初始化大小，会规整到一个大于或者等于这个数字的64的整倍数（内存对齐）

    • 比如64位，bitset的大小是1个long，而65位时，bitset大小是2个long，即128位

  • 主要API

    void and(BitSet set) 对此目标位 set 和参数位 set 执行逻辑与操作。void or(BitSet set) 对此目标位集执行逻辑或操作void clear() 将此 BitSet 中的所有位设置为 falsevoid clear(int bitIndex)：将指定索引处的位设置为 falsevoid set(int index) 将指定索引处的位设置为 trueboolean get(int index) 返回指定索引处的位值int size()：返回此 BitSet 中的位数（按逻辑大小）【表示位值时实际使用空间的位数，值是64的整数倍】int length() 返回此 BitSet 的"逻辑大小",BitSet 中最高设置位的索引加 1int cardinality() 返回此 BitSet 中设置为 true 的位数

  • API测试

     public static void testBitSet(){        BitSet bitSet = new BitSet();        bitSet.set(0);        bitSet.set(66);                System.out.println(bitSet.size());   // 128        System.out.println(bitSet.length());  // 67        System.out.println(bitSet.cardinality()); // 2        System.out.println("=====");         System.out.println(bitSet.get(0));  // true        System.out.println(bitSet.get(1));  // false}

• 解答思路

  • 海量数据 里面查找是否存在，排序，交集，并集等，这类题目基本就是使用位图解决

  • 这类题目一般有两个面试形式

    • 方式一 口述问答形式
      • 给定X亿个不重复的 int的整数，再给一个数，如何快速判断这个数是否在那X亿个数当中
      • 解法：遍历X亿个数字，映射到BitMap中，对于给出的数，直接判断指定的位上存在不存在即可

  • 方式二 上机编码形式

public class BitSetTest {
public static void main(String[] args) {
// BitSet bitSet = new BitSet();
// bitSet.set(0);
// bitSet.set(66);
// System.out.println(bitSet.size());
// System.out.println(bitSet.length());
// System.out.println(bitSet.cardinality());
// System.out.println(bitSet.get(0));
// System.out.println(bitSet.get(1));
testBitSetMap();
}

public static void  testBitSetMap(){    //范围    int range=100000000;    //个数    int total=10000000;    //普通    ArrayList<Object> list = new ArrayList<>();    //声明一个位图    BitSet bitSet = new BitSet(range);    //产生随机数    for (int i = 0; i < total; i++) {        int random = (int) (Math.random() * range);        bitSet.set(random);        list.add(random);    }    System.out.println("产生的随机数:"+list);    System.out.println("bitSet是一的个数:"+bitSet.cardinality());    System.out.println("bitSet的大小:"+bitSet.size());    System.out.println("bitSet最高位加1 length:"+bitSet.length());    //遍历bitst,没有出现的打印出来    for (int i = 0; i <range; i++) {        if(!bitSet.get(i)) {            System.out.print(i+"");        }    }}

}
```

限定优惠劵业务解决方案-Redis7的BitMap应用

简介： 限定优惠劵业务解决方案-Redis的BitMap应用

• 需求背景

  • 互联网项目里多数离不开优惠劵，门槛优惠劵比较多
  • 现在有一个B2C电商平台，总用户量10亿，日活用户5千万
  • 每天都会发放几十到上百种不同类型的优惠劵，每类活动优惠劵领劵率到达20% （即1千万用户）
  • 现在发一个门槛优惠劵，一个用户只能领取一张，禁止重复领取，（user_id是64位的Long类型）
  • 针对”禁止重复领劵“，这个需求说下你的设计和思路

• 题目条件

  • 用户量大，优惠劵类型多，领劵率高，日活高也说明存在高并发

• 老王

  • 特别容易，新建一个coupon表，进行分库分表处理
  • 领过的用户把user_id插入数据库表中，下次如果再次领取的查询是否重复领取
  • 分析
    • 分库分表可以解决海量数据查询和存储问题
    • 但存在高并发场景，频繁插入查询数据库不行，严重影响性能

• 老帆

  • 存在高并发场景，频繁插入查询数据库不行，那可以结合Redis，进行判断

  docker部署redis7#部署docker run -itd --name xdclass-redis1 -p 6379:6379 -v /mydata/redis/data:/data redis:7.0.8 --requirepass 123456#进入容器内部docker exec -it 容器id /bin/bash#客户端连接./redis-cli#授权auth 123456

  • 使用Redis的Set集合存储领取过的用户user_id，每个优惠劵创建一个set集合
  • 领过的用户把user_id加入set集合中，下次如果再次领取的查询是否重复领取
  • 分析
    • Redis存储可以，解决了高并发场景避免了频繁查询数据库
    • 但使用Redis的Set数据结构存储，存在内存空间问题
    • 假如一个优惠劵有1千万用户领取，每个用户id占用空间64位
    • 需要存储空间大小 64bit * 1千万 = 6.4亿bit = 76MB，空间占据比较多

• 冰冰

  • 存在高并发场景，频繁插入查询数据库不行，那可以结合Redis，进行判断

  • 但数据结构应该采用bitmap数据结构，每个用户id占用空间只占用1位

  • 领过的用户把user_id加入bitmap中，下次如果再次领取的查询是否重复领取

  • Redis的bitmap

    Redis中提供的BitMap命令：setbit,getbit,bitcount领劵：setbit coupon-id  user-uid 1  例子：setbit coupon-id:876 8888 1已经领券判断：getbit  coupon-id  user-uid  例子：getbit coupon-id:876 8888  如果未领取状态是0，如果已领就是1  统计该优惠券有多少个用户领取  bitcount  coupon-id:876 返回值为该key值中1的个数  

  • 分析

    • 假如一个优惠劵有1千万用户领取，每个用户id占用空间1位
    • 需要存储空间大小 1bit * 1亿 = 1亿bit = 11.9MB，对比前面方案，省了7倍空间
      • 为啥是1亿，因为用户总量有1亿个，用户id顺序递增，最大到1亿的值，如果id值更大则需要更多空间

• 注意

  • 但假如该网站每天的独立访问用户很少， 例如只有10万，那这时候使用Bitmaps就不太合适， 因为基本上大部分位都是0

  • Set存储使用的空间：64位 * 100000 = 800KB

  • BitMap存储使用的空间：1bit * 1亿 = 1亿bit = 11.9MB

进阶版哈希表BloomFilter

简介：进阶版哈希表BloomFilter

• 背景需求

  • 海量数据去重需求解决方案

    • 如果用户的ID的数值类型是32位的话，如果有最大值是2^32，需要用512MB空间的【位图来表示】
      • 2^32bit=4294967296 比特(bit)=512 MB
    • 如果用户的ID的数值类型是64位的话，如果有最大值是2^64，需要用2048PB的位图来表示，硬件支撑不了
      • 2<sup>64bit=2</sup>61 Byte= 2048 PB
    • 所以Bitmap位图出现的问题
      • 好处：空间复杂度不随原始集合内元素的个数增加而增加
      • 坏处：空间复杂度随集合内【最大元素】增大而线性增大

• 什么是布隆过滤器

  • 1970年由布隆提出的一种空间效率很高的概率型数据结构，它可以用于检索一个元素是否在一个集合中

  • 由只存0或1的位数组和多个hash算法, 进行判断数据 【一定不存在或者可能存在的算法】

  • 如果这些bit数组 有任何一个0，则被判定的元素一定不在; 如果都是1则被检元素很可能在

  • 对比bitmap位图，布隆过滤器适合更多类型元素，通过hash值转换

  • 原理

    • 将元素添加到一个bitmap数组中，每个散列函数将元素映射到bitmap数组中的一个位置

    • 如果该位置已经被占用，则将该位置置为1，否则置为0

    • 当要查询一个元素是否存在时，只需要计算该元素的散列值，并检查bitmap数组中对应的位置是否已经被置为1

    • 如果都是1，则该元素可能存在，否则肯定不存在。

    • 优点

      • 占用空间小，查询速度快，空间效率和查询时间都远远超过一般的算法

    • 缺点

      • 有一定的误识别率，有一定的误识别率，即某个元素可能存在，但实际上并不存在。
      • 删除困难，因为无法确定某个位置是由哪个元素映射而来的

  • 记住结论：不存在的一定不存在，存在的不一定存在

• 注意点

  • 布隆过滤器存在误判率，数组越小，所占的空间越小，误判率越高；如果要降低误判率，则数组越长，但所占空间越大
  • 最大限度的避免误差, 选取的位数组应尽量大, hash函数的个数尽量多, 但空间占用的浪费和性能的下降
  • 业务选择的时候， 需要误判率与bit数组长度和hash函数数量的平衡
  • 布隆过滤器不能直接删除元素，因为所属的bit可能多个元素有使用
  • 如果要删除则需要重新生成布隆过滤器，或者把布隆过滤器改造成带引用计数的方式

爬虫URL去重实战-SpringBoot3.0+Guava布隆过滤器

• 前置环境准备

  • 本地 JDK17安装（SpringBoot3.0要求JDK17）

• 项目开发

  • 快速创建 https://start.spring.io/

  • 依赖包引入

    <dependencies>    <dependency>      <groupId>org.springframework.boot</groupId>      <artifactId>spring-boot-starter-web</artifactId>    </dependency>    <dependency>      <groupId>org.springframework.boot</groupId>      <artifactId>spring-boot-starter-test</artifactId>      <scope>test</scope>    </dependency>    <dependency>      <groupId>org.apache.commons</groupId>      <artifactId>commons-lang3</artifactId>      <version>3.12.0</version>    </dependency>    <dependency>      <groupId>com.google.guava</groupId>      <artifactId>guava</artifactId>      <version>31.1-jre</version>    </dependency>  </dependencies>

  • 数据准备 (随机生成500万URL)

        @Test    public void testGeneUrl() {        try{            File file = new File("/Users/xdclass/Desktop/dat.txt");            if (!file.exists()) {                file.createNewFile(); // 创建新文件,有同名的文件的话直接覆盖            }            FileOutputStream fos = new FileOutputStream(file, true);            OutputStreamWriter osw = new OutputStreamWriter(fos);            BufferedWriter bw = new BufferedWriter(osw);            StringBuilder builder = new StringBuilder();            for (int i = 0; i < 5000000; i++) {                String name = RandomStringUtils.randomAlphabetic(5);                String fileName = "https://www." + name + ".com" + i + "\n";                builder.append(fileName);            }            bw.write(String.valueOf(builder));            bw.newLine();            bw.flush();            bw.close();            osw.close();            fos.close();        } catch (FileNotFoundException e1) {            e1.printStackTrace();        } catch (IOException e2) {            e2.printStackTrace();        }    }

  • Guava包布隆过滤器介绍

    //参数一： 指定布隆过滤器中存的是什么类型的数据，有 IntegerFunnel，LongFunnel，StringCharsetFunnel//参数二： 预期需要存储的数据量//参数三： 误判率，默认是 0.03BloomFilter.create(Funnels.stringFunnel(Charset.forName("UTF-8")), 5000000, 0.01);

• 核心代码编写

  @Bean  public Set set() throws IOException {    Set<String> set = new LinkedHashSet<>();    FileInputStream inputStream = new FileInputStream(new File("/Users/xdclass/Desktop/dat.txt"));    InputStreamReader streamReader = new InputStreamReader(inputStream);    BufferedReader reader = new BufferedReader(streamReader);    String line = null;    while (true) {      line = reader.readLine();      if (line != null) {        set.add(line);      } else {        break;      }    }    inputStream.close();    return set;  }  @Bean  public BloomFilter bloomFilter() throws IOException {    BloomFilter bloomFilter = BloomFilter.create(Funnels.stringFunnel(Charset.forName("UTF-8")), 5000000, 0.01);    FileInputStream inputStream = new FileInputStream(new File("/Users/xdclass/Desktop/dat.txt"));    InputStreamReader streamReader = new InputStreamReader(inputStream);    BufferedReader reader = new BufferedReader(streamReader);    String line = null;    while (true) {      line = reader.readLine();      if (line != null) {        bloomFilter.put(line);      } else {        break;      }    }    inputStream.close();    return bloomFilter;  }    @RestController@RequestMapping("/api")public class FilterController {    @Autowired    private BloomFilter<String> bloomFilter;    @Autowired    private Set set;    @GetMapping("/bloom")    public String list() throws IOException {        //判断是否包含这个内容        if (bloomFilter.mightContain("https://www.dhVrX.com5")) {            return "命中了";        } else {            return "没命中";        }    }    @GetMapping("/set")    public String set() {        if (set.contains("httssps://www.shncb.com999663")) {            return "命中了";        } else {            return "没命中";        }    }}

• 案例测试 （调整JVM参数分配内存：-Xms100m -Xmx100m）

  • 使用Set集合
  • 使用布隆过滤器

进入安装目录

cd /usr/local/

新建Java安装目录，并进入此目录

mkdir java
cd java/

下载JDK

wget https://download.oracle.com/java/17/latest/jdk-17_linux-x64_bin.tar.gz
如果慢的话可以使用本地的

链接: https://pan.baidu.com/s/1D3UAl7q8XH_Gvtfyu1WX2g?pwd=uuah 提取码: uuah 

将安装包解压缩到java目录

tar -zxvf /root/jdk-17_linux-x64_bin.tar.gz

进入目录

cd jdk-17.0.4.1/

配置环境变量

vim /etc/profile

set java environment

JAVA_HOME=/usr/local/java/jdk-17.0.1
PATH=$PATH:$JAVA_HOME/bin
export JAVA_HOME PATH

重新加载profile

source /etc/profile

查看Java版本

java -version

我的博客即将同步至腾讯云开发者社区，邀请大家一同入驻：https://cloud.tencent.com/developer/support-plan?invite_code=2svi82dl2vy8c

已解决

(please check that you have transferred or created the zipfile in the appropriate BINARY mode and that you have compiled UnZip properly)

unzip智能压缩4g/2g大小的zip文件，根据版本不同，如果超大的文件的话，使用下面的方案p7zip

linux下大文件的压缩方法，使用p7zip,支持x86和arm

1: http://sourceforge.net/projects/p7zip/files/p7zip/

2: 下载源码包 p7zip_16.02_src_all.tar.bz2

3: tar -xjpf 解压后，进入bin目录使用 make & make install 进行安装

如果你想解压缩到特定的目录，可以使用以下命令：
“ 7z x 文件名.7z -o 目标目录 “
将文件解压到指定目录下。

解压加密的7z文件：
如果7z文件加密了，你需要提供密码来解压缩文件。使用以下命令：
“ 7z x 文件名.7z -p “
然后输入密码并按回车键。

官方地址：
https://arthas.aliyun.com

简介

简介

Arthas 是一款线上监控诊断产品，通过全局视角实时查看应用 load、内存、gc、线程的状态信息，并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法调用的出入参、异常，监测方法执行耗时，类加载信息等，大大提升线上问题排查效率。

背景

通常，本地开发环境无法访问生产环境。如果在生产环境中遇到问题，则无法使用 IDE 远程调试。更糟糕的是，在生产环境中调试是不可接受的，因为它会暂停所有线程，导致服务暂停。

开发人员可以尝试在测试环境或者预发环境中复现生产环境中的问题。但是，某些问题无法在不同的环境中轻松复现，甚至在重新启动后就消失了。

如果您正在考虑在代码中添加一些日志以帮助解决问题，您将必须经历以下阶段：测试、预发，然后生产。这种方法效率低下，更糟糕的是，该问题可能无法解决，因为一旦 JVM 重新启动，它可能无法复现，如上文所述。

Arthas 旨在解决这些问题。开发人员可以在线解决生产问题。无需 JVM 重启，无需代码更改。 Arthas 作为观察者永远不会暂停正在运行的线程。

Arthas（阿尔萨斯）能为你做什么？
Arthas 是 Alibaba 开源的 Java 诊断工具，深受开发者喜爱。

当你遇到以下类似问题而束手无策时，Arthas可以帮助你解决：

1. 这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
2. 我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
3. 遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
4. 线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
5. 是否有一个全局视角来查看系统的运行状况？
6. 有什么办法可以监控到 JVM 的实时运行状态？
7. 怎么快速定位应用的热点，生成火焰图？
8. 怎样直接从 JVM 内查找某个类的实例？
9. Arthas 支持 JDK 6+，支持 Linux/Mac/Windows，采用命令行交互模式，同时提供丰富的 Tab 自动补全功能，进一步方便进行问题的定位和诊断。

Arthas Install

使用arthas-boot（推荐）

下载arthas-boot.jar，然后用java -jar的方式启动：

curl -O https://arthas.aliyun.com/arthas-boot.jarjava -jar arthas-boot.jar

打印帮助信息：

java -jar arthas-boot.jar -h

• 如果下载速度比较慢，可以使用 aliyun 的镜像：

java -jar arthas-boot.jar --repo-mirror aliyun --use-http

使用as.sh

Arthas 支持在 Linux/Unix/Mac 等平台上一键安装，请复制以下内容，并粘贴到命令行中，敲 回车 执行即可：

curl -L https://arthas.aliyun.com/install.sh | sh

上述命令会下载启动脚本文件 as.sh 到当前目录，你可以放在任何地方或将其加入到 $PATH 中。

直接在 shell 下面执行./as.sh，就会进入交互界面。

也可以执行./as.sh -h来获取更多参数信息。

快速入门

快速入门

1. 执行一个jar包
2. 通过arthas来粘附，并且进行几种常用的操作
3. 通过一个案例快速入门

以下是一个简单的Java程序，每隔一秒生成一个随机数，再执行质因数分解，并打印出分解结果。代码
的内容不用理会这不是现在关注的点

package com.tiplus.api.web;import java.io.PrintStream;import java.util.ArrayList;import java.util.List;import java.util.Random;import java.util.concurrent.TimeUnit;public class MathGame {    private static Random random = new Random();    public int illegalArgumentCount = 0;    public List<Integer> primeFactors(int number) {        if (number < 2) {            ++this.illegalArgumentCount;            throw new IllegalArgumentException("number is: " + number + ", need >= 2");        }        ArrayList<Integer> result = new ArrayList<Integer>();        int i = 2;        while (i <= number) {            if (number % i == 0) {                result.add(i);                number /= i;                i = 2;                continue;            }            ++i;        }        return result;    }    public static void main(String[] args) throws InterruptedException {        MathGame game = new MathGame();        do {            game.run();            TimeUnit.SECONDS.sleep(1L);            System.out.println("在main函数中循环体内");        } while (true);    }    public void run() throws InterruptedException {System.out.println("-- 计算中的函数 -- ");        try {            int number = random.nextInt() / 10000;            List<Integer> primeFactors = this.primeFactors(number);            MathGame.print(number, primeFactors);        }        catch (Exception e) {            System.out.println(String.format("illegalArgumentCount:%3d, ", this.illegalArgumentCount) + e.getMessage());        }    }    public static void print(int number, List<Integer> primeFactors) {        StringBuffer sb = new StringBuffer(number + "=");        for (int factor : primeFactors) {            sb.append(factor).append('*');        }        if (sb.charAt(sb.length() - 1) == '*') {            sb.deleteCharAt(sb.length() - 1);        }        System.out.println(sb);    }}

选择应用 java 进程：

$ $ java -jar arthas-boot.jar* [1]: 35542  [2]: 71560 math-game.jar

查看 dashboard
输入dashboard，按回车/enter，会展示当前进程的信息，按ctrl+c可以中断执行。

$ dashboardID     NAME                   GROUP          PRIORI STATE  %CPU    TIME   INTERRU DAEMON17     pool-2-thread-1        system         5      WAITIN 67      0:0    false   false27     Timer-for-arthas-dashb system         10     RUNNAB 32      0:0    false   true11     AsyncAppender-Worker-a system         9      WAITIN 0       0:0    false   true9      Attach Listener        system         9      RUNNAB 0       0:0    false   true3      Finalizer              system         8      WAITIN 0       0:0    false   true2      Reference Handler      system         10     WAITIN 0       0:0    false   true4      Signal Dispatcher      system         9      RUNNAB 0       0:0    false   true26     as-command-execute-dae system         10     TIMED_ 0       0:0    false   true13     job-timeout            system         9      TIMED_ 0       0:0    false   true1      main                   main           5      TIMED_ 0       0:0    false   false14     nioEventLoopGroup-2-1  system         10     RUNNAB 0       0:0    false   false18     nioEventLoopGroup-2-2  system         10     RUNNAB 0       0:0    false   false23     nioEventLoopGroup-2-3  system         10     RUNNAB 0       0:0    false   false15     nioEventLoopGroup-3-1  system         10     RUNNAB 0       0:0    false   falseMemory             used   total max    usage GCheap               32M    155M  1820M  1.77% gc.ps_scavenge.count  4ps_eden_space      14M    65M   672M   2.21% gc.ps_scavenge.time(m 166ps_survivor_space  4M     5M    5M           s)ps_old_gen         12M    85M   1365M  0.91% gc.ps_marksweep.count 0nonheap            20M    23M   -1           gc.ps_marksweep.time( 0code_cache         3M     5M    240M   1.32% ms)Runtimeos.name                Mac OS Xos.version             10.13.4java.version           1.8.0_162java.home              /Library/Java/JavaVir                       tualMachines/jdk1.8.0                       _162.jdk/Contents/Hom                       e/jre

web:http://127.0.0.1:3658/

常用命令入门

dashboard仪表盘

注：输入前面部分字母，按tab可以自动补全命令

1. 第一部分是显示JVM中运行的所有线程：所在线程组，优先级，线程的状态，CPU的占用率，是
   否是后台进程等
2. 第二部分显示的JVM内存的使用情况
3. 第三部分是操作系统的一些信息和Java版本号
   

thread 查看当前线程信息，查看线程的堆栈

jad 反编译指定已加载类的源码

watch 函数执行数据观测-debug使用（程序实际运行使用）

让你能方便的观察到指定函数的调用情况。能观察到的范围为：返回值、抛出异常、入参，通过编写 OGNL 表达式进行对应变量的查看。

watch demo.MathGame primeFactors returnObj

基础命令

help 查看命令帮助信息，可以查看当前 arthas 版本支持的指令，或者查看具体指令的使用说明。

cat 打印文件内容，和 linux 里的 cat 命令类似。

grep 类似传统的grep命令。

pwd 返回当前的工作目录，和 linux 命令类似

cls 清空当前屏幕区域。

session 查看当前会话的信息，显示当前绑定的 pid 以及会话 id。

reset 重置增强类，将被 Arthas 增强过的类全部还原，Arthas 服务端stop时会重置所有增强过的类

version 输出当前目标 Java 进程所加载的 Arthas 版本号

quit 退出当前 Arthas 客户端，其他 Arthas 客户端不受影响。等同于exit、logout、q三个指令。

stop 关闭 Arthas 服务端，所有 Arthas 客户端全部退出。

keymap 命令输出当前的快捷键映射表：

jvm相关

dashboard 仪表板

• ID: Java级别的线程ID，注意这个ID不能跟jstack中的nativeID一一对应
• NAME: 线程名
• GROUP: 线程组名
• PRIORITY: 线程优先级, 1~10之间的数字，越大表示优先级越高
• STATE: 线程的状态
• CPU%: 线程消耗的cpu占比，采样100ms，将所有线程在这100ms内的cpu使用量求和，再算出每个线程的cpu使用占比。
• TIME: 线程运行总时间，数据格式为 分：秒
• INTERRUPTED: 线程当前的中断位状态
• DAEMON: 是否是daemon线程

thread 线程

查看当前线程信息，查看线程的堆栈

参数名称参数说明id线程 id[n:]指定最忙的前 N 个线程并打印堆栈[b]找出当前阻塞其他线程的线程[i <value>]指定 cpu 使用率统计的采样间隔，单位为毫秒，默认值为 200[--all]显示所有匹配的线程

jvm 虚拟机 查看当前 JVM 信息

• THREAD相关
  • COUNT: JVM当前活跃的线程数
  • DAEMON-COUNT: JVM当前活跃的守护线程数
  • PEAK-COUNT: 从JVM启动开始曾经活着的最大线程数
  • STARTED-COUNT: 从JVM启动开始总共启动过的线程次数
  • DEADLOCK-COUNT: JVM当前死锁的线程数
  • 指定采样时间间隔，每过1000毫秒采样，显示最占时间的3个线程
    thread -i 1000 -n 3
    1
    2
• 查看处于等待状态的线程
  thread --state WAITING
  1
  2
• 文件描述符相关
  • MAX-FILE-DESCRIPTOR-COUNT：JVM进程最大可以打开的文件描述符数
  • OPEN-FILE-DESCRIPTOR-COUNT：JVM当前打开的文件描述符数

sysprop 系统属性

查看当前 JVM 的系统属性(System Property)

sysenv 查看当前JVM的环境属性( System Environment Variables )

vmoption 查看，更新VM诊断相关的参数

getstatic 通过getstatic命令可以方便的查看类的静态属性

ognl 执行 ognl 表达式

class/classloader相关

sc 查看 JVM 已加载的类信息

Search-Class” 的简写，这个命令能搜索出所有已经加载到 JVM 中的 Class 信息，这个命令支持的参数有[d]、[E]、[f] 和 [x:]。

sm 查看已加载类的方法信息

“Search-Method” 的简写，这个命令能搜索出所有已经加载了 Class 信息的方法信息。
sm 命令只能看到由当前类所声明 (declaring) 的方法，父类则无法看到。

jad 查看已加载类的方法信息 反编译

jad 命令将 JVM 中实际运行的 class 的 byte code 反编译成 java 代码，便于你理解业务逻辑；
在 Arthas Console 上，反编译出来的源码是带语法高亮的，阅读更方便
当然，反编译出来的 java 代码可能会存在语法错误，但不影响你进行阅读理解

mc Memory Compiler/内存编译器，编译.java文件生成.class。

redefine 加载外部的 .class 文件，redefine到JVM里

retransform 加载外部的.class文件，retransform jvm 已加载的类。

dump dump 已加载类的 bytecode 到特定目录

classloader 查看 classloader 的继承树，urls，类加载信息

classloader 命令将 JVM 中所有的 classloader 的信息统计出来，并可以展示继承树，urls 等。
可以让指定的 classloader 去 getResources，打印出所有查找到的 resources 的 url。对于ResourceNotFoundException比较有用。

monitor/watch/trace相关

monitor方法执行监控

对匹配 class-pattern／method-pattern／condition-express的类、方法的调用进行监控。
monitor 命令是一个非实时返回命令.
实时返回命令是输入之后立即返回，而非实时返回的命令，则是不断的等待目标 Java 进程返回信息，直到用户输入 Ctrl+C 为止。
服务端是以任务的形式在后台跑任务，植入的代码随着任务的中止而不会被执行，所以任务关闭后，不会对原有性能产生太大影响，而且原则上，任何 Arthas 命令不会引起原有业务逻辑的改变。

watch 函数执行数据观测

让你能方便的观察到指定函数的调用情况。能观察到的范围为：返回值、抛出异常、入参，通过编写 OGNL 表达式进行对应变量的查看。

trace方法内部调用路径，并输出方法路径上的每个节点上耗时

trace 命令能主动搜索 class-pattern／method-pattern 对应的方法调用路径，渲染和统计整个调用链路上的所有性能开销和追踪调用链路。

stack 输出当前方法被调用的调用路径

很多时候我们都知道一个方法被执行，但这个方法被执行的路径非常多，或者你根本就不知道这个方法是从那里被执行了，此时你需要的是 stack 命令

多个压缩包合并

cat xxxx.tar.zip.0** >xxxx.tar.zip

解压 unzip xxxx.tar.zip
cat xxxx.tar.zip.0** >xxxx.tar.zip

EVAL “local licenseKeys = redis.call(‘keys’, KEYS[1]) for i, v in ipairs(licenseKeys) do redis.call(‘del’, v) end” 1 group_*

redis-cli -h r-2zeyhq5t9be111.redis.rds.aliyuncs.com -p 6379 -a mima keys 删除的key* | xargs -r -t -n1 ./redis-cli -h r-2zeyhq5t9be111.redis.rds.aliyuncs.com -p 6379 -a mima del

最后回想起来，生产通过nginx进行了代理。那么问题就在nginx这里，来吧，给出答案

nginx.conf配置文件中的http部分中添加如下配置：
underscores_in_headers on; （默认 underscores_in_headers 为off）

lsblk

或者

sudo fdisk -l

2. 创建挂载点

sudo mkdir -p /mnt/mydisk

3. 挂载设备

sudo mount /dev/sdb1 /mnt/mydisk

4. 自动挂载（可选）[谨慎，如果操作失误，会开不开机的哦]

sudo blkid /dev/sdb1

输出例子

/dev/sdb1: UUID=“1234-5678” TYPE=“ntfs”

然后，编辑 /etc/fstab 文件：

sudo vim /etc/fstab

在文件末尾添加一行，例如：

UUID=1234-5678 /mnt/mydisk ntfs defaults 0 2

第一章 DevOps

第1集 环境了解

• 基本要求
  熟练使⽤CentOS 7 / 8 或者其他Linux发现版
  了解Docker是什么，不要求会⽤，但要知道容器化是怎么回事
  最佳效果
  掌握Docker的各种命令，在学习、⼯作中使⽤过Docker，理解什么是容器
• 涉及组件
  CentOS 7、Docker、Gitlab、Jenkins、IDEA、Kubeode、Kubernetes、Helm、 Harbor
• 环境准备
  4台2核8G物理机、虚拟机、云主机

第2集 什么是devops

DevOps 是 Development（开发）和 Operations（运维）的组合，是 ⼀种⽅法论，是⼀组过程、⽅法与系统的统称，⽤于促进应⽤开发、应2
⽤运维和质量保障（QA）部⻔之间的沟通、协作与整合，以期打破传 统开发和运营之间的壁垒和鸿沟
CI/CD 的主要概念是持续集成、持续交付和持续部署。 CI/CD 是解决集成新代码可能给开发和运营团队带来的问题（⼜名“集 成地狱”）的解决⽅案。

• CI/CD 中的“CD”指的是持续交付(Continuous Delivery)/持续部署
  持续交付通常意味着开发⼈员对应⽤程序的更改会⾃动进⾏错误测试并 上传到存储库（如 GitHub 或容器注册表），然后运维团队可以将它们 部署到实时⽣产环境中。这是对开发团队和业务团队之间可⻅性和沟通 不佳问题的解决⽅案。为此，持续交付的⽬的是确保以最少的努⼒部署 新代码
• CI/CD 中的“CI”
  在现代应⽤程序开发中，⽬标是让多个开发⼈员同时开发同⼀个应⽤程 序的不同功能。但是，如果⼀个组织被设置为在某⼀天（称为“合并 ⽇”）将所有分⽀源代码合并在⼀起，那么最终的⼯作可能是乏味的、 ⼿动的和耗时的。这是因为当⼀个单独⼯作的开发⼈员对应⽤程序进⾏ 更改时，它可能会与其他开发⼈员同时进⾏的不同更改发⽣冲突。如果 每个开发⼈员都定制了他们⾃⼰的本地集成开发环境 (IDE)，⽽不是团 队就⼀个基于云的 IDE 达成⼀致，这个问题可能会更加复杂。 5
  持续集成 (CI) 帮助开发⼈员更频繁地将他们的代码更改合并回共享分⽀ 或“主⼲”——有时甚⾄每天。合并开发⼈员对应⽤程序的更改后，将通 过⾃动构建应⽤程序并运⾏不同级别的⾃动化测试（通常是单元测试和 集成测试）来验证这些更改，以确保更改不会破坏应⽤程序。这意味着 测试从类和函数到构成整个应⽤程序的不同模块的所有内容。如果⾃动 化测试发现新代码和现有代码之间存在冲突，CI 可以更轻松地快速、频 繁地修复这些错误。

第3集 docker安装

开发机-》gitlab->jenkins->生产服务器
80 8080

• 准备两台服务器安装docker(jenkins-gitlab)

27.129 130

systemctl stop firewalldsystemctl stop firewalld.servicesystemctl disable firewalld.servicefirewall-cmd --zone=public --remove-port=80/tcp --permanent# 修改时区ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime# hwclock -w

• 安装docker

1. 安装底层⼯具

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

2. 加⼊阿⾥云yum仓库提速docker下载过程

sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

3. 更新⼀下仓库的源信息

sudo yum makecache fast

4. ⾃动安装下载Docker

sudo yum -y install docker-ce

5. 启动Docker服务

sudo service docker start

6. 验证docker是否启动成功

docker version

7. Aliyun加速镜像下载

https://cr.console.aliyun.com/cn-shanghai/instances/mirrors

sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://fskvstob.mirror.aliyuncs.com"]}EOFsudo systemctl daemon-reloadsudo systemctl restart docker

生产 安装jdk

• 安装OpenJDK8+

yum -y install java-1.8.0-openjdk-devel.x86_64sudo cat >> /etc/profile <<-'EOF'export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdkexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATHEOFsource /etc/profileecho $JAVA_HOME

第4集 gitlab安装

docker服务器操作

• 下载部署Gitlab容器（27.129）

    rm -rf /etc/gitlab    rm -rf /var/log/gitlab    rm -rf /var/opt/gitlabdocker rm -f gitlabmkdir -p /etc/gitlabmkdir -p /var/log/gitlabmkdir -p /var/opt/gitlabchmod -R 755 /etc/gitlabchmod -R 755 /var/log/gitlabchmod -R 755 /var/opt/gitlabdocker run --name gitlab \--hostname gitlab.example.com \--restart=always \-v /etc/gitlab:/etc/gitlab \-v /var/log/gitlab:/var/log/gitlab \-v /var/opt/gitlab:/var/opt/gitlab \-p 80:80 \-d gitlab/gitlab-ce

查看gitlab 初始化账号密码

docker logs -f gitlab 

但是你会发现gitlab日志一直在持续输出，不方便查看。

sudo docker exec -it gitlab grep 'Password:' /etc/gitlab/initial_root_password

http://192.168.27.129

⽤户头像->Preferences->Password修改初始密码

第4集 Jenkins安装

https://www.jenkins.io/

• 配置JDK&Maven

cd /usr/localwget --no-check-certificate https://manongbiji.oss-cn-beijing.aliyuncs.com/ittailkshow/devops/download/jdk-8u341-linux-x64.tar.gzwget --no-check-certificate https://manongbiji.oss-cn-beijing.aliyuncs.com/ittailkshow/devops/download/apache-maven-3.8.6-bin.tar.gztar zxvf jdk-8u341-linux-x64.tar.gztar zxvf apache-maven-3.8.6-bin.tar.gzmv jdk1.8.0_341 jdkmv apache-maven-3.8.6 mavenrm -f jdk-8u341-linux-x64.tar.gzrm -f apache-maven-3.8.6-bin.tar.gzcd /usr/local/maven/conf# 使用别人配置好的mavenrm -f settings.xmlwget --no-check-certificate https://manongbiji.oss-cn-beijing.aliyuncs.com/ittailkshow/devops/download/settings.xml

• 部署Jenkins容器（27.131）

rm -rf /var/jenkins/docker rm -f jenkinsmkdir -p /var/jenkins/chmod -R 777 /var/jenkins/docker run --name jenkins \--restart=always \-v /var/jenkins/:/var/jenkins_home/ \-v /usr/local/jdk:/usr/local/jdk \-v /usr/local/maven:/usr/local/maven \-p 8080:8080 \-e JENKINS_UC=https://mirrors.cloud.tencent.com/jenkins/ \-e JENKINS_UC_DOWNLOAD=https://mirrors.cloud.tencent.com/jenkins/ \-d jenkins/jenkins:2.395docker logs -f jenkinsdocker exec -it jenkins bash

• 国内常⽤的Jenkins插件安装源

  • tencent https://mirrors.cloud.tencent.com/jenkins/
  • huawei https://mirrors.huaweicloud.com/jenkins/
  • tsinghua
  • https://mirrors.tuna.tsinghua.edu.cn/jenkins/
  • ustc https://mirrors.ustc.edu.cn/jenkins/
  • bit http://mirror.bit.edu.cn/jenkins/

• http://192.168.27.131:8080/

⾸⻚点击Manage Jenkins _>管理插件

添加Git Parameter与Publish Over SSH 两款插件即可

第5集 Jenkins⾃动拉取构建代码

首先将代码提交到gitlab(此步骤忽略)

1. Jenkins新建任务myproject-ci，选择⾃由⻛格 -》源码管理-》git

2. 构建：拉取完毕构建代码，选择执⾏Shell

sh /usr/local/maven/bin/mvn package

3. 选择构建后操作：“Send build artifacts over SSH”向231服务器发布jar包并运⾏

之前并没有配置⽬标服务器，点击主界⾯“系统配置”找到Public Over SSH，新增⼀个SSH Server

Name：Target-130

Hostname：192.168.27.130

Username：root

Remote Directory：/usr/local

Password: 123456

4. 回到myproject-ci的配置⾯板，找到构建后操作

SSH Server：

name：Target-130

Source files：target/*.jar

Exec command

pkill javanohup java -jar /usr/local/target/myproject.jar & sleep 1 （一秒钟推出）

一定记得点击高级，exec in pty

第5集 ⾃动构建Docker镜像

• 修改原有配置

Dockerfile⽂件

FROM openjdk:8-slimWORKDIR /usr/localCOPY myproject.jar .CMD java -jar myproject.jar

回到Jenkins，找到构建后操作，删除Exec command所有内容

add transfer set：增加一个传输项

Source files：docker/*

Exec command

echo 0

点击运行发现生产服务器多了两个文件夹docker 和 target，现在将两个目录合并在一起

Remove prefix：target

Remove prefix：docker

• 构建镜像(docker)
  • Exec command

docker build -t it/myproject:1.0 /usr/local/docker rm -f myprojectdocker run -d -p 80:80--name=myproject it/myproject:1.0

需要pkill 掉之前的java进程

第6集 Harbor安装

开发机-》gitlab->jenkins->Harbor->生产服务器

cat > /etc/sysctl.conf <<-'EOF'net.ipv4.ip_forward=1vm.max_map_count=655360EOFsysctl -psystemctl stop firewalld

⾃动部署安装Docker-Compose

不好下本地安装吧 sudo curl -L https://github.com/docker/compose/releases/download/1.18.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-composesudo chmod +x /usr/local/bin/docker-composesudo ln -s /usr/local/bin/docker-compose /usr/bin/docker-composedocker-compose --versionservice docker restart

下载离线harbor安装包

下载链接：https://github.com/goharbor/harbor/releases

cd /usr/local太大了，离线装吧 wget --no-check-certificate https://github.com/goharbor/harbor/releases/download/v1.10.14/harbor-offline-installer-v1.10.14.tgzwget https://ghproxy.com/https://github.com/goharbor/harbor/releases/download/v2.5.3/harbor-offline-installer-v2.5.3.tgztar xzvf harbor-offline-installer-v2.5.3.tgz 

修改Habor核⼼配置⽂件harbor.yml

hostname：192.168.27.132

注释掉https.*

默认密码：Harbor12345

安装Harbor

./install

Harbor由⼗多个容器组合构成，必须使⽤docker-compose才可以款速安装

卸载Harbor

docker-compose down

http://192.168.27.132/

⽤户名：admin

密码：Harbor12345

第7集 Harbor新建镜像仓库并推送

Harbor新建镜像仓库

项⽬名称：public

访问级别：公开

在132Harbor服务器，修改daemon.json，增加harbor私有仓库地址，insecure-registries

cat > /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://fskvstob.mirror.aliyuncs.com"], "insecure-registries": ["192.168.27.132:80"]}EOFsystemctl daemon-reloadsystemctl restart docker

生产服务器也同时添加上面的，进行测试

docker imagesdocker tag b7909ddfe5d1 192.168.27.132:80/public/myproject:1.0 必须包含版本号（public仓库名称 myproject:1.0自定义）docker login -u admin -p Harbor12345 192.168.27.132:80docker push 192.168.27.132:80/public/myproject:1.0

第8集 Jenkins自动实现CI持续集成

开发机-》gitlab->jenkins->Harbor->生产服务器

确保Harbor节点上登记了insecure-registries

cat > /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://fskvstob.mirror.aliyuncs.com"], "insecure-registries": ["192.168.27.132:80"]}EOFsystemctl daemon-reloadsystemctl restart docker

在系统设置中新增SSH Server： name：Harbor-132hostname：192.168.27.132username：root password：123456remote directory：/usr/local 

• 在原有构建后操作生产服务器之前，新增Harbor节点操作

向Harbor传输Jar⽂件 向Harbor节点传输Dockerfile，并构建、推送容器

docker build -t 192.168.27.132:80/public/myproject:1.0 /usr/local/docker login -u admin -p Harbor12345 192.168.27.132:80docker push 192.168.27.132:80/public/myproject:1.0

• 立即构建测试
• 对原有的生产节点进⾏调整，只负责容器创建⼯作

docker rm -f myprojectdocker run -d -p 80:80 --name=myproject 192.168.27.132:80/public/myproject:1.0

• 再次重新构建，容器已经可以⾃动发布

此处注意，生产节点也必须添加

cat > /etc/docker/daemon.json <<-'EOF'{ "registry-mirrors": ["https://fskvstob.mirror.aliyuncs.com"], "insecure-registries": ["192.168.27.132:80"]}EOFsystemctl daemon-reloadsystemctl restart docker

第9集 Jenkins参数化构建多版本发布

解决固定版本号问题

• 添加git参数化设置

名称：tag

描述：发布的版本号

默认值：orgin/main

• 在构建部分(Build Steps)：增加构建步骤

原本的package前新增Shell，现⾏checkout指定的版本，$tag引⽤选择的版本号

git checkout $tag

Harbor仓库Exec command，将所有1.0改为$tag进⾏引⽤

• 在gitlab中

点击repository->tag,进行打标签

开始构建

第10集 Jenkins Pipeline流水线作业

Pipeline流⽔线提供了脚本化，按阶段步骤处理

配置过程

参照之前选择参数化构建

• 先配置git参数化构建以及代码拉取

pipeline {    agent any    stages {        stage('Pull SourceCode'){            steps{                这里取流水线代码生成checkout            }        }            }}

• maven构建

        stage('Maven Build') {             steps {               这里取流水线代码生成 shell            }        }

• 将镜像推送到harbor

        stage('Publish Harbor Image') {             steps {               这里取流水线代码生成 sendbuild ssh            }        }

• 拉取镜像启动

     stage('Run Container') {             steps {               这里取流水线代码生成 sendbuild ssh            }        }

完整脚本

pipeline {    agent any    stages {        stage('Pull SourceCode'){            steps{                checkout scmGit(branches: [[name: '$tag']], extensions: [], userRemoteConfigs: [[credentialsId: '5431ccf7-c145-454a-902a-86c9f0a31b22', url: 'http://192.168.27.129/root/cicd.git']])            }        }        stage('Maven Build') {             steps {               sh '/usr/local/maven/bin/mvn package'            }        }        stage('Publish Harbor Image') {             steps {    sshPublisher(publishers: [sshPublisherDesc(configName: 'Target-132', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: 'target', sourceFiles: 'target/*.jar'), sshTransfer(cleanRemote: false, excludes: '', execCommand: '''docker build -t 192.168.27.132:80/public/myproject:$tag /usr/local/docker login -u admin -p Harbor12345 192.168.27.132:80docker push 192.168.27.132:80/public/myproject:$tag''', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: 'docker', sourceFiles: 'docker/*')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])            }        }        stage('Run Container') {             steps {               sshPublisher(publishers: [sshPublisherDesc(configName: 'Target-130', transfers: [sshTransfer(cleanRemote: false, excludes: '', execCommand: '''docker rm -f myprojectdocker run -d -p 80:80 --name=myproject 192.168.27.132:80/public/myproject:$tag''', execTimeout: 120000, flatten: false, makeEmptyDirs: false, noDefaultExcludes: false, patternSeparator: '[, ]+', remoteDirectory: '', remoteDirectorySDF: false, removePrefix: '', sourceFiles: '')], usePromotionTimestamp: false, useWorkspaceInPromotion: false, verbose: false)])            }        }            }}

第11集 Gitlab托管Jenkinsfile

Repository URL: http://192.168.27.129/root/cicd.git

在源码根路径下新增Jenkinsfile，内容与直接使⽤Script完全相同，然

后上传⾄master分⽀即可。

Jenkins Pipeline会先从Gitlab下载Jekinsfile，在读取脚本执⾏

第二章 引入Kubernetes

第1集 引⼊Kubernetes

开发机-》gitlab->jenkins->Harbor->k9s->生产服务器

随着系统可部署组件的数量增⻓，把它们都管理起来会变得越来越困难。需要⼀个更好的⽅式来部署和

管理这些组件，并⽀持基础设施的全球性伸缩，⾕歌可能是第⼀个意识到这⼀点的公司。⾕歌等全球少

数⼏个公司运⾏着成千上万的服务器，⽽且在如此海量规模下，不得不处理部署管理的问题。这推动着

他们找出解决⽅案使成千上万组件的管理变得有效且成本低廉。

Kubernetes是⼀个软件系统，它允许你在其上很容易地部署和管理容器化的应⽤。它依赖于Linux容器的

特性来运⾏异构应⽤，⽽⽆须知道这些应⽤的内部详情，也不需要⼿动将这些应⽤部署到每台机器。因

为这些应⽤运⾏在容器⾥，它们不会影响运⾏在同⼀台服务器上的其他应⽤，当你是为完全不同的组织

机构运⾏应⽤时，这就很关键了。这对于云供应商来说是⾄关重要的，因为它们在追求⾼硬件可⽤率的

同时也必须保障所承载应⽤的完全隔离。

第2集 快速安装Kubernetes

• 利⽤Kubeode快速部署单节点K8S

• 下载2022-04-24版本

• 将压缩包上传⾄/usr/local⽬录

• 解压缩，并执⾏安装

tar xf k8s-2022-04-24.tarcd k8s-2022-04-24bash install.sh

• 单机部署

选择第一个

安装成功，⽣成各种⽤户名密码

• http://192.168.31.233:30080

  ⽤户名：admin

  密码：Kuboard123

• 添加集群