性能优化

为什么延迟双删在生产环境中很少使用？真实的缓存一致性策略 提到缓存，一个绕不开的话题就是缓存与数据库的一致性。 在学习缓存理论时，我对“延迟双删”这个精巧的设计印象深刻。它通过“删除缓存 -> 更新数据库 -> 延迟再次删除缓存”这三步，似乎完美地解决了“脏数据”问题。 ...

工程估算与性能建模 第一部分：性能估算的常用计算模型 确实没有一个"万能公式"可以计算所有问题，但我们可以建立一些思维模型来进行估算。 1. CPU 资源估算 核心思想: 总CPU时间 = 总请求数 × 平均单次请求处理耗时 估算公式: 单核CPU总处理时长 (秒) = QPS × 平均单次请求CPU耗时 (秒) 所需CPU核心数 = (单核CPU总处理时长 / 任务时间窗口秒数) / CPU目标使用率 解释: 平均单次请求CPU耗时: 这个数据需要通过**性能分析（Profiling）**来获取，这也是你之前做的"性能基准模型"的意义所在。 CPU目标使用率: 通常设为70%-80%。你不能假设CPU能100%跑满，必须留出余量应对突发流量和系统开销。 例子: QPS为2000，平均每个请求消耗CPU 10毫秒（0.01秒），希望CPU使用率不超过70%。 每秒需要的CPU总时间 = 2000 * 0.01 = 20秒 所需核心数 = 20 / 0.7 ≈ 28.57 -> 需要约 29个CPU核心。 2. I/O 资源估算 (网络 & 磁盘) 网络I/O: 所需网络带宽 (Mbps) = QPS × 平均请求/响应大小 (KB) × 8 / 1024 例子: QPS为2000，平均响应大小为50KB。 所需带宽 = 2000 * 50 * 8 / 1024 ≈ 781 Mbps 磁盘I/O: 所需IOPS (每秒读写次数) = 读取QPS + 写入QPS 所需磁盘吞吐 (MB/s) = (读取QPS × 平均读取大小) + (写入QPS × 平均写入大小) 关键点: 磁盘的瓶颈通常是 IOPS 和 延迟（latency），尤其是对于数据库这种需要大量随机读写的应用。 3. 内存资源估算 核心思想: 总内存 = 常驻内存 + (并发连接数 × 每个连接的内存) + 缓存 估算公式: 总内存占用 ≈ 基础服务内存 + (峰值并发数 × 单个请求平均内存开销) + 各类缓存大小 解释: 基础服务内存: 程序启动后，什么都不干时占用的内存。 单个请求平均内存开销: 处理一个请求时，创建的变量、对象、缓冲区等占用的内存。这个也需要通过压测和内存分析工具来获得。 缓存: 如Redis客户端缓存、本地缓存等，这部分通常是固定的。 第二部分：如何漂亮地回答GC问题？ 你当时的回答思路（从CPU指令去推算）体现了你的思考，但没有命中面试官想考察的核心点。我们来重构一下回答框架。 ...

广告事件聚合系统设计笔记 Created: 2025年4月30日 11:39 Status: 完成 1. 系统概述与目标 系统定义: 广告事件聚合系统是一个用于收集、处理和统计广告相关事件（如展示、点击）数据的系统。其核心目标是提供近乎实时的广告效果指标，并存储历史聚合数据以供分析。 ...

IO密集型和CPU密集型业务占比 Created: 2025年1月30日 02:50 Status: 完成 一、I/O密集型任务的主导场景 1. 高并发用户请求处理 典型业务：电商平台、社交网络、在线教育、新闻门户。 核心任务： HTTP API响应：处理用户登录、商品查询、订单提交等请求，涉及数据库读写（MySQL/MongoDB）、缓存访问（Redis/Memcached）。 实时消息推送：聊天应用（如微信）、通知系统（如邮件/短信）依赖WebSocket或长轮询，需高频网络通信。 技术挑战：应对C10K问题，需通过异步框架（Node.js、Go）或事件驱动模型（Nginx）提升吞吐量。 2. 数据存储与检索 典型业务：内容平台（如短视频）、云存储服务（如阿里云OSS）。 核心任务： 文件读写：用户上传图片/视频至对象存储，分发时通过CDN加速。 数据库操作：社交媒体的动态加载、评论查询涉及分库分表和索引优化。 技术工具：分布式数据库（TiDB）、NoSQL（Cassandra）、搜索引擎（Elasticsearch）。 3. 微服务间通信 典型业务：微服务架构的金融系统、在线旅游平台。 核心任务： RPC调用：服务间通过gRPC/Dubbo同步数据。 消息队列：使用Kafka/RabbitMQ实现异步削峰和解耦。 性能瓶颈：网络延迟和序列化/反序列化效率。 4. 实时数据流处理 典型业务：物联网（IoT）、金融交易监控。 核心任务： 流式计算：Flink/Spark Streaming处理传感器数据或交易日志。 低延迟响应：风控系统需在毫秒级完成反欺诈计算。 二、CPU密集型任务的主要分布 1. 数据科学与机器学习 典型业务：推荐系统（如抖音算法）、广告投放（如精准CTR预测）。 核心任务： 模型训练：使用TensorFlow/PyTorch进行大规模数据训练（GPU加速）。 实时推理：图像识别（如人脸验证）、自然语言处理（如智能客服）。 资源需求：依赖GPU集群和分布式计算框架（Horovod）。 2. 多媒体处理 典型业务：视频平台（如YouTube）、直播应用（如Twitch）。 核心任务： 视频转码：H.264/H.265编码转换（FFmpeg）。 图像渲染：游戏云服务（如GeForce NOW）的实时画面生成。 技术痛点：计算资源密集，需优化并行算法。 3. 加密与安全计算 典型业务：区块链（如以太坊）、支付系统（如支付宝）。 核心任务： 加密运算：非对称加密（RSA）、哈希计算（SHA-256）。 零知识证明：隐私保护场景下的复杂数学运算。 硬件依赖：部分场景需专用硬件（如SGX）。 4. 复杂业务逻辑处理 典型业务：3D设计软件（如AutoCAD）、仿真系统（如ANSYS）。 核心任务： 物理引擎计算：游戏中的碰撞检测、流体模拟。 数值分析：金融衍生品定价模型（蒙特卡洛模拟）。 三、任务类型占比分析 1. 互联网业务场景占比 任务类型 占比 典型场景举例 I/O密集型 70% API请求、数据库操作、消息队列 CPU密集型 25% 机器学习推理、视频转码、加密计算 混合型任务 5% 实时数据分析（如Flink窗口计算） 2. 趋势变化 I/O密集型增长点： 物联网设备爆发（2025年预计全球750亿台设备联网）。 实时交互应用普及（元宇宙、VR社交）。 CPU密集型增长点： AI工业化落地（AIGC、自动驾驶）。 量子计算突破带来的新型计算需求。 四、技术选型建议 1. I/O密集型场景优化 架构设计： 异步非阻塞框架（Netty、Tornado）。 缓存分层策略（本地缓存+分布式缓存）。 基础设施： 使用RDMA网络降低延迟。 部署NVMe SSD提升存储IOPS。 2. CPU密集型场景优化 计算加速： GPU/TPU异构计算（CUDA、OpenCL）。 分布式任务调度（Kubernetes批处理任务）。 代码级优化： SIMD指令集（AVX-512）。 JIT编译（PyPy、Numba）。 五、总结 当前互联网业务中，I/O密集型任务占据主导地位（约70%），集中在高并发请求处理、数据存储与微服务通信；而CPU密集型任务（约25%）则集中在AI、多媒体和安全领域。随着边缘计算和AI技术的普及，未来两类任务将更深度耦合（如端侧AI推理需同时优化I/O和计算），技术选型需兼顾灵活性与性能。 ...