Aster 的技术博客

如何写好prompt

如何写好prompt Created: 2025年6月1日 01:07 Status: 完成 https://www.bilibili.com/video/BV1ZCjgzDEwA/?spm_id_from=333.1007.tianma.1-3-3.click&vd_source=836fe27208da24d6dc88c97a9c9c3b53 开篇：Prompt 的重要性与生产环境的挑战 Prompt 无处不在：我们平时和大型模型对话，输入的每一句话其实都是一个 Prompt。生产环境的严苛要求：高精度：与我们平时调试代码（可以三番五次试错）不同，线上应用的 Prompt 要求一次调用就能产生高精度的、可直接使用的结果。没有反复试错的机会，“调一次它就可能要出去，结果就要用了”。高置信度：目标是尽可能提升模型输出结果的置信度和准确度。核心问题：生产环境中的 Prompt 应该是什么样子？它应该由哪些方面组成，才能达到这种高要求？ Prompt 设计技巧概览 ...

高可用IM

高可用IM Created: 2025年1月19日 18:15 Status: 完成一套高可用实时消息系统实现实时消息系统与消息队列系统实时消息【即时通信】系统，有群聊和单聊两种方式，其形态异于消息队列： 1 大量的 group 信息变动群聊形式的即时通信系统在正常服务形态下，瞬时可能有大量用户登入登出，而消息队列系统 producer/consumer group 内成员变动相对静止。 ...

IO密集型和CPU密集型业务占比

IO密集型和CPU密集型业务占比 Created: 2025年1月30日 02:50 Status: 完成一、I/O密集型任务的主导场景 1. 高并发用户请求处理典型业务：电商平台、社交网络、在线教育、新闻门户。核心任务： HTTP API响应：处理用户登录、商品查询、订单提交等请求，涉及数据库读写（MySQL/MongoDB）、缓存访问（Redis/Memcached）。实时消息推送：聊天应用（如微信）、通知系统（如邮件/短信）依赖WebSocket或长轮询，需高频网络通信。技术挑战：应对C10K问题，需通过异步框架（Node.js、Go）或事件驱动模型（Nginx）提升吞吐量。 2. 数据存储与检索典型业务：内容平台（如短视频）、云存储服务（如阿里云OSS）。核心任务：文件读写：用户上传图片/视频至对象存储，分发时通过CDN加速。数据库操作：社交媒体的动态加载、评论查询涉及分库分表和索引优化。技术工具：分布式数据库（TiDB）、NoSQL（Cassandra）、搜索引擎（Elasticsearch）。 3. 微服务间通信典型业务：微服务架构的金融系统、在线旅游平台。核心任务： RPC调用：服务间通过gRPC/Dubbo同步数据。消息队列：使用Kafka/RabbitMQ实现异步削峰和解耦。性能瓶颈：网络延迟和序列化/反序列化效率。 4. 实时数据流处理典型业务：物联网（IoT）、金融交易监控。核心任务：流式计算：Flink/Spark Streaming处理传感器数据或交易日志。低延迟响应：风控系统需在毫秒级完成反欺诈计算。二、CPU密集型任务的主要分布 1. 数据科学与机器学习典型业务：推荐系统（如抖音算法）、广告投放（如精准CTR预测）。核心任务：模型训练：使用TensorFlow/PyTorch进行大规模数据训练（GPU加速）。实时推理：图像识别（如人脸验证）、自然语言处理（如智能客服）。资源需求：依赖GPU集群和分布式计算框架（Horovod）。 2. 多媒体处理典型业务：视频平台（如YouTube）、直播应用（如Twitch）。核心任务：视频转码：H.264/H.265编码转换（FFmpeg）。图像渲染：游戏云服务（如GeForce NOW）的实时画面生成。技术痛点：计算资源密集，需优化并行算法。 3. 加密与安全计算典型业务：区块链（如以太坊）、支付系统（如支付宝）。核心任务：加密运算：非对称加密（RSA）、哈希计算（SHA-256）。零知识证明：隐私保护场景下的复杂数学运算。硬件依赖：部分场景需专用硬件（如SGX）。 4. 复杂业务逻辑处理典型业务：3D设计软件（如AutoCAD）、仿真系统（如ANSYS）。核心任务：物理引擎计算：游戏中的碰撞检测、流体模拟。数值分析：金融衍生品定价模型（蒙特卡洛模拟）。三、任务类型占比分析 1. 互联网业务场景占比任务类型占比典型场景举例 I/O密集型 70% API请求、数据库操作、消息队列 CPU密集型 25% 机器学习推理、视频转码、加密计算混合型任务 5% 实时数据分析（如Flink窗口计算） 2. 趋势变化 I/O密集型增长点：物联网设备爆发（2025年预计全球750亿台设备联网）。实时交互应用普及（元宇宙、VR社交）。 CPU密集型增长点： AI工业化落地（AIGC、自动驾驶）。量子计算突破带来的新型计算需求。四、技术选型建议 1. I/O密集型场景优化架构设计：异步非阻塞框架（Netty、Tornado）。缓存分层策略（本地缓存+分布式缓存）。基础设施：使用RDMA网络降低延迟。部署NVMe SSD提升存储IOPS。 2. CPU密集型场景优化计算加速： GPU/TPU异构计算（CUDA、OpenCL）。分布式任务调度（Kubernetes批处理任务）。代码级优化： SIMD指令集（AVX-512）。 JIT编译（PyPy、Numba）。五、总结当前互联网业务中，I/O密集型任务占据主导地位（约70%），集中在高并发请求处理、数据存储与微服务通信；而CPU密集型任务（约25%）则集中在AI、多媒体和安全领域。随着边缘计算和AI技术的普及，未来两类任务将更深度耦合（如端侧AI推理需同时优化I/O和计算），技术选型需兼顾灵活性与性能。 ...