cozyqh
本站致力于IT相关技术的分享
构建基于 Fastify 与 ASP.NET Core 的异构 MLOps 推理服务 构建基于 Fastify 与 ASP.NET Core 的异构 MLOps 推理服务
我们的技术栈从来不是单一的。模型训练团队主力使用 Python 和 MLflow，而核心业务后端则由一个稳定的 ASP.NET Core 集群承载。最近，一个新的需求是将模型推理能力暴露为高性能、低延迟的 API，前端和移动端团队则更偏爱
2023-10-27 架构与设计
Fastify ASP.NET Core MLflow OCI DigitalOcean
利用 GitHub Actions 为 Algolia 索引实现零停机时间的蓝绿部署自动化 利用 GitHub Actions 为 Algolia 索引实现零停机时间的蓝绿部署自动化
我们团队最初同步 Algolia 索引的方式非常直接：在部署流程的最后，执行一个 PHP 脚本，调用 scout:import 命令。对于一个只有几千条记录的小型项目，这没什么问题。但当数据量增长到百万级别，这个操作就成了发布的噩梦。一次完
2023-10-27 DevOps
CI/CD GitHub Actions Algolia PHP DevOps
在 DigitalOcean 上使用 Redis Streams 构建具备幂等消费与死信队列的事件处理器 在 DigitalOcean 上使用 Redis Streams 构建具备幂等消费与死信队列的事件处理器
我们团队最近接手了一个需求：为用户行为生成异步的、可审计的轨迹记录。这个功能本身不复杂，但对系统的要求却很苛刻：主流程不能被阻塞，记录必须保证最终送达，且不能因为重复投递导致数据错乱。起初，团队的几个同事本能地想到了 Kafka。毫无疑问，
2023-10-27 后端架构
Redis DigitalOcean 事件驱动架构 (EDA) NoSQL Go
使用Terraform构建集成OIDC、Fluentd与Solr的Celery分布式任务可观测性管道 使用Terraform构建集成OIDC、Fluentd与Solr的Celery分布式任务可观测性管道
我们的一个核心业务严重依赖Celery进行异步任务处理，随着系统复杂度的攀升，这套体系逐渐变成了一个难以捉摸的“黑盒”。当任务失败时，追溯其根源就像大海捞针；性能瓶颈隐藏在成千上万个执行节点中，无法定位；更关键的是，审计需求要求我们能明确追
2023-10-27 DevOps
Fluentd Solr Celery Terraform OpenID Connect
将WebSocket视频流路由到动态CV工作节点的负载均衡与服务发现实现 将WebSocket视频流路由到动态CV工作节点的负载均衡与服务发现实现
一个独立的Python CV处理服务，通过WebSocket接收视频帧，进行模型推理，再将结果发回，这套原型工作得很好。问题出现在尝试水平扩展时。简单地启动多个服务实例，在前面挂一个Nginx做轮询负载均衡，立刻就暴露了架构的脆弱性。Web
2023-10-27 分布式架构
CV WebSockets 服务发现 gRPC Consul
使用 Tyk Python 插件与事件驱动架构实现数据库分片的动态路由 使用 Tyk Python 插件与事件驱动架构实现数据库分片的动态路由
我们的用户服务扛不住了。单体 PostgreSQL 实例的写入 I/O 已经饱和，垂直扩展的成本曲线变得异常陡峭。唯一的出路是水平扩展，也就是数据库分片 (Sharding)。这个决定不难做，但随之而来的问题却极其棘手：分片逻辑应该放在哪里
2023-10-27 分布式架构
Python 事件驱动架构 (EDA) Tyk 数据库分片 API网关
4 / 5