wenextly
本站致力于IT相关技术的分享
使用Haskell构建连接Delta Lake与MongoDB的类型安全实时特征同步服务 使用Haskell构建连接Delta Lake与MongoDB的类型安全实时特征同步服务
为支撑一个基于Hugging Face Transformers的大规模检索增强生成（RAG）应用，技术挑战的核心落在了特征工程上：既需要一个能够存储和版本化海量历史文本嵌入（Embeddings）的离线存储，用于模型迭代和分析；也需要一个
2023-10-27 数据工程
Delta Lake MongoDB Hugging Face Transformers Haskell
构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线 构建基于Playwright与Hudi的全链路数据压测及一致性校验自动化流水线
我们的技术痛点始于一个看似简单却极难保证的承诺：实时数据湖中的每一条数据，在经历高并发写入、更新和近实时查询的完整生命周期后，必须保持绝对的完整性与可预测的查询性能。在一个由用户前端行为触发、经由Kafka流转、最终沉淀到Apache Hu
2023-10-27 数据工程
Apache Hudi GitLab CI/CD Playwright Kafka 索引优化
在 EKS 上使用 Go 构建面向 Cassandra 的分布式 Saga 事务协调器 在 EKS 上使用 Go 构建面向 Cassandra 的分布式 Saga 事务协调器
项目初期，一个看似简单的用户注册流程，需要在用户服务中创建记录、在账户服务中初始化余额，并在权限服务中赋予默认角色。这三步操作，必须是一个原子操作。任何一步失败，整个注册流程都应回滚，不能留下脏数据。在关系型数据库的世界里，一个 BEGIN
2023-10-27 分布式系统
Go AWS EKS 分布式一致性 Cassandra 微服务
利用 Qwik 和 Express.js 构建 Weaviate HNSW 索引性能的可视化分析器 利用 Qwik 和 Express.js 构建 Weaviate HNSW 索引性能的可视化分析器
向量搜索的默认参数就像汽车的自动挡——可靠、易用，但无法提供赛道级的极致性能。当我们的应用场景从“能用”变为“极致快、极致准”时，深入向量数据库的索引内部，手动调整那些神秘的参数，就成了绕不开的挑战。问题在于，这些参数（例如HNSW索引中的
2023-10-27 后端架构
Qwik Weaviate Express.js Vector Search Performance
为VPC内Oracle数据库构建基于Jib的低延迟Java Cloud Function 为VPC内Oracle数据库构建基于Jib的低延迟Java Cloud Function
我们需要一个能处理突发流量的HTTP端点，它接收JSON负载，经过简单业务逻辑处理后，对一个部署在VPC内的Oracle数据库执行一次事务性更新。项目要求P99延迟必须控制在800毫秒以内，同时由于流量模式极不规律，大部分时间处于闲置状态，
2023-10-27 云原生
Java Google Cloud Functions Jib Oracle Serverless
基于责任链与策略模式在Azure Functions中构建动态插件化网关 基于责任链与策略模式在Azure Functions中构建动态插件化网关
在处理多个微服务或后端API时，一个统一的入口点——API网关——是必要的。它负责处理认证、日志、限流、请求转换等横切关注点。然而，构建这样一个网关通常面临两个极端选择：要么采用功能全面但配置复杂且成本高昂的商业产品（如Azure API
2023-10-27 架构与设计
设计模式 Azure Functions 网关与代理 责任链模式 策略模式
2 / 5