标签: 大数据
所有带有标签 "大数据".
使用Elasticsearch代替数据库like以加快查询的各种技术方案+实现细节
以海量订单查询为例,使用Elasticsearch替代联系人信息的数据库LIKE模糊查询,再回查数据库获取订单。介绍索引设计、历史与增量数据同步、UTC时间处理、分页优化,以及查询回退和同步差异的处理思路。
在业务开发中使用ElasticSearch的指导手册+附真实业务优化ElasticSearch场景
整理业务开发中使用Elasticsearch的检查要点,包括分词验证、字段映射、索引规划、生命周期和容量评估。结合真实日志业务,记录清理与写入引发的性能问题,以及Data Stream、熔断和批量处理等优化思路。
跟着官方文档一步一步搭建Elastic Stack(3节点ES集群+Kibana+Filebeat+Metricbeat)+ 零停机由单节点切换到集群解决方案
使用Docker Compose搭建包含三节点Elasticsearch集群、Kibana、Filebeat和Metricbeat的Elastic Stack,说明TLS与监控配置。结合生产环境迁移经历,讨论通过域名切换、数据迁移和连接验证完成单机到集群过渡的步骤。
Kafka(六)利用Kafka Connect+Debezium通过CDC方式将Oracle数据库的数据同步至PostgreSQL中以及实现缓存一致性
介绍CDC的基本思路,并通过Kafka Connect和Debezium示例,将Oracle数据同步到PostgreSQL。讨论数据库同步、Elasticsearch数据导入及缓存一致性等场景,并比较不同方案的适用条件。
Kafka(五)消费者回调 +定时重试 + 理解Rebalance
至此为止,利用Kafka实现一个消息系统就基本完成了,所有关键的代码都在不同的博文中并进行了详细说明,说过想要体会完整的设计、实现思路,请移步源码仓库获取完整代码。下一篇关于Kafak的博文打算分享一下如何利用Kafka Connect将Oracle数据库的数据同步到Postgre SQL中。
Kafka(三)生产者发送JSON消息+使用统一序列化器+提升吞吐量
介绍Kafka生产者发送JSON消息的实现,使用统一序列化器处理不同对象,并配置异步发送、失败记录和重试。结合邮件消息的实际大小,讨论压缩、批次大小、请求大小和等待时间对吞吐量的影响。
Kafka(一)使用Docker Compose安装单机Kafka+Kafka UI+Prometheus JMX Exporter
使用Docker Compose搭建KRaft模式的单机Kafka,并集成Kafka UI和Prometheus JMX Exporter。说明监听器、角色、内存和监控配置,记录启动验证、JMX端口冲突及资源配置问题的排查方法。
solr使用二(将数据从MySQL数据库增量导入、全量导入)
介绍使用Solr DataImportHandler从MySQL进行全量与增量导入的配置,并通过系统定时任务周期性更新数据。文章还整理tinyint字段、多值字段与Transformer的处理方法,并说明DIH的组成及后续版本变化。