1000亿文本信息，高并发MD5查询，这么大数据量的业务怎么弄？
==星球水友提问==沈老师，你好，想请教一个身份证信息检索的问题。公司有一个每秒5万并发查询的业务，（假设）根据身份证MD5查询身份证信息，目前有1000亿条数据，纯文本存储，前几天看你写LevelDB，请问这个业务能利用LevelDB内存数据库进行存储么？有没有其他优化方案？画外音：LevelDB《内存KV缓存/数据库》。==问题描述完==上一位星球水友问的是36亿日志后台分页查询，紧接着又来了
30亿日志，检索+分页+后台展示，你是否遇到过更奇葩的需求？
沈老师，你好，想请教一个数据库查询日志，前台页面显示的问题。需求：（1）按照某些特定检索条件查询日志；（2）通过前台Web页面查询并显示相关日志信息；（3）检索需求包含用户，时间段区间，类型等特定字段；希望做到：（1）查询速度尽可能快；（2）支持分页查询；目前方案：日志信息存储在Oracle中，根据日期对Oracle做了分区处理，每天生成一个分区表，每个分区表中的数据总量大概在1000W左右。在相
高速飞机上换引擎，MQ如何实现平滑迁移？
前几天，杨紫琼同学在知识星球提问，说公司要切换MQ，从一个旧的服务商升级为新的服务商，问有没有什么好方案。这个需求估计还挺普遍的，这里分享一些经验。一、MQ架构简述如上图，使用MQ异步通信，一般分为三层：消息发送方：使用MQ客户端生成消息。MQ-client::SendMsg(topic,msg);MQ服务：中转消息。消息接收方：使用MQ客户端消费消息。MQ-client::RecvMsg(top
内存KV缓存/数据库，可以选择它？ | 1分钟系列
互联网业务，绝大部分场景，会使用缓存服务。《选redis还是memcache，源码怎么说？》《选redis还是mc，面试官究竟想考察啥？》《memcache内核的知识点，值得收藏》但有时候，确实会使用到进程内存缓存/数据库，这个时候，LevelDB就能派上用场了。啥是LevelDB？LevelDB是Google开发的，一个速度非常块的KV存储库(storagelibrary)，它支持字符串的key
别人不写设计文档，我写了，所以我吃亏了？
《如何写技术文档？》的评论让人感到意外，一篇关于“如何写好设计文档”的文章，评论里充斥着各种戾气。不确定自己的理念，在互联网新时代，是否已经过时，似乎写文档成了少数派。无论如何，旗帜鲜明的表达一下自己的看法。本文所有观点均为个人观点，不存在任何“评判”，分享自己认为正确的观点。画外音：后文中的素材，截图自《如何写技术文档？》的评论，隐去了头像和名称。一、《如何写技术文档？》评论里，点赞最多的观点是
互联网公司的技术人，为什么不写文档？
互联网公司，技术侧，写文档有没有必要？有必要。要写什么文档？至少要写总体设计文档，详细设计文档。为什么不写？可能是没时间，可能是不会写，可能是不愿意写。本文试图分享一些经验，解决“不会写”的问题。总体设计文档，详细设计文档，应该包含什么内容？总设和详设都应该包含的部分：（1）需求：一般以产品的语言描述，这一块可以拷贝产品需求文档中的storylist部分；（2）名词解释（可选）：非相关领域内的同学
【学在GOPS】阿里游戏高可用架构设计实践
本文根据〖GOPS2016 全球运维大会•深圳站〗李运华演讲整理而成，编辑同学为陈才@腾讯。欢迎关注“高效运维(微信ID：greatops)”公众号，以抢先赏阅干货满满的各种原创文章。讲师简介李运华十余年软件设计开发经验，经历了电信行业和移动互联网行业，曾就职于华为和UCWEB，先后担任软件开发工程师、系统分析师、架构师、技术leader等角色；现担任阿里巴巴移动事业群（原UCWEB）资深软件工程
数据库软件架构，到底要设计些什么？
一、基本概念概念一：单库概念二：分片分片解决“数据量太大”这一问题，也就是通常说的“水平切分”。一旦引入分片，势必面临“数据路由”的新问题，数据到底要访问哪个库。路由规则通常有3种方法：（1）范围：range优点：简单，容易扩展。缺点：各库压力不均（新号段更活跃）。（2）哈希：hash优点：简单，数据均衡，负载均匀。缺点：迁移麻烦（2库扩3库数据要迁移）。（3）统一路由服务：router-conf
写缓冲(change buffer)，这次彻底懂了！！！
上篇《缓冲池(bufferpool)，彻底懂了！》介绍了InnoDB缓冲池的工作原理。简单回顾一下：（1）MySQL数据存储包含内存与磁盘两个部分；（2）内存缓冲池(bufferpool)以页为单位，缓存最热的数据页(datapage)与索引页(indexpage)；（3）InnoDB以变种LRU算法管理缓冲池，并能够解决“预读失效”与“缓冲池污染”的问题；画外音：细节详见《缓冲池(bufferp
学会聆听，职场最重要的事情，没有之一！！！
带领团队作战-聆听的层次大伙有没有遇到过这样熟悉的场景，员工好不容易鼓起勇气，找leader反馈一个问题，希望得到leader的帮助，系统得到leader的指导。leader会很快进入“过来人模式”，并开始“语重心长”的教导和指导。然后员工进入似懂非懂的“感谢leader”状态，并离开。画外音：帮助下属成长和提升，是leader的核心职责。leader的初心是好的，但这是否是最佳的方法？要更好的帮
编码风格：Mvc模式下SSM环境，代码分层管理
MVC模式与代码分层策略，MVC全名是ModelViewController即模型－视图－控制器，作为一种软件设计典范，用一种业务逻辑、数据、界面显示分离的方法组织代码，将业务逻辑聚集到一个部件里面，在改进和个性化定制界面及用户交互的同时，不需要重新编写业务逻辑，这是一种开发模式，但并不是实际开发中代码的分层模式
今日推荐
周排行