数据处理过慢的问题分析(涉及插入查询)
同事遇到一个数据处理慢的问题, 先查询A表,然后涉及到查询4张表,插入A表新数据,
最后插入对方的一个库B表。
现在对插A表,B表使用两个线程来做的 但是发现插入A表很慢,A表数据量慢慢在变大
怀疑是插入A表过程的某一步涉及到慢mysql的问题
标准的做法是打印出每一步子操作的消耗时间差,
发现有一个查询没有加索引,加上后速度提高了10倍。
总结:对于表象是插入慢的问题,需要不断拆分处理,弄清楚是哪一步比较慢,单独处理即可,
数据处理过慢的问题分析(涉及插入查询)
同事遇到一个数据处理慢的问题, 先查询A表,然后涉及到查询4张表,插入A表新数据,
最后插入对方的一个库B表。
现在对插A表,B表使用两个线程来做的 但是发现插入A表很慢,A表数据量慢慢在变大
怀疑是插入A表过程的某一步涉及到慢mysql的问题
标准的做法是打印出每一步子操作的消耗时间差,
发现有一个查询没有加索引,加上后速度提高了10倍。
总结:对于表象是插入慢的问题,需要不断拆分处理,弄清楚是哪一步比较慢,单独处理即可,