很生气!mysql批量删除大数据会拖垮服务器?
作者:admin
发布时间:2019-08-10 10:05:53
浏览:2578次
近些天遇到一个傻逼技术,我们之前的对接需求是调用api上传数据和删除数据,这是日常操作,相信对于有点技术来说简直就是小菜一碟!
没想到,今天傻逼技术,很生气的跳出来说,我们上传的数据达到千万级了,频繁调用删除接口拖垮了服务器!
我们之前做的处理是上传一批数据(3万左右)会先调用删除接口,结果删除接口挂掉了!挂掉了!简直渣的不行!
什么叫秒级删除千万级数据!
分批处理,这绝对是操作大数据时一种常见的思路
首先在where字段上建立索引,一次删除10k,循环删除
delete from xiaochaoyue where create_time < 1565401261 limit 10000
千万左右的数据大概只需要10多秒!如果服务器实在太垃圾,每次1000条,采用列队删除,问题也不大!绝不会出现拖垮服务器的情况!更何况处理这种大数据的方法多的是!
很生气,这文章纯属吐槽!
如需转载请保留本文出处: https://zhe94.com/553.html