[推荐] 一个表一天百分条数据,如何提高查询? 100you_tube]

发布时间:2017-4-26 4:28:23 编辑:www.fx114.net 分享查询网我要评论
本篇文章主要介绍了"[推荐] 一个表一天百分条数据,如何提高查询? 100you_tube]",主要涉及到[推荐] 一个表一天百分条数据,如何提高查询? 100you_tube]方面的内容,对于[推荐] 一个表一天百分条数据,如何提高查询? 100you_tube]感兴趣的同学可以参考一下。

RT

一个表一天百万条数据,如何提高查询速度还有存储?  

尽量不加索引,尽量用raid.

引用 2 楼 perfectaction 的回复:尽量不加索引,尽量用raid. Raid暂时可能不行,已经加了聚集索引,不然查询点数据都查不出来,表的数据量已经超过1亿了

关注

顶.........

up

引用 3 楼 you_tube 的回复:引用 2 楼 perfectaction 的回复: 尽量不加索引,尽量用raid. Raid暂时可能不行,已经加了聚集索引,不然查询点数据都查不出来,表的数据量已经超过1亿了 这么大的量一般记log的较多. 不知道楼主这个是什么?查询是什么情况?还是主要是写?

Mark up

关注。

kan kan 

难题,关注

引用 7 楼 perfectaction 的回复:引用 3 楼 you_tube 的回复: 引用 2 楼 perfectaction 的回复: 尽量不加索引,尽量用raid. Raid暂时可能不行,已经加了聚集索引,不然查询点数据都查不出来,表的数据量已经超过1亿了 这么大的量一般记log的较多. 不知道楼主这个是什么?查询是什么情况?还是主要是写? 就是一般的查询,查询一天的数据都有2、3百万条 这个是记录短信的,,, 查询都是很简单的,,, select * from Tab where date bewteen date_a and date_b  它是放在一个作业里执行的,现在不知道怎么优化下能快点,。。。

顶上来,,,,,

分区表 一个星期的数据占一个表

raid+分区表

关注

引用 15 楼 josy 的回复:raid+分区表 分区表也不好办哪,一天就有200万条数据,一个星期也有上千万,, Raid暂做不了,,

分区表就大大提高你的性能,另外,这种数据应该只把最近或最常用的放在当前服务器上 其它数据全部挪走. 一亿数据一个非分区表,还没有raid,还要频繁查询,你还让人活吧?

我觉得分批查询比较好,例如每次查询1000数据,这样响应的时间比较快,但是排序就比较麻烦了。

当需要下一页的数据时,再查询下1000条。

引用 18 楼 perfectaction 的回复:分区表就大大提高你的性能,另外,这种数据应该只把最近或最常用的放在当前服务器上 其它数据全部挪走. 一亿数据一个非分区表,还没有raid,还要频繁查询,你还让人活吧? 设计这个系统的以前是开发人员设计的,做的项目也比较小,当初设计这个系统的人没考虑到这点 现在一个作业执行18个小时.... 我真汗哪,,,, 我现在只能重建一个表来保存要用的信息,其他表只能用作日志

引用 7 楼 perfectaction 的回复:引用 3 楼 you_tube 的回复: 引用 2 楼 perfectaction 的回复:  尽量不加索引,尽量用raid.  Raid暂时可能不行,已经加了聚集索引,不然查询点数据都查不出来,表的数据量已经超过1亿了    这么大的量一般记log的较多.  不知道楼主这个是什么?查询是什么情况?还是主要是写? up

楼主的短信表和我们项目的通话记录表其实是一个意思 我们的通讯记录表一天也是几百万条记录 我们用的是oracle数据库。。使用表分区。。 根据手机号码的后面3位数。。建立1000个表分区进行查询 这样每次得到不同的号码三位就去不同的分表查询。。 就优化得差不多了。。

补充下是手机号码的最后三位。。

帮顶 ,学习

分表,建立366张天表,然后根据需要建立周视图和月视图,根据数据需要保留的天数定期清理不用的历史记录。

楼主的情况最佳的作法是: 该表做分区表,理论上最多可以有1000个区. 查询条件中必须要分区列. 另外,这个最好要有raid,哪怕是raid5. 如果都作不到,那就把表中不常用的数据全部转移到其它备服务器,该服务器上只保留最新数据. 分区表需要企业版支持,如果不能分区,就拆表. 像那些月或周报表之类,凌晨跑作业来生成.

我也有这个同样的问题,现在有个表,每三秒就会有N条记录(至少大于百次请求),写入一个表中,一天下来那个表的量可想而知. 我一直很担心查询的速度,因为软件还没有正式发布,所以还没有具体看到查询速度有什么样的变化,由于是软件自带库,所以还 用的是ACCESS :(  ,我顺便把我的这个问题,也提下,大家给个好点的解决方案!

引用 27 楼 perfectaction 的回复:楼主的情况最佳的作法是: 该表做分区表,理论上最多可以有1000个区. 查询条件中必须要分区列. 另外,这个最好要有raid,哪怕是raid5. 如果都作不到,那就把表中不常用的数据全部转移到其它备服务器,该服务器上只保留最新数据. 分区表需要企业版支持,如果不能分区,就拆表. 像那些月或周报表之类,凌晨跑作业来生成. 现在只能拆表了

每天一张表嘛,做分区视图搞定

区分表不算拆表,sql的使用还是像一个大表,只是系统自动到对应的小表去处理,所以效率高了

关注中

dd

DING

分区表就大大提高你的性能,另外,这种数据应该只把最近或最常用的放在当前服务器上  其它数据全部挪走.  一亿数据一个非分区表,还没有raid,还要频繁查询,你还让人活吧?

学习来的,支持下下!

首先,查询和插入分开 其次,插入的表上尽量不要索引, 此表单独放在一个数据库文件组中,此文件单独放在一个硬盘上以提高读写的效率

学习 支持

分区加local index storage参数要注意调整下 历史数据要有清理job 应用中存在统计的话,考虑加mview 不要被数据量吓倒,我们一个系统上,现在每天近千万的数据,一样跑的挺好

建立分区表 之前一个项目在国内某通讯公司,记流水的一张表,一天一个分区。

建立分区表 之前一个项目在国内某通讯公司,记流水的一张表,一天一个分区。

引用 39 楼 mmqingfeng 的回复:分区加local index storage参数要注意调整下 历史数据要有清理job 应用中存在统计的话,考虑加mview 不要被数据量吓倒,我们一个系统上,现在每天近千万的数据,一样跑的挺好 storage参数怎么调整?有这方面的资料么?

建表分区吧,以天进行分

引用 43 楼 feifei19850830 的回复:建表分区吧,以天进行分 太频繁了,不行

该回复于2009-06-04 11:51:48被版主删除

该回复于2009-05-30 09:49:35被版主删除

学习一下

学习一下

 数据分流... 

学习!

索引+分批查询

学习!!!!!!!!

好东西

学习!!!!!!!!

该回复于2009-11-16 09:01:02被版主删除

数据量太大,最好是建分区.

以周建分区表可以吧,千万级的数据查询应该没什么影响(当然要索引) 对需要统计的信息在服务器空闲时(比如凌晨)进行统计,并存储对应的统计信息, 在客户需要统计时可以直接调用或在已有统计信息的基础上再进行统计 (大体思想就这样的吧)

引用 57 楼 sparklerl 的回复:以周建分区表可以吧,千万级的数据查询应该没什么影响(当然要索引) 对需要统计的信息在服务器空闲时(比如凌晨)进行统计,并存储对应的统计信息, 在客户需要统计时可以直接调用或在已有统计信息的基础上再进行统计 (大体思想就这样的吧) 关键这不是做统计用的,查询出来还搞了个游标执行一存储过程;Crazy!!!

很难啊,关注

mark,能多分几个表,就多分几个表。

引用 60 楼 chaozi_249 的回复:mark,能多分几个表,就多分几个表。 分区表已经建过了,,

上一篇:关于SQLServer 2008在项目中的应用 20fredrickhu]
下一篇:高分请教一个作业的写法 100anuanu]

相关文章

相关评论

本站评论功能暂时取消,后续此功能例行通知。

一、不得利用本站危害国家安全、泄露国家秘密,不得侵犯国家社会集体的和公民的合法权益,不得利用本站制作、复制和传播不法有害信息!

二、互相尊重,对自己的言论和行为负责。

好贷网好贷款