PHP导出100万数据到excel
php导出数据excel有专门的库,当导出少量数据的时候速度很快,但是当数据量大的时候就会存在服务器内存不够之类的。
10年积累的网站设计制作、成都做网站经验,可以快速应对客户对网站的新想法和需求。提供各种问题对应的解决方案。让选择我们的客户得到更好、更有力的网络服务。我虽然不认识你,你也不认识我。但先网站设计后付款的网站建设流程,更有商城免费网站建设让你可以放心的选择与我们合作。
所以在导出大量数据的时候就应该分页查询数据,避免服务器宕机。正好PHP提供了fputcsv函数可以将数据写入到csv文件中。
这样我们就可以使用PHP对数据进行分页查询,再写入到csv文件中。
php写个循环往mysql数据库插入100w条数据,每次插入几万条就自动停止了。
有两种情况, 一是 php可运行的最大时间是不是有设置. 虽然你加了set_time_limit(0). 但很有可能没设置成功,因为php有安全模式, 你可以修改php.ini
2是系统资源不够, 可能是php宕了或者 数据库宕了.
100万条数据多大服务器内存
之前了解了一下国内某团购网站的架构,其中提到了服务器硬件和pv以及qps的一些关系。
百万级别的访问量,应该指的是PV吧。
并发数计算PV的粗算计算公式是
qps(或并发数)x86400(秒)÷2(分昼夜)
所以PV100万粗算来并发数只有23。
按照经验,剥离图片和js,css等静态页面,纯动态内容。一台4核4G内存的机器可以抗住100左右的并发数。
百万pv小网站的并发只有23.1000000÷86400x2=23
4核4G,能抗住100左右的并发,日五百万级别的pv了。
服务器资源的消耗主要是后端程序这一块,例如tomcat或php等其他需要链接数据库的程序,还有些需要编译的内容。所以这个公式只能是粗算,因为提供的服务大家各不相同。
概念:
QPS=req/sec=请求数/秒
qps是new的请求,叫每秒新建链接数,很多连接进来的链接,已经tcp三次握手的完成内容交互之后的,没有超过tcp的断开时间,虽然是活动状态,但是已经基本不消耗服务器资源了,这种是最大活动链接数,每台机器65535个链接数,这个链接数基本不考虑。
PV=PageView
pv是指页面被浏览的次数,比如你打开一网页,那么这个网站的pv就算加了一次。
php查询速度慢,数据到100W分页速度3秒多
分页本来就是数据越多越慢,正常情况下,绝对有条件限制,例如时间
还可以不用limit,用id段查询,弊端是不能断
分享名称:php100万条数据,php100到1000的素数
链接分享:http://scgulin.cn/article/dsscpdp.html