使用php从html解析并处理大量数据到sqlite


Parse from html and process massive amount of data to sqlite using php

我有一个适用于当地交通时间的android应用程序,如公共巴士、渡轮和地铁,它需要在线和离线工作。

当应用程序需要离线工作时,我需要不断更新它的数据库。然而,我无法访问市政当局的任何网络服务或数据库。因此,我准备了一个PHP脚本,它将解析市政网页上的html内容,并为每辆公交车、每种地铁组合(从哪里到哪里)和每种渡轮组合(类似于地铁)提取时间。然而,我的问题是从这里开始的。分析所有这些数据——大约10万条记录——并将它们处理到sqlite数据库——工作非常缓慢。

我是处理大量数据和php的新手。所以我可以接受任何建议。

谢谢,

您的服务器不能进行此处理并集中缓存数据库。然后,android应用程序所要做的就是下载数据库的压缩版本,以便离线时在本地使用。当应用程序再次联机时,它可以与您的服务器同步以检索最新数据。您甚至可以批量发送数据。然后,您可以让这个php脚本每天抓取数据。