Skip to content

yinxingping/spider

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

主要功能

使用 cli模板 开发的定向爬虫

用法举例(以图书为例)

  1. 抓取指定电商网站的的所有图书信息:
./spider book list jd
  1. 更新图书价格:
# 仅更新price=0的记录
./spider book price 'price=0'

# 仅更新修改时间大于指定时间的记录
./spider book price 'updated_at > "2017-12-12"'

具体环境要求

  1. PHP >= 7.0
  2. PHP框架:Phalcon >= 3.2
  3. 开发工具:my-phalcon-devtools

注意事项

  1. 用工具生成model时要使用参数:--excludefields=updated_at
  2. 用工具生成model时.env部分没有生效,所以需要在config.php中修改数据库连接相关默认参数为实际开发环境的参数
  3. 为了使用自动添加created_at的功能,数据库字段created_at必须设置默认为null

About

Phalcon开发的定向爬虫

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages