tencent cloud

云函数

动态与公告
产品动态
产品公告
新手指引
产品简介
产品概述
相关概念
工作原理
产品优势
应用场景
相关产品
购买指南
计费概述
计费方式
计费项与计费方式
函数算力支持
免费额度
产品定价
计费示例
欠费与停服说明
快速入门
使用控制台创建一个事件函数
操作指南
配额管理
函数管理
Web 函数管理
日志管理
并发管理
触发器管理
函数 URL
自定义域名
版本管理
别名管理
权限管理
运行实例管理
插件管理
监控与告警管理
网络配置
层管理
执行配置
扩展存储管理
DNS 缓存配置
资源托管模式管理
近离线资源托管模式
工作流
触发器
触发器概述
触发器事件消息结构汇总
API 网关触发器
COS 触发器
CLS 触发器
定时触发器
CKafka 触发器
Apache Kafka 触发器
MQTT 触发器
触发器配置描述
MPS 触发器
CLB 触发器说明
云 API 触发器
开发指南
基本概念
测试云函数
环境变量
依赖安装
使用容器镜像
使用 Docker 安装依赖
错误类型与重试策略
死信队列
云函数接入数据库
自动化部署
云函数状态码
常见错误码解决方法
开发者工具
Serverless Web IDE
函数间调用 SDK
第三方工具
代码开发
Python
Node.js
Golang
PHP
Java
Custom Runtime
使用镜像部署函数
Web 框架部署
通过命令行完成框架部署
快速部署 Egg 框架
快速部署 Express 框架
快速部署 Flask 框架
快速部署 Koa 框架
快速部署 Laravel 框架
快速部署 Nestjs 框架
快速部署 Nextjs 框架
快速部署 Nuxtjs 框架
快速部署 Django 框架
实践教程
最佳实践概述
云产品联合解决方案
业务开发相关实践
实时音视频 TRTC
对象存储 COS
消息队列 CKafka
日志服务CLS
负载均衡 CLB
视频处理 MPS
内容分发网络 CDN
云数据仓库 PostgreSQL
云点播 VOD
短信 SMS
Elasticsearch Service
定时任务
视频处理
客户案例
腾讯在线教育
在线教育行业案例
游戏聊天系统
腾讯互娱国际(IEGG)
API 文档
History
Introduction
API Category
Making API Requests
Other APIs
Namespace APIs
Layer Management APIs
Async Event Management APIs
Trigger APIs
Function APIs
函数和层的状态说明
Data Types
Error Codes
SDK文档
常见问题
通用问题
Web 函数相关问题
计费相关问题
网络相关问题
日志相关问题
SCF 工具相关问题
事件处理相关问题
API 网关触发器相关问题
相关协议
Service Level Agreement
联系我们
词汇表
文档云函数实践教程定时任务SCF+定时任务实现页面内容定时采集

SCF+定时任务实现页面内容定时采集

PDF
聚焦模式
字号
最后更新时间: 2024-12-02 21:14:29

操作场景

本文使用了云函数 SCF,并在函数中通过 puppeteer 实现定时对页面内容进行采集、数据存储等任务。用户还可以通过函数执行数据爬取、定时签到、网页巡检等复杂的 Web 定时任务。

操作步骤

创建云函数

1. 登录云函数控制台,选择左侧导航栏中的 函数服务
2. 在“函数服务”页面上方选择北京地域,并单击新建进入新建函数页面,根据页面相关信息提示进行配置。如下图所示:


创建方式:选择模板创建
模糊搜索:输入“定时任务示例函数”,并进行搜索。 单击模板中的查看详情,即可在弹出的“模板详情”窗口中查看相关信息,支持下载操作。
3. 单击下一步,函数名称默认填充,如需对函数代码进行修改,单击展开函数代码卡片并可参见 修改函数模板 进行修改。
4. 触发器配置中,选择自动创建,则默认创建一个每1小时0分执行一次的定时触发器。如下图所示:


说明:
如需根据需求自行调整触发器配置,请选择自定义创建
如需在测试成功后再创建定时触发器,请选择暂不创建
5. 单击完成,完成函数的创建。

测试云函数

1. 在函数代码界面的下方,单击测试,查看函数的执行日志。
2. 测试成功后,可以根据实际情况,在触发方式页签中配置定时触发器,并验收相关 Base64。

相关操作

修改函数模板

当前模板函数引用 puppeteer 实现对网页内容截屏,并转换为 base64 打印到函数日志。您可以根据自己的定时任务需求对相关模板进行修改。 例如执行以下命令,获取页面 title:
// 获取页面title可供参考
const title = await page.title();
console.log(title);
增加以下代码,设置点击页面属性。
// 点击页面属性可供参考
await page.click('a');
更多 puppeteer 使用指引可参见 puppeteer 文档。配合该工具可以定时访问页面内容,并对页面进行任务操作,例如数据爬取、签到等。

帮助和支持

本页内容是否解决了您的问题?

填写满意度调查问卷,共创更好文档体验。

文档反馈