Selenium实现微博爬虫-白红宇

Selenium实现微博爬虫

阅读量：182 次

发布时间：2019-02-28

本文共 302 字，大约阅读时间需要 1 分钟。

抓取节点：将每条评论作为一个节点（包含用户信息、评论内容及发布时间等信息）。若一页有20条评论，则节点数量即为20。

节点获取：通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理：逐个遍历节点列表，判断每个节点是否包含“展开全文”链接。操作步骤如下：

检查节点中是否存在p > a[action-type='fl_unfold']元素

判断该链接的显示状态

如果满足条件，且链接文本以“展开全文c”开头：

点击该链接，获取指定位置的评论内容

否则，直接获取评论文本

同时，提取用户信息

注：该操作需确保唯一性，避免误选其他元素。

转载地址：http://tdfn.baihongyu.com/

你可能感兴趣的文章

Postgresql在Windows中使用pg_dump实现数据库(指定表)的导出与导入

PostgreSQL在何处处理 sql查询之四

postgresql基本使用

PostgreSQL学习总结（10）—— PostgreSQL 数据库体系架构

PostgreSQL学习总结（11）—— PostgreSQL 常用的高可用集群方案

Qt开发——多线程网络时间客户端

PostgreSQL学习总结（13）—— PostgreSQL 15.8 如何成就数据库性能王者？

PostgreSQL学习总结（13）—— PostgreSQL 目录结构与配置文件 postgresql.conf 详解

PostgreSQL学习总结（1）—— PostgreSQL 入门简介与安装

PostgreSQL学习总结（2）—— PostgreSQL 语法

PostgreSQL学习总结（3）—— PostgreSQL 数据类型

Qt开发——圆面积计算器

PostgreSQL学习总结（5）—— PostgreSQL table 创建与删除

PostgreSQL学习总结（6）—— PostgreSQL 模式（SCHEMA）详解

PostgreSQL学习总结（7）—— PostgreSQL 语句 INSERT INTO、SELECT、UPDATE、DELETE 等学习

PostgreSQL学习总结（8）—— PostgreSQL 基于数据库和基于模式（schema）的多租户分析

PostgreSQL学习总结（9）—— PostgreSQL 运算符与表达式

PostGreSql学习笔记001---PostgreSQL10.4安装（Windows）_支持PostGreGis_PostJDBC

PostGreSql学习笔记002---Navicat Premium中管理PostGreSql 错误:字段rolcatupdate 不存在

PostgreSQL学习笔记：PostgreSQL vs MySQL