Selenium实现微博爬虫-白红宇

Selenium实现微博爬虫

阅读量：182 次

发布时间：2019-02-28

本文共 302 字，大约阅读时间需要 1 分钟。

抓取节点：将每条评论作为一个节点（包含用户信息、评论内容及发布时间等信息）。若一页有20条评论，则节点数量即为20。

节点获取：通过CSS选择器div.card > div.card-feed > div.content找到所有符合条件的节点。

节点处理：逐个遍历节点列表，判断每个节点是否包含“展开全文”链接。操作步骤如下：

检查节点中是否存在p > a[action-type='fl_unfold']元素

判断该链接的显示状态

如果满足条件，且链接文本以“展开全文c”开头：

点击该链接，获取指定位置的评论内容

否则，直接获取评论文本

同时，提取用户信息

注：该操作需确保唯一性，避免误选其他元素。

转载地址：http://tdfn.baihongyu.com/

你可能感兴趣的文章

nginx + etcd 动态负载均衡实践（二）—— 组件安装

nginx + etcd 动态负载均衡实践（四）—— 基于confd实现

Nginx + Spring Boot 实现负载均衡

Nginx + uWSGI + Flask + Vhost

Nginx - Header详解

Nginx Location配置总结

Nginx upstream性能优化

Nginx 中解决跨域问题

Nginx 动静分离与负载均衡的实现

Nginx 反向代理 MinIO 及 ruoyi-vue-pro 配置 MinIO 详解

nginx 反向代理转发请求时，有时好有时没反应，产生原因及解决

Nginx 反向代理解决跨域问题

Nginx 反向代理配置去除前缀

nginx 后端获取真实ip

Nginx 学习总结（17）—— 8 个免费开源 Nginx 管理系统，轻松管理 Nginx 站点配置

nginx 常用配置记录

Nginx 我们必须知道的那些事

Nginx 的 proxy_pass 使用简介

Nginx 的配置文件中的 keepalive 介绍