一、课程项目

Scuinfo文本分类分析

二、项目类容

爬取川大匿名社区SCUinfo在一段时间内的帖子，对其进行情感分类分析，包括情绪分类（积极，消极），帖子内容关联分析等。

三、个人工作完成报告

3.1 工作概述

负责数据收集、预处理以及简单的情感分析

3.2 爬虫方案

scuinfo为动态加载网页，并且有移动端验证，尝试使用scrapy爬取数据失败，需要对爬虫进行大量定制优化，为了提高开发效率，最终使用了之前爬取QQ空间采用的方式：使用selenium库调用firefox浏览器驱动，该再通过代码模拟人为操作浏览器。获取到对应页面数据后，使用etree和xpath选取相应的目标节点数据。

• 优点：轻松解决网页动态加载，登录验证，移动端验证等问题

• 缺点：该方式需要一直保持浏览器前台运行，并且只能为单线程模式，爬取效率相对较低

关键代码如下所示：

 

点击此处下载文档和源码