python中有什么套件可以用于社会网络分析

mygfhgl 2016-07-18 06:31:50 345 浏览

参与评论

登录后参与评论

全部评论(1条)

lsbb198801 2016-07-19 00:00:00

数据抓取目前社交网站的公开数据很多，为研究者检验自己的理论模型提供了很多便利。例如斯坦福的社会网络分析项目就分享了很多相关的数据集。社交网站为了自身的发展，往往也通过各种合作项目（例如腾讯的“犀牛鸟项目”）和竞赛（例如Facebook通过Kaggle竞赛公布部分数据）向研究者分享数据。但是，有时候研究者还是被迫需要自己收集数据。受限于网站本身对于信息的保护和研究者自身的编程水平，互联网数据的抓取过程依然存在众多问题。以下，我们将从三个方面着手简要介绍使用Python进行数据抓取的问题：直接抓取数据、模拟登录抓取数据、基于API接口抓取数据。一、直接抓取数据通常的数据抓取遵循可见即可得的规律，即可以观察到的，就可以被抓取。对于网页内容的抓取，可以是把整个网页都存下来，回头再清洗。这样做比较简单有效，但是还是回避不了之后的从html文件中进行的数据提取工作。在下面的例子当中，我们将尝试抓取百度新闻页面（http://news.baidu.com/）的热点新闻。在这个例子当中，我们要使用urllib2这个类库来获取该网页的html文本。在获取html之后，我们将使用一个流行的类库BeautifulSoup来解析html并提取我们需要的信息。现在的BeautifulSoup已经发展到第四个版本。可以使用easy_install或者pip install的方法安装。如果读者使用的是Spyder的话，可以点击Tools--Open command prompt。然后，在打开的命令窗口中输入：easy_install beautifulsoup4 就可以了。 easy_install beautifulsoup4

赞(11)

回复(0)

评论

评论
登录后参与评论

热门问答

python中有什么套件可以用于社会网络分析:

社会网络分析怎么样:

社会网络分析属于什么学科范畴？:

社会网络分析的内容简介:

为什么社会网络分析如此盛行:

如何使用python进行社交网络分析:

求助！社会网络分析该如何学习？: 本人刚开始接触社会网络，导师的意思是具体针对微博数据进行社会网络相关分析。在网上买了两本书，《社会网分析讲义》和《社会网络分析：理论、方法与应用》。大概内容翻了一遍，但是... 本人刚开始接触社会网络，导师的意思是具体针对微博数据进行社会网络相关分析。在网上买了两本书，《社会网分析讲义》和《社会网络分析：理论、方法与应用》。大概内容翻了一遍，但是这边看完，那边就忘记了。我是不是应该看分析软件，如ucinet的教程来学习呢?光看理论实在效率不高。。。有没有社会网络分析领域的大神可以给些指导呢??? 展开