爬取知乎高赞回答

以话题【你听过哪些让人怦然心动的情话或者诗句？】为例，爬取该话题下质量最高的前 100 个回答。

首先分析接口，不难定位到回答在图示所在的接口返回的内容中。

切换到 headers 栏可查看该请求的 URL 地址为：

需要注意 offset 这个参数即可，用于请求翻页，一页答案的个数由参数 limit 决定。

编码发现，对于请求头信息，需要在代码中给出 user-agent 和 cookies，cookies 需要自己手动去知乎登录后获取。这部分代码如下：

headers = {
    'cookies': '''改成你自己的 cookies''',
    'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:65.0) Gecko/20100101 Firefox/65.0',
}

url = 'https://www.zhihu.com/api/v4/questions/285989317/answers?include=data%5B*%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%2Cis_labeled%2Cis_recognized%2Cpaid_info%2Cpaid_info_content%3Bdata%5B*%5D.mark_infos%5B*%5D.url%3Bdata%5B*%5D.author.follower_count%2Cbadge%5B*%5D.topics&offset={}&limit=5&sort_by=default&platform=desktop'

def worker(pageNum):
    try:
        res = requests.get(url=url.format(pageNum),headers=headers)
        data = res.json()['data']
        for item in data:
            author = item['author']['name']
            # 一条答案包括 content 和 excerpt 两部分
            content = item['content']
            excerpt = item['excerpt']
            answer = content + excerpt
            # 去掉富文本标签
            answer = re.sub("

为了加速爬虫，使用了 concurrent.futures 中的 ThreadPoolExecutor，即线程池对象。

executor = ThreadPoolExecutor(max_workers=4)
# 只获取质量高的前 100 个回答
all_tasks = [executor.submit(worker, (i)) for i in range(100)]
同时需要获取线程执行结束后的结果，引入 concurrent.futures 中的 as_completed 方法，其用法如下：

answers = []
for future in as_completed(all_tasks):
    data = future.result()
    answers.append(data)

最后使用 pandas 模块把答案保存到 csv 文件中。

col = ['author','answer']
df = pd.DataFrame(data=answers,columns=col)
df.to_csv("answers.csv",encoding="utf-8")

LDA 模型抽取回答主题得到常见意象

当今社会是一个高度信息化的社会，如何从浩如烟海的文本中提取出主题，是一个具有挑战性的话题。主题提取有很多方法，其中最常见的就是隐含狄利克雷分布(Latent Dirichlet allocation)，简称LDA。

LDA 是一种文档主题生成模型，也称为一个三层贝叶斯概率模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。

关于 LDA 的原理，我这里简单阐释下，有两个概率分布模型，一个是文档关于主题的，另一个是主题关于单词的，在初始条件下，这两个概率分布模型都不是准确的，甚至是随机给出的，根据贝叶斯公式，由这两个概率分布可以计算出文档关于单词的概率分布，而这个概率分布，也可以直接根据文档统计得出，如果不相符，则调整初始的两个概率分布，直至根据贝叶斯公式间接计算出的文档-单词概率分布模型同基于文档统计直接计算出来的概率分布模型相吻合。至于具体怎么调整概率分布，有兴趣的同学可以查阅相关资料。

在 Python 中，有直接实现了 LDA 的库 pyLDAvis，我们只需要指定单词个数上限和主题个数等参数即可，同时 pyLDAvis 也提供了非常好的动态交互可视化界面的 API。

上一步我们将高赞回答保存到了 csv，这一步首先加载这个文件，然后进行分词处理（也可自行设置停用词），分词向量化、调整 LDA 模型的参数，最后将数据填进模型，抽取出主题，并可视化出来。

这部分代码如下：

df = pd.read_csv("answers.csv")
def chinese_word_cut(text):
    return " ".join(jieba.cut(text))

df["answer"] = df.answer.apply(chinese_word_cut)
from sklearn.feature_extraction.text import TfidfVectorizer, CountVectorizer

# 向量化
n_features = 1000

tf_vectorizer = CountVectorizer(strip_accents = 'unicode',
                                max_features=n_features,
                                stop_words='english',
                                max_df = 0.5,
                                min_df = 10)
tf = tf_vectorizer.fit_transform(df.answer)

from sklearn.decomposition import LatentDirichletAllocation

n_topics = 5
# LDA 处理
lda = LatentDirichletAllocation(n_topics=n_topics, max_iter=50,
                                learning_method='online',
                                learning_offset=50.,
                                random_state=0)
lda.fit(tf)

Topic 0:
39 我见 看过 森林 一切 之中 无数 看见 真的 还有 感受 他们 大海 如同 找到 呼吸 情书 月亮 一次 这样
Topic 1:
图片 三分 情话 只是 宇宙 大家 真的 生活 无数 我会 心里 时间 开始 以下 最后 生命 永恒 这样 想起 然后
Topic 2:
邓颖超 周恩来 妻子 官方 情话 心里 怎么 时间 怀里 一把 太阳 情书 坚定不移 身体 有来生 所有 看着 这个 那么 世界
Topic 3:
看到 不敢 从此 原因 世界 希望 这个 情话 温柔 不要 只有 所有 别人 怎么 一直 但是 真的 永远 一定 只是
Topic 4:
34 世界 所有 这个 希望 只有 温柔 一定 这样 不要 还是 永远 那么 情话 所以 可爱 遇见 不会 一样 心里

import pyLDAvis.sklearn
data = pyLDAvis.sklearn.prepare(lda, tf, tf_vectorizer)
pyLDAvis.show(data)#可视化主题模型

可交互的动态图表还是非常具有视觉冲击力的：

根据抽取出的主题 AI 作诗

AI 作诗是一门非常具有挑战性的自然语言处理课题，在尝试了很多模型未果后，我发现了九歌——人工智能诗歌写作系统，来自清华大学自然语言处理与社会人文计算实验室的研究成果，于是就索性采用九歌的接口，这个接口没有高级的反爬措施，但是请求结果却很奇怪，需要多次请求才能返回正确结果；根据上一步的提取出来的主题作诗，同时做了个简单的封装，其效果如下：

比如输入【情话】【大海】，会生成如下的诗歌：

天
大海东流日夜圆
情何限
把酒话离筵

渔
月白芦花爱水鱼
风吹帽
露湿小荷锄
非常含蓄的诗词，深究发现采用了多种修辞和艺术手法，读起来也别有一番韵味。

相信这样的七夕礼物，一定别有一番情趣。