自然语言处理 - 使用文本数据的机器学习

免费领取国家顶级域名（.cn/.中国）

欢迎加入国家域名信源站点导航

站点智能：AI搭建 AI辅助运营独立站，把生意做到全世界

介绍

自然语言处理 (NLP) 无处不在，具有多种应用。一些示例包括将电子邮件分类为垃圾邮件和普通邮件、聊天机器人、AI 代理、社交媒体分析以及将客户或员工反馈分类为正面、负面或中立。

在本指南中，我们将讨论 NLP 的一个极为流行的用例 - 在文本数据上构建监督机器学习模型。

我们已经在之前的指南“[Scikit 机器学习]”(/guides/scikit-machine-learning) 中讨论过监督机器学习。然而，文本分类与涉及结构化表格数据的其他方法之间的区别在于，在前者中，我们经常从原始文本中生成特征。

问题陈述

在本指南中，我们将着手实现医学领域评论的自动化。医学文献数量庞大且变化迅速，增加了评论的需求。通常，此类评论都是手动完成的，既繁琐又耗时。我们将尝试通过构建一个文本分类模型来解决这个问题，该模型将使该过程自动化。

我们将使用的数据集nlpdata2.csv来自Pubmed搜索，包含 1748 个观测值和 3 个变量，如下所述：

标题 - 由检索到的论文标题组成
摘要 - 包括检索到的论文摘要
试验 - 变量表明该论文是否是测试癌症药物治疗的临床试验。
class - 类似于变量“trial”，表示该论文是否为临床试验（是）或不是（否）。这是目标变量，已添加到原始数据中。

步骤

以下是我们将在本指南中遵循的步骤。

*步骤 1——加载所需的库和模块。*

*第 2 步 - 加载数据并执行基本数据检查。*

*步骤 3 - 预处理原始文本并为机器学习做好准备。*

*步骤 4 - 创建训练和测试数据集。*

*步骤 5-使用 TfidfVectorizer 将文本转换为词频向量。*

*第 6 步 - 创建并调整分类器。*

*步骤 7——计算评估指标。*

以下部分将介绍这些步骤。

步骤 1 - 加载所需的库和模块

      # Import required libraries
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.utils import shuffle

%matplotlib inline
import warnings
warnings.filterwarnings('ignore')
    

第 2 步 - 加载数据并执行基本数据检查

第一行代码将数据读入为 pandas 数据框，而第二行打印形状 - 4 个变量的 1,748 个观测值。第三行打印前五个观测值。

      df = pd.read_csv('nlpdata2.csv')
print(df.shape)
df.head()
    

输出：

(1748, 4)

标题	抽象的	审判	班级
0	四环素与甲基强的松龙在……中的比较	0.5 毫克四氢叶酸被认为是等效的......	0	不
1	循环联合化疗治疗转移性...	104 名非随机分组的患有代谢综合征的患者……	1	是的
2	降低骨转移的发病率……	131 名患有骨质转移瘤的患者...	0	不
3	短期和持续化疗的比较...	132例晚期复发性乳腺癌患者...	1	是的
4	一项随机 III 期交叉研究......	139 名患有晚期...的围绝经期和绝经后妇女	1	是的

加载数据后，我们将进行基本的数据探索。让我们检查目标类的分布，这可以使用条形图来完成。下面的第一行代码通过计算“类”变量的出现次数来对其进行分组。第二行显示条形图。

很明显，目标变量中“否”的出现次数比“是”多。不过，好消息是差异并不大，数据相对平衡。

第三行代码计算了基线准确率，结果为 56%。计算方法是将目标变量中出现的多数类别（即“否”）的次数除以总观察次数。

基线准确度很重要，但在机器学习中却经常被忽视。它为模型应达到的最低准确度设定了基准。

      df.groupby('class').abstract.count().plot.bar(ylim=0)
plt.show()
print(971/1748) #Baseline accuracy
    

输出：

0.5554919908466819 #基线准确率

步骤 3 - 预处理原始文本并为机器学习做好准备

现在，我们准备构建文本分类器。然而，这正是 NLP 中事情开始变得棘手的地方。我们拥有的数据是原始文本，本身不能用作特征。因此，我们必须对文本进行预处理。

常见的预处理步骤有：

删除标点符号 - 经验法则是删除所有不属于 x,y,z 形式的符号。

删除停用词 - 这些是无用的词，例如“the”、“is”、“at”。这些词没有用，因为这些停用词在语料库中出现的频率很高，但它们无助于区分目标类别。删除停用词也会减少数据量。

转换为小写 - 像“Clinical”和“clinical”这样的词需要被视为一个词。因此，这些词被转换为小写。

词干提取 - 词干提取的目的是减少文本中出现的单词的屈折形式数量。这会导致诸如“argue”、“argued”、“arguing”、“argues”等单词被简化为它们的通用词干“argu”。这有助于减少词汇空间的大小。有很多方法可以执行词干提取，其中最流行的是 Martin Porter 的“Porter Stemmer”方法。

为了完成上述步骤，我们必须加载 nltk 包，这在下面的第一行代码中完成。第二行下载 nltk 包中的“停用词”列表。

      import nltk
nltk.download('stopwords')
    

输出：

[nltk_data] 正在将软件包停用词下载至 /home/boss/nltk_data... [nltk_data] 正在解压 corpora/stopwords.zip。True

nltk 包已加载并准备使用后，我们将执行预处理任务。下面的前两行代码分别导入停用词和 PorterStemmer 模块。

第三行导入正则表达式库“re”，这是一个功能强大的文本解析 Python 包。要了解有关文本解析和“re”库的更多信息，请参阅指南“[自然语言处理 - 文本解析]”（/guides/text-parsing）。

第四到第六行代码进行上面讨论的文本预处理。

      from nltk.corpus import stopwords
from nltk.stem import PorterStemmer
import re

stemmer = PorterStemmer()
words = stopwords.words("english")

df['processedtext'] = df['abstract'].apply(lambda x: " ".join([stemmer.stem(i) for i in re.sub("[^a-zA-Z]", " ", x).split() if i not in words]).lower())
    

我们现在将看一下具有新列“processedtext”的预处理数据集。

      print(df.shape)
df.head(10)
    

输出：

(1748, 5)

标题	抽象的	审判	班级	已处理文本
0	四环素与甲基强的松龙在……中的比较	0.5 毫克四氢叶酸被认为是等效的......	0	不	毫克四氢叶酸相当于毫克甲基泼尼松龙……
1	循环联合化疗治疗转移性...	104 名非随机分组的患有代谢综合征的患者……	1	是的	非随机患者患有转移性乳腺癌……
2	降低骨转移的发病率……	131 名患有骨质转移瘤的患者...	0	不	患者骨质转移性乳腺癌随机...
3	短期和持续化疗的比较...	132例晚期复发性乳腺癌患者...	1	是的	患者晚期复发性乳腺癌治疗四种...
4	一项随机 III 期交叉研究......	139 名患有晚期...的围绝经期和绝经后妇女	1	是的	围绝经期妇女晚期复发性乳腺癌...
5	17ss-羟基类固醇脱氢酶 1 型作为...	17ss-羟基类固醇脱氢酶 (17HSDs) 是...	0	不	ss 羟基类固醇脱氢酶 hsd 涉及局部……
6	长春地辛-米托蒽醌 (VM) 与长春地辛-4...	182 名转移性乳腺癌患者……	1	是的	患者转移性乳腺癌随机 v mg v m...
7	L-天冬酰胺酶 (NSC 109229) 的第一阶段研究。	22 名患者接受静脉注射 La...	0	不	患者接受静脉输注天冬酰胺...
8	乳腺癌的辅助化疗治疗	248 名接受局部根治治疗的癌症患者......	1	是的	患者局部根治治疗早期乳腺癌...
9	头皮冷却对于预防没有任何作用......	对 35 名患者进行了研究，以确定其有效性……	0	不	患者研究确定头皮低温效果...

_{免责声明：本内容来源于第三方作者授权、网友推荐或互联网整理，旨在为广大用户提供学习与参考之用。所有文本和图片版权归原创网站或作者本人所有，其观点并不代表本站立场。如有任何版权侵犯或转载不当之情况，请与我们取得联系，我们将尽快进行相关处理与修改。感谢您的理解与支持！}

_查看原文