文本分析，在数据挖掘，甚至是深度学习中很重要的分支研究领域。如下运用R语言，通过采用文本相似度算法Jaro-Winkler Distance，能实现：
在题库中查找出相似度高的题并输出自动聚类的结果，从而提炼出练习重点，提高阅读效率。
## 寻找练习重点
library('xlsx')
library('DBI')
library('RSQLite')
library('ff')
library('bit')
library('RecordLinkage')
library('stringr')
library('plyr')
# 读取指定题目文件
file <- "D:/data/Q_1.xlsx"
Q <- read.xlsx(file, 1, encoding = "UTF-8")
# 按照规则寻找相似度等于或者高于80%的题
PickOutGroup <- function() {
{
#NO_B <- list()
#PickingList_B <- list()
i = 1
for (i in 1:length(Q$题号)) {
Q_Main1 <- Q$题干[i] %>% as.character()
Q_Branches1 <- Q$选项[i] %>% as.character()
Q_Main_len <- Q$题干长度[i] %>% as.numeric()
Q_list <- list()
Q_list[i] <- Q$题号[i] %>% as.numeric()
a = 1
for (a in 1:length(Q$题号)) {
b = a + 1
Q_list_Pick <- Q$题号[b] %>% as.numeric()
# 题干
Q_Main2 <- Q$题干[b]
Q_Main_scores <- jarowinkler(Q_Main1, Q_Main2) %>% as.numeric()
# 选项
Q_Branches2 <- Q$选项[b]
Q_Branches_scores <- jarowinkler(Q_Branches1, Q_Branches2) %>% as.numeric()
# 题干长度
Q_Main_Len <- Q$题干长度[b] %>% as.numeric()
Q_Main_length_Con1 <- if (is.na((Q_Main_len >= as.numeric(Q_Main_Len - 10)) %>% as.logical())) { FALSE } else { TRUE }
Q_Main_length_Con2 <- if (is.na((Q_Main_len <= as.numeric(Q_Main_Len + 10)) %>% as.logical())) { FALSE } else { TRUE }
Q_Main_length <- tryCatch(if ((Q_Main_length_Con1) & (Q_Main_length_Con2)) { "Yes" } else { "No" }, error = function(e) { cat("ERROR:", conditionMessage((e))) })
#将相似选项加入列表
Q_list_Con1 <- (if (as.numeric(length(Q_Main_scores)) == 0) { FALSE } else { Q_Main_scores >= 0.8 }) %>% as.logical()
Q_list_Con2 <- (if (as.numeric(length(Q_Branches_scores)) == 0) { FALSE } else { Q_Branches_scores >= 0.8 }) %>% as.logical()
Q_list_Con3 <- (Q_Main_length == "Yes") %>% as.logical()
Q_list[b] <- tryCatch(if ((Q_list_Con1) & (Q_list_Con2) & (Q_list_Con3)) { Q_list_Pick } else { 0 }, error = function(e) { cat("ERROR:", conditionMessage((e))) })
a = a + 1
}
NO <- Q$题号[i] %>% as.numeric()
Q_list <- str_c(Q_list, sep = "", collapse = ";") %>% as.character() %>% gsub(pattern = ";0", replacement = "", .) %>% gsub(pattern = "NULL;", replacement = "", .)
PickingList <- data.frame(NO = NO, PickingList = Q_list)
unique(write.csv(PickingList, "D:/data/Q_2.csv", append = T))
}
i = i + 1
}
}
# 计算代码运行时间
system.time(PickOutGroup())
参考：“文本相似度算法Jaro-Winkler Distance” 介绍
Jaro-Winkler Distance是一个度量两个字符序列之间的编辑距离的字符串度量标准，是由William E. Winkler在1990年提出的Jaro Distance度量标准的一种变体。Jaro Distance是两个单词之间由一个转换为另一个所需的单字符转换的最小数量。Jaro-Winkler Distance通过前缀因子使Jaro Distance相同时共同前缀长度越大的相似度越高。Jaro–Winkler Distance越小，两个字符串越相似。如果分数是0，则表示完全不同，分数为1则表示完全匹配。Jaro–Winkler相似度是1 - Jaro–Winkler Distance。其公式如下：
内容来源于网络如有侵权请私信删除
文章来源: 博客园
- 还没有人评论，欢迎说说您的想法！
客服
