找回密码
 注册

QQ登录

只需一步,快速开始

搜索

科大讯飞摘得ICFHR 2020 OffRaSHME数学公式识别挑战赛冠军!

提起科大讯飞,人们总津津有味于“让呆板能听会说”的先辈智能语音技能。着实除此之外,科大讯飞的“攻城狮们”也不停致力于让呆板“能看会认”。
克日,科大讯飞A.I.研究院团结中科大语音及语言信息处理惩罚国家工程实验室,以显着上风得到ICFHR 2020 OffRaSHME数学公式辨认挑衅赛冠军。这是科大讯飞继ICPR 2018 MTWI图文辨认挑衅赛上得到三项冠军、ICDAR 2019 CROHME数学公式辨认挑衅赛上得到两项冠军后,在复杂版面文档图像辨认明白标的目的上所得到的又一佳绩,再次显现科大讯飞在干系范畴的技能先辈性。
离线手写数学公式辨认(官方数据)榜单
红魔游戏手机-ITMI社区-科大讯飞摘得ICFHR 2020 OffRaSHME数学公式辨认挑衅赛冠军!(1)

离线手写数学公式辨认(外源数据)榜单
备注:“Correct”体现公式辨认的句精确率,“”和别离体现整条公式中允许呈现1处和2处错误的辨认的句精确率
技能顶天,掌握图文辨认“金字塔”级别困难“解法”
此次OffRaSHME(Offline Recognition and Spotting of Handwritten Mathematical Expressions)数学公式辨认挑衅赛由ICFHR 2020(International Conference on Frontiers of Handwriting Recognition)举行,参赛步队包含韩国三星、东京农工大学、华南理工大学、中山大学等多家常年深耕文档阐发明白范畴的研究机构。
相比于常规的图文辨认,对数学公式的辨认难度和技能挑衅通常更高。本次OffRaSHME官方角逐使命为“离线手写数学公式辨认”,该使命相比ICDAR 2019 CROHME的离线手写公式辨认使命,难度再度晋级,有以下三大难点:

      
  • 公式结构复杂,尤其是各种结构的嵌套:
红魔游戏手机-ITMI社区-科大讯飞摘得ICFHR 2020 OffRaSHME数学公式辨认挑衅赛冠军!(2)


      
  • 难以分辨的形近字符,如X和x,Z和2,和r:
红魔游戏手机-ITMI社区-科大讯飞摘得ICFHR 2020 OffRaSHME数学公式辨认挑衅赛冠军!(3)


      
  • 本次角逐添加了很多非常规符号的组合,轻易和公式肴杂:
红魔游戏手机-ITMI社区-科大讯飞摘得ICFHR 2020 OffRaSHME数学公式辨认挑衅赛冠军!(4)

难度虽高,但多么的使命对于科大讯飞来说其实不算生疏。
基于在手写数学公式辨认范畴深耕多年的技能积累,科大讯飞从基于上下文无关文法的传统数学公式方法到创新性地提出基于LaTeX建模的Encoder-Decoder辨认算法,此中,LaTeX做为最常用的数学公式表达之一,研究职员将数学公式辨认题目看做图像到LaTeX序列的翻译题目,借助注意力机制实现更精准的端到端辨认本领,该方案在2019 CROHME中一举打败了常年占据CROHME冠军职位的My。
而针对数学公式辨认中最难的复杂结构嵌套题目,科大讯飞提出了基于树形结构信息建模的Encoder-Decoder辨认算法,这种算法在复杂公式结构嵌套上更具泛化本领。针对形近符号区分难度大的题目,科大讯飞提出利用基于LaTeX语言模子的数据增强战略,利用数学公式的树形结构表达,公道地拆分分解数学公式,并利用这些公式训练LaTeX语言模子,末了利用语言模子增强出公道的、符合上下文语义关联的数据,该战略能够很大水平上缓解形近符号辨认困难的题目。
通过以上多项技能本领的综合运用,此次科大讯飞以显着上风拿下了此次使命难度极高的数学公式辨认挑衅赛冠军,证实了其在数学公式辨认范畴的技能先辈性;在实际应用中,弟子做业试卷文档存在版面结构复杂、誊写风格差异显着等难点题目,这一体系将为其提供更为丰富有效的管理方案。
通过多项技能本领的综合运用,在“能看会认”上,科大讯飞做得更好了!不光能辨认更复杂的数学公式,还能做到“中文+数学公式”混淆搭配的内容辨认,以后将在更多A.I.产品中应用。
https://v.qq.com/x/page/s3080uld0xk.html
应用登时,打造“能看会认”的A.I.产品
在数学公式辨认角逐之外,近期科大讯飞还在另一项天然场景的翰墨检测分割辨认的干系技能结果在ICDAR ReCTS(Reading Challenge on Reading Chinese Text on Signboard)评测使命得到显着打破,革新单字辨认、文本行辨认、文本行检测和端到端辨认全部四项榜单天下记载,使得体系在管理复杂场景下翰墨检测和辨认的困难中更为游刃有余。
红魔游戏手机-ITMI社区-科大讯飞摘得ICFHR 2020 OffRaSHME数学公式辨认挑衅赛冠军!(5)

这些结果并不是一簇而就。
究竟上,科大讯飞在图文辨认范畴已有多年焦点技能积累,拥有自主知识产权,并陪伴着每次技能迭代,产品都迎来大规模更新晋级,更好满足用户在多个场景下利用需求。
2015年,轻量级的卷积神经网络初次在手机配备上利用,使得在线手写字符辨认使命上得到打破性希望。依托此项技能,讯飞输入法用户手写输入体验感显着提拔。
2016年,CNN-HMM框架在文本行辨认使命中得到乐成应用,该套体系无需举行文本行切分等规则化的复杂版面阐发,有效克制切分带来的错误,使得篇章级的中、英文手写文档辨认效果到达人工相称水平。依托此项技能,科大讯飞智能辅助评卷体系能够或许对语文做文、英语做文、英语翻译、数学填空、英语填空等题型举行辅助评卷,应用天下多省市的中高考,累计处理惩罚题卡数量过亿张。
2018年,基于注意力机制的Encoder-Decoder模子在天然场景翰墨辨认使命上大放异彩,领悟语言模子举行端到端训练,使得照相暗昧的翰墨也能通过语言模子“遐想”而被精确辨认。依托此项技能,在讯飞翻译机中,对复杂场景下的多种字体也能一拍即译,让照相翻译更清楚更正确,能够或许满足更多斲丧者在国外旅游、购物的场景应用需求。
本年,在数学公式辨认使命的诸多关键技能上继承打破,干系焦点技能也将应用在讯飞智能学习机等产品中,资助用户正确地举行大数据学情阐发,找到知识点的单薄项,实现“个性化精准学”,资助广阔同砚提拔学习服从、稳固学习效果。
在技能应用的过程中,手写图文辨认也与智能语音等关键技能深度领悟,让各人着实感遭到技能进步带来的高效、便当性。如“出口成章,跃然纸上”的讯飞智能办公本,能够实现语音间接搜索手写笔记内容,“一句话找得手写笔记”,满足用户在更多笔记场景下的记载、写做、搜索、多端同步需求,有效进步办公服从。
在即将到来的618年中大促中,尚有更多产品将和各人晤面,各人能够进一步、零隔断体验这些新技能。
服从人工智能蹊径21年,科大讯飞不绝攀越技能顶峰,在智能语音、盘算机视觉、天然语言明白等技能范畴摘得一项又一项桂冠,但这并不是止境。科大讯飞将始终承袭“顶天登时”的技能信仰,打造一件件“能听会说”、“能看会认”、“能明白会思考”的人工智能产品,用人工智能点亮人间炊火。
0人点赞
您需要登录后才可以回帖 登录 | 注册 aaa