上传一张左下角缺损的《朝元图》壁画局部图,画面中诸神持笏朝拜的场景,仅需5秒钟,体系就能主动修补缺损部门,肉眼难以看出补全陈迹。这恰是西安电子科技年夜学人工智能学院传授焦李成团队研发的“丝路逸旅:文旅资源修复与天生基础模子”。 给壁画“体检”:秒诊断,秒修复 对于在没有汗青、考古专业配景的团队而言,怎样于缺少高质量原图参照的环境下,使修复成果既正确又切合汗青与艺术特性,是首要难题。 修复以前,必需先有正确的“诊断”。 针对于传统病害勘测依靠人工、效率低、诊断坚苦的问题,“丝路逸旅”模子搭载了端到真个“壁画病害检测与阐发”方案。从病害检测、阐发到修复方案天生,全历程都可实现无人干涉干与的主动化智能处置惩罚。 将《唐惠妃武氏墓山川屏风》及《韩休墓山川图》的残破电子图象上传体系,便可一键天生图文并茂的文物“体检陈诉”。 陈诉中,体系会用蓝、紫、白、黑等颜色于原图中标出剥落、退色、霉斑、裂痕等病害区域,并给出病害种别界说、水平阐发,提出如“霉斑去除了”“增补线条”等对于策,甚至细化到建议利用何种矿物颜料举行弥补。 团队成员、博士生高子涵纯熟地举行着演示,“这个方案以视觉支解收集及多模态基础模子为焦点,能对于裂痕、剥落等病害区域实现像素级精准辨认,并经由过程常识检索加强技能联系关系考古文献,输出阐发与建议,不仅为数字化修复开出‘药方’,也能为实体修复提供参考。” 基在如许一份周全的“体检陈诉”,体系不仅能修复由病害引起的退色、恍惚等问题,还有能对于缺掉部门举行智能补全。 “我国汗青朝代浩繁,部门朝代用时很长,差别期间的壁画、器物具备差别的时代特性。为此咱们前期投入年夜量时间举行数据与信息汇集,并重复验证,以确保修复的正确性。”团队成员、博士生王子韬注释说,“针对于壁画中没法考据的缺掉部门,咱们与华清宫文保中央互助,提出了基在天生式年夜模子常识指导的壁画补全要领。” 天生式年夜模子犹如一名长于进修的学生,可以或许广泛接收并正确理解汗青文献与考古资料,将所学内容布局化,并运用在壁画修补历程,从而确保补全数分于艺术气势派头、器物形制等方面切合汗青事实与审美规范。 让文化“活”起来 这一切,源在团队30年来于图象处置惩罚、模式辨认、计较机视觉等范畴的堆集。团队成员、西安电子科技年夜学副传授刘旭暗示,依托教诲部智能感知与图象理解重点试验室,团队初期重要从事遥感影像解译、方针检测等基础研究,堆集了富厚的图象阐发与理解焦点算法。 这些技能贮备为厥后切入文物数字化掩护范畴奠基了坚实基础:壁画病害检测素质上是图象支解问题,壁画修复素质上是图象重修与天生问题。 然而,跟着多模态年夜模子的鼓起,团队于转型早期也曾经感应苍茫。 “咱们30年的堆集上风于哪里?陕西最怪异的资源是甚么?国度最需要甚么?”团队领头人焦李成提出的这三个问题,激发了团队的思索。 “会后,我带着几位同窗重复梳理,终究找到了谜底——陕西文物质源富厚,年夜量贵重壁画急需数字化掩护,而咱们于图象理解与天生方面正好有深挚的堆集。”刘旭告诉《中国科学报》,就如许,“丝路逸旅”的标的目的就此确定了。 起步阶段,团队也碰到过挑战。刘旭先容,古代壁画是不成再生的贵重资源,公然数据集险些为零。团队破费年夜量时间洗濯数据,并经由过程数据加强、天生等要领,使用有限样本练习出可用模子。 他坦言,初期利用通用扩散模子修复壁画时,天生成果常带有西方油画气势派头,彻底掉去了中国传统绘画的韵味。“为此,咱们专门构建了古代壁画气势派头数据集,对于模子举行范畴适配微调,并引入常识检索加强机制,让模子可以或许‘读懂’《历代名画记》等古籍中的绘画理论。” 刘旭增补说,团队屡次与文物专家深切交流,重复优化交互界面与功效流程。“文物修复是一项严厉的专业事情,咱们的东西必需充足专业以得到文保专家的承认,同时也要易在操作,利便一耳目员利用。” 令团队惊喜的是,去年《黑神话:悟空》游戏爆火时,一名同窗发明游戏道具“美酒”与陕西汗青博物馆的镶金兽首玛瑙杯极其相似。他用团队的文博问答体系测试,体系不仅辨认出两者的联系关系,还有具体解说了“来通杯”从爱琴海经丝绸之路传入中国的故事。“这让咱们意想到,咱们所做的不只是技能,更是让文化‘活’起来的桥梁。”刘旭感触道。 知心的“游览搭子” 于开展壁画“检测-修复-补全”事情的历程中,团队成员最先愈来愈多地相识陕西汗青文化,也最先思索怎样能让旅客拥有更好的文旅体验。 “请帮我计划一份完备的西安三日游行程。我患有‘三高’,带着两个孩子,想于西安这座碳水之城吃患上纵情,同时经由过程合理的路径摆设,统筹文化体验与科技感触感染,让孩子也能接管的都会Citywalk,做到轻松不累。” 输入如许一段需求,“丝路逸旅”年夜模子便能从行程总览、饮食建议、行程特点、交通贴士、留意事项等方面,天生一份定制旅行攻略。 “比拟其他通用年夜模子,咱们的回覆会更精准,由于咱们与本地文旅部分互助,获取的信息更周全、和时。”团队成员、博士生张洁注释,“除了了文字发问,也撑持上传图片举行多语种问答。” 上传一张《黑神话:悟空》中“美酒”道具的图片,模子就能经由过程图象检索,辨认出其造型近似“来通杯”,指出陕西汗青博物馆藏有相似文物“镶金兽首玛瑙杯”,并申明其位在博物馆负一层四号厅,还有能进一步解说来通杯的汗青源流。 “这一模子实现了从‘人找信息’到‘信息找人’的改变,为旅客提供高质量、定制化、陪同式的智能办事。”刘旭先容,“于与陕旅集团的深度互助中,咱们连续按照旅客需求更新模子,不仅撑持行前与行中的攻略查询、文博解说,还有与西安市汉服文化协会、陕西国博政通讯息科技有限公司互助,推出AI古风换装、AI盲盒设计等办事。” “丝路逸旅”模子的研发不仅有着扎实的技能支撑,还有搜集了文化遗产掩护专家、游览计划专家等提供文博专业范畴常识撑持,颠末两年多的调研、阐发、研发与优化,这一模子已经从构思走向现实运用。 将来,团队将安身陕西深挚的汗青文化秘闻与富厚的游览资源,面向文化传承与聪明文旅需求开展体系研究。“咱们将依托人工智能、年夜数据与多模态感知等技能,于汗青文化遗产数字化掩护、文旅资源智能保举、沉浸式交互体验等标的目的举行立异摸索。”刘旭暗示,团队将继承鞭策科技立异与文化内在的深度交融,拓展与更多处所文旅部分的互助,助力文物智能化修复,促成优异汗青文化的立异性流传。 “已往文物于墙上、于地下,看不清、摸不着;此刻经由过程咱们的技能,要让它看患上清、动起来、活过来。”焦李成暗示。
唐朝韩休墓《乐舞图》修复对于比图。西安电子科技年夜学供图
唐朝章怀太子墓壁画《马球图》对于比图。西安电子科技年夜学供图
AI古风换装图。西安电子科技年夜学供图