向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
居家治疗调理 中医也有良方******
抗疫三年来,广州中医药力量在疫情防控救治中发挥了重要作用。随着新冠病毒感染调整为“乙类乙管”,疫情防控进入了新阶段。如何继续用好中医药为疫情防控服务,为市民提供更好的救治?老人、小孩等感染者、康复者如何居家治疗、调理康复?昨日下午,在广州市人民政府新闻办召开的新冠病毒防治中医药专家访谈会上,市卫健委中医处和广州三家三甲医院中医药专家解答了一系列市民关注的热点问题。
他们为您答疑解惑
●广州市卫生健康委中医药管理处处长钟首斌
●广东省名中医、广州中医药大学第一附属医院副院长林丽珠
●广州中医药大学第一附属医院内分泌科主任、广州中医药大学伤寒论教研室主任刘敏
●国务院联防联控机制临床救治组专家、广东省中医院中医内科主任医师郭建文
●国务院联防联控机制综合组专家、广东省中医院儿科主任杨京华
●广州医科大学附属中医医院副院长、中西医结合主任医师于林
●国家中医紧急医学救援队(广东)队员、广州医科大学附属中医医院针灸科主任陈楚云
关键词·中医药救治
中医药全方位、全链条
深度融入疫情防控救治
问:新冠疫情防控三年来,中医药发挥了重要作用,广州做了哪些方面的工作?
钟首斌:三年来面对新冠病毒感染,广州的疫情防控工作从机制上保障中西医并重、中西医结合、中西医药并用,从预防、治疗到康复,都发挥中医药独特优势,中医药全方位、全链条、深度融入疫情防控救治中。
按照国家和省中医药主管部门的要求,广州建立起疫情防控救治中西医协作工作机制,形成了“第一时间应用中医药救治方案,第一时间中医药专家介入,第一时间用上中医药治疗”的工作模式。同时,在市八医院等定点医院深化中西医全程协作,中西医专家联合制定治疗方案、联合开展救治、联合查房和病例讨论。
治疗上坚持中西医结合。推广咽部经络疏通操、中医五音疗法、药膳等多种具有中医特色的非药物治疗,确保中医药“早期使用,全程参与”。
预防上发挥中医“未病先防”优势,推出“粤抗1号”“粤抗2号”中药预防方,推广八段锦、易筋经等中医传统健身功法,让中医药提早介入。
康复上注重中医调养。支持各医疗机构开设新冠感染康复门诊,为患者制定“一人一证一法”的精准化康复方案,提供中药、饮食、运动等中医指导。
问:新冠病毒感染实施“乙类乙管”之后,广州在中医药防治方面具体有哪些举措?
钟首斌:1月8日,国家正式将新型冠状病毒感染调整为“乙类乙管”,疫情防控进入新阶段。近日,国家先后发布第10版诊疗方案等几份重要文件,都特别强调要注重发挥中医药在临床救治中的独特作用。按照国家和省的部署,接下来广州将重点加强3个方面工作。
一是加强各级中医医院救治能力建设。广州要求各中医院尽可能扩容发热门诊,加强急诊科、ICU、呼吸科、感染科等重点科室建设,加强重症危重症中医药救治。
二是加强基层医疗机构的中医药培训和指导。
三是加强中药资源储备。
问:目前在新冠疫情防控救治方面,哪些中药材用量较大?
林丽珠:三年以来,岭南地区老百姓对中医药的信赖充分体现出来了。2022年12月30日,广东省药品监督管理局印发了全省对症治疗新型冠状病毒感染的医疗机构中药制剂调剂品种目录,总共74种,我们医院有15种进入目录。近两个月,医院开出的中药处方可能是平时的20倍,超10万人次寻求中医药帮助防治。在中药饮片中,有大家熟知的小柴胡汤、桑菊饮、止嗽散等。大家还会常用一些清肺祛湿、健脾药物,如五指毛桃(南芪),这些药的用量也有上升趋势。
关键词·“阳康”后的调理
“阳康”的广东人要注意
上穿羽绒下穿拖鞋不可取
问:“阳过”后多久,身体才算真正康复,有没有标准?
刘敏:一般来说一个星期左右或者多一点,很多人都会转阴,就算是“阳康”了,但实际上这只是一个相对恢复的状态。很多病人转阴以后一周甚至两周会觉得非常疲倦,咳嗽、咳痰,或者嗅觉、味觉减退、容易出汗、睡眠不好等,所以一般可能需要一个月左右甚至更长时间,身体才能逐渐恢复。
问:目前广州将迎来新一波降温,春节也即将到来,对于“阳过”正在恢复的人群,“衣食住行”各方面有哪些需要特别注意的?
刘敏:一定要注意保暖。广东地区很多人喜欢穿拖鞋,我前两天在街上还碰到有人上身穿着羽绒衣,下身光脚穿着拖鞋,这非常不好,因为“寒从脚起”!有些女孩冬天还喜欢穿露脐装、露膝裤,这就更不好。这个时节穿衣服一定要注意保暖,以免抵抗力下降,容易导致病情加剧,或者二次感染。
吃东西不要太油腻,不要吃生冷食物和冷饮。建议刚“阳过”的人少吃水果或加热后再吃,像橙子就可以蒸着吃。还要避免吃辛辣煎炸食物,饮食尽量清淡而富有营养。
住处应干净整洁通风;作息方面,早睡早起,不要熬夜,适当活动;开车上下班的,注意启动车辆后先把车窗打开通风,保证车内空气新鲜。
关键词·高龄患者
重视“扶正” 帮助重症患者渡过难关
问:目前临床上重症患者收治情况如何?怎样帮助感染者阻断病情进展?
郭建文:目前从省中医院临床看,新冠感染住院患者确实以80岁以上老人为主,其中不少患有糖尿病、高血压等基础病,也有人同时在接受免疫抑制治疗,这些人群感染后比较容易转为重症。
我们通过中西医结合使这类患者得到了较好治疗。按照最新诊疗方案,西医治疗方面,我们给予俯卧位改善呼吸、氧疗等生命支持;中医方面,通过宣肺化湿、清热解毒、通腑、扶正,来帮助患者恢复身体免疫力。关于“扶正”,我们有个很好的方法——医院营养食堂使用30克人参+2-3克陈皮煲瘦肉水提供给患者,起到很好的扶正作用,帮助患者熬过最艰难的3-5天,平稳过渡后,机体免疫力恢复了,核酸也转阴了,绝大多数重症患者通过中西医结合疗法顺利脱机拔管,恢复正常血氧指标。
问:广州在入境感染者中检测出XBB病毒株,春节期间人员流动量也增大,市民尤其是特殊人群如何预防感染或二次感染?
郭建文:首先,目前广州流行的毒株是BA5.2 、BF7亚分支,与XBB毒株有交叉免疫保护。第一次感染后半年内保护性抗体滴度比较高,只要不是机体免疫力特别弱,半年内再次感染的机会不大。
其次,春节期间,儿女都希望去看看家里长辈,建议家里有特殊高危人群的,尽量减少外出和拜年串门的机会,避免交叉感染,表示关心可以有很多种方式。
关键词·孩子的照顾
孩子“阳康”后如何恢复运动? 不妨从做家务开始
问:很多孩子感染后烧得很高,但好得也快,如何观察孩子是不是真的康复了?康复期要注意什么?
杨京华:按中医的说法,儿童是稚阴稚阳之体,发病容易,传变迅速,但是同时又是纯阳之体,发病以后康复得也快。不过,我们还是不能掉以轻心,在孩子“阳康”以后,还是要密切观察孩子的身体状况。孩子“阳康”以后,如果活泼好动、精神饱满,说明问题就不大了。第二,要特别关注孩子的消化状况。有一个简单的方法,10秒钟就可以判断:早上起来闻一闻孩子的口气,看看孩子的舌苔厚不厚,每天大便是不是正常等。
问:“阳康”后的孩子什么时候可以开始恢复运动?
杨京华:核酸转阴一周后,大部分孩子的身体状态就基本恢复正常了。只要是孩子本身没有明显基础疾病的,感染的过程中没有出现肺炎、心肌炎等并发症的,转阴一周以后就可以从低强度的运动开始,循序渐进地恢复运动。
什么是低强度运动?譬如马上就要过年了,建议“阳康”的中小学生做一些家务,或者出门散步走走、陪妈妈去买买菜,这些属于低强度的活动;逐渐适应之后就可以从事慢跑、踩单车、跳绳等活动,通常在学校的运动,都是低中等强度的;而高强度的竞技性、力量型、对抗类运动项目则要放在最后。
关键词·心理调节
“阳康”后情绪有点消极?可以试试中医疗法
问:有些人“阳康”后情绪变得有点消极,失去了工作热情,或者对很多以往热衷的事情都不感兴趣了。这种情况下,是否需要做一些心理干预,去调整一下状态?
于林:这个问题要根据症状持续时间和严重程度而定。如果情绪低落不明显,时间比较短,可以通过多休息、适量运动、听音乐等方式观察一段时间;如果出现抑郁的核心症状:情绪低落、兴趣减退、快感缺失,就要高度重视。情绪低落表现为经常诉说自己不开心,心情不好,终日愁眉苦脸、忧心忡忡、郁郁寡欢。程度轻的心里有压抑感,高兴不起来,程度重的会有痛不欲生感,度日如年,常说活得没意思。兴趣减退表现为对以前喜欢的活动或事务兴趣下降,或缺乏兴趣,如文娱活动、体育运动、业余爱好等。快感缺失表现为患者丧失了体验快乐的能力,不能从平日从事的活动中获得乐趣。即使从事自己喜欢的事情或工作,也是为了消磨时间。当上述症状超过2周且影响到了日常生活,建议去医院的睡眠心理科或专科医院就诊,接受系统专业的评估和治疗。
问:冬季本来就是抑郁高发季节,新冠疫情下不少人也因为各种原因可能受到抑郁情绪的困扰,如果自感有抑郁情绪,有什么方法可以排解?
于林:首先要有良好而充足的睡眠。其次,坚持适当运动锻炼。需要注意的是,运动需要循序渐进,量力而行。平时没有运动习惯的人,一定要从轻缓的项目开始,如八段锦、五禽戏、瑜伽、散步、快走、慢跑等;时间也宜从短到长,根据自己的身体承受能力逐渐增加运动强度和时间。
此外,还可以通过中医的穴位按摩、足浴、五行音乐等手段排解。更重要的是,经过上述方法,症状没有改善,甚至还有加重的话,还是要去睡眠心理科或专科医院寻求专业帮助。
关键词·传统疗法
“阳康”后咳嗽乏力 传统疗法可缓解
问:对“阳康”后很多人咳嗽不止、疲倦乏力等问题,中医会推荐用什么方案来调理?
陈楚云:“阳康”后的咳嗽,在中医辨证来说,属于外感咳嗽。通常起病急,病程相对比较短,要辨其风寒还是风热。从针灸来说,主要取天突穴、中府穴、列缺穴、合谷穴以及肺俞穴来治疗,多数是用针刺,或辨证给予刮痧、艾灸或者拔罐疗法,还可以做穴位注射,用维D果糖酸钙或者维生素B12注射定喘穴等。
对于疲倦乏力,中医认为是伤了肺气所致,针灸来说,会取百会、关元、肺俞、脾俞、膻中、足三里等穴位,用温针或针刺治疗,也可以在背腧穴做拔罐治疗。我们医院有一个自制脐疗药粉,可以铺在神阙灸(也就是肚脐)上来做艾灸,有强身健体的作用。
咳嗽不止还可以按压少商穴和孔最穴。少商穴取穴挺容易,就在拇指末端桡侧,指甲根角侧上方0.1寸,有清肺利咽,开窍醒神的作用,用手指尖掐揉少商穴,直至止咳即可。孔最穴可以治疗急症,它就在前臂掌面桡侧,当尺泽与太渊连线上,腕横纹上7寸。用拇指按压孔最穴,深按至咳嗽停止。(全媒体记者周洁莹、翁淑贤、吴婉虹)