让大模型不再 巨无霸 这是一份最新的大模型参数高效微调综述

让大模型不再 巨无霸 这是一份最新的大模型参数高效微调综述

近期,大语言模型、文生图模型等大规模AI模型迅猛发展,在这种形势下,如何适应瞬息万变的需求,快速适配大模型至各类下游任务,成为了一个重要的挑战,受限于计算资源,传统的全参数微调方法可能会显得力不从心,因此需要探索更高效的微调策略,上述挑战催......
admigg 11-14
339 631 640
XAI有什么用 探索LLM时代利用可解释性的10种策略

XAI有什么用 探索LLM时代利用可解释性的10种策略

你是否也好奇,在大模型时代,可解释性人工智能技术,XAI,有怎样的使用价值,近日,来自佐治亚大学、新泽西理工学院、弗吉尼亚大学、维克森林大学、和腾讯AILab的研究者联合发布了解释性技术在大语言模型,LLM,上的可用性综述,提出了,Usab......
admigg 11-14
681 380 689
多智能体大模型协作中的角色不一致性 一致性 虚构性和模仿性

多智能体大模型协作中的角色不一致性 一致性 虚构性和模仿性

多智能体AI系统近年来在模拟集体决策和增强聊天机器人文化敏感性方面展现出巨大的潜力,这些系统通过模拟多种社会文化身份的AI代理,能够在科学研究和实际应用中提供宝贵的洞察,例如在行为实验中,多智能体系统可以模拟人类群体互动,帮助研究人员理解群......
admigg 11-14
594 470 325
KVSharer Cache 基于不相似性实现跨层 KV 共享

KVSharer Cache 基于不相似性实现跨层 KV 共享

一、背景本文中我们介绍一种最新的KVCache共享论文KVSharer,与之前常见的层内共享不同,KVSharer主要关注跨层共享,并且是整个层的共享,对应的论文,[2410.18517]KVSharer,EfficientInferenc......
admigg 11-14
993 593 674
能否在追问中坚持判断 揭秘大语言模型的判断一致性挑战

能否在追问中坚持判断 揭秘大语言模型的判断一致性挑战

多轮对话中大语言模型在做出正确判断后,如果面对追问中的质疑、否定、误导等干扰它还能坚持先前的正确判断吗,最近来自南京理工大学,NJUST,的研究者们发现大语言模型,LLMs,在面对追问时经常会在其判断上动摇,即使原始判断是正确的,这种判断的......
admigg 11-14
778 233 814
Google开源大模型新成员CodeGemma 继Transformer后新架构Griffin诞生 RecurrentGemma

Google开源大模型新成员CodeGemma 继Transformer后新架构Griffin诞生 RecurrentGemma

2024年2月,Google推出了Gemma,一系列轻量级、先进的开源大模型,这些模型是使用创建Gemini模型时所使用的相同研究和技术构建的,近日,Google宣布了Gemma家族的首批新增成员,为机器学习开发者扩展了创新责任的可能性,C......
admigg 11-14
569 686 437
AlphaFold 统一生物语言大模型阿里云先开了! 3不开源

AlphaFold 统一生物语言大模型阿里云先开了! 3不开源

把169861个生物物种数据装进大模型,大模型竟get到了生物中心法则的奥秘&amp,mdash,&amp,mdash,不仅能识别DNA、RNA与相应蛋白质之间的内在联系,在基因分类、蛋白质相互作用预测、热稳定性预测等7种不......
admigg 11-14
979 674 479
15大结构梳理CNN网络的发展

15大结构梳理CNN网络的发展

CNN基本部件介绍1.局部感受野在图像中局部像素之间的联系较为紧密,而距离较远的像素联系相对较弱,因此,其实每个神经元没必要对图像全局进行感知,只需要感知局部信息,然后在更高层局部信息综合起来即可得到全局信息,卷积操作即是局部感受野的实现,......
admigg 11-14
880 474 682
新能源产业链看过来! 碳视野 欧盟关键原材料法案生效!

新能源产业链看过来! 碳视野 欧盟关键原材料法案生效!

一、政策背景3月18日,欧盟理事会批准了,关键原材料法案,CRMA,,以确保对绿色转型、数字工业和国防部门至关重要的原材料的可持续供应,该法案旨在,增加欧盟当地关键原材料供应量和多样性;加强包括可回收材料在内的循环材料的使用;支持资源增效和......
admigg 11-14
892 414 476
AI大模型的 心脏 算力王者归来

AI大模型的 心脏 算力王者归来

在数字浪潮中,AI大模型如日中天,成为科技领域的焦点,然而,在这一切背后,算力作为支撑AI大模型的基石,更是功不可没,今天,就让我们一同探讨算力的重要性,见证其王者归来的时刻,什么是算力算力的字面意思,大家都懂,就是计算能力,Computi......
admigg 11-14
683 312 505