团队举例称，当人们使用ChatGPT时，请求会被发送到OpenAI公司的后端服务器进行处理。这一过程不仅成本高昂、能耗巨大，通常还很慢。如果用户想要使用消费级图形处理单元运行LLM，就需要对这些LLM进行压缩。
CALDERA算法通过减少LLM冗余并降低信息层的精度来发挥作用。“瘦身”后的LLM更加精简，可在手机或笔记本电脑等设备上存储和访问，同时提供了与未压缩版本几乎一样准确而微妙的性能。
虽然CALDERA并非首个压缩LLM的算法，但其独特之处在于兼具“低精度”和“低排序”两种特性。其中，“低精度”减少了比特数，加快了数据存储和处理速度。而“低排序”则降低了LLM数据中的冗余。
团队表示，使用CALDERA压缩的LLM可能适用于那些对精度要求不是最高的场景。此外，用户可在智能手机或笔记本电脑等设备上对压缩后的LLM进行微调，这使其能根据特定需求调整模型来增强隐私，而无需与第三方共享敏感数据。
不过团队也提醒道，在智能手机或笔记本电脑上运行LLM，可能会占用设备内存。
标签：
据美国科学促进会旗下网站19日报道，美国普林斯顿大学和斯坦福大学
自10月下旬的周末向北 沈阳最美2024沈阳赴北京城市主题推介会成功
房间隔断简单又实惠方法有哪些?1、‌玻璃隔断‌：玻璃隔断
由海南省自然资源和规划厅主办，上海市政工程设计研究总院(集团)有
中新网北京11月9日电 (记者 李京泽)我来北京上大学2024年残疾人大
近日，由中国互联网发展基金会、中国正能量网络传播专项基金支持，
11月1日晚，为期三天的2024中泰文旅嘉年华活动在安徽黄山举行。60多
中新网南昌11月3日电(卢梦梦)2日，2024中国航空产业大会在江西南昌
今天上午8点半，2024年医保目录现场谈判竞价在北京正式开始。根据此
9月家用电器和音像器材类零售额增长20 5%，智能家电增速超30%家电业
中新社北京10月23日电 (记者 刘育英)中国工业和信息化部新闻发言
如何安装机顶盒?**一、准备阶段**首先，确保你已经购买了适配的机顶
10月12日，位于陕西省汉中市佛坪县的秦岭大熊猫救护繁育研究基地内
广西壮族自治区通信管理局30日介绍，广西实施漓江风景区杆塔线缆迁
中新网10月6日电 据上交所网站消息，上交所10月6日发布《关于延长
从9月29日国庆假期运输启动至10月4日，国家铁路：日均装车18 87万车
