品书中文 通过搜索各大小说站为您自动抓取各类小说的最快更新供您阅读!

用故事解释Softmax函数的溢出问题

故事背景:龙族宴会上的金碗

在一座神秘的龙族王国,龙族每年都会举行一次盛大的宴会,宴会上有一个传统:每条龙要把自己的财富(金币数量)放进一个金碗,然后让智慧长老计算每条龙的“财富占比”,来决定谁是这一年的财富之王。

宴会当天,四条龙分别报出了自己的金币数量:

? 火龙:100万金币

? 冰龙:200万金币

? 雷龙:300万金币

? 风龙:10亿金币

智慧长老准备使用一个古老的计算方法——Softmax规则,将这些财富转换成概率来比较。但他很快发现了一个严重的问题:

金碗炸了!

为什么?因为按照Softmax的计算方法,他需要计算每个金币数量的指数值:

但这些数值实在是太大了,远远超出了王国的计算能力,直接导致金碗崩溃(计算溢出)。

智慧长老陷入了困境,他需要找到一个方法来避免计算崩溃。于是他想到一个聪明的技巧:

“我们不直接放金币,我们可以先让大家的金币数减去最大的金币数!”

于是,他重新计算:

? 火龙的金币数变为 100万 - 10亿 = -9.99亿

? 冰龙的金币数变为 200万 - 10亿 = -9.98亿

? 雷龙的金币数变为 300万 - 10亿 = -9.97亿

? 风龙的金币数变为 10亿 - 10亿 = 0

然后,他计算:

现在,所有的指数值都变得很小,不会再溢出,金碗终于能正常计算了!

最终,风龙的财富占比几乎是 100%,其他三条龙的财富占比接近 0,宴会得出了正确的结论。

这个方法被称为 Softmax的数值稳定性技巧,即 在计算前减去最大值,防止指数运算导致溢出。

用比喻解释Softmax的溢出问题

比喻1:水池溢出

想象你有一个大水池,你往里面倒水:

? 第一桶水是 100升

? 第二桶水是 200升

? 第三桶水是 300升

? 第四桶水是 10亿升

显然,水池无法承受10亿升的水,直接溢出了!

解决方案?

? 你先抽掉10亿升的水(相当于减去最大值),这样所有的水量都变成一个较小的数字,水池就不会溢出了。

比喻2:计算机的“溢出”锅

假设你在做饭,想同时煮四个锅的水,每个锅的温度分别是:

? 100°c

? 200°c

? 300°c

? 10亿°c

你的炉子最高只能加热到 500°c,但第四个锅的温度远超这个上限,直接导致炉子爆炸(计算机溢出)!

怎么办?

你可以先把所有锅的温度减去一个基准值(比如减去10亿°c),让温度变成:

? -9.99亿°c

? -9.98亿°c

? -9.97亿°c

? 0°c

现在,最高的温度也只是 0°c,不会再超出炉子的承受范围。

总结

? Softmax的溢出问题 是因为指数运算会导致数值过大,超过计算机的上限。

? 解决方案 是在计算Softmax之前,先减去最大值,这样所有的数值都会变小,防止指数爆炸。

? 就像往水池倒水、往锅里加热,数值太大就会溢出,我们需要先做调整,确保计算不超出范围!

品书中文推荐阅读:帝师狂婿九龙战神天!夫君是个大反派股神传说之崛起都市修仙:千年后的我归来无敌了九阳丹帝仙声夺人桃源小龙医重生后,我宠上冷戾大佬我在东京教剑道圣石的觉醒请婚书重生香江1981我用末日文字游戏给世界意志打工神医娘亲之腹黑小萌宝懒神附体丹武至尊关于我变成了美少女这档子事摄政王的小闲妻高武:忍者弱?没看过火影吧!穿成败家妻主后她躺赢了重生军嫂是神医异能觉醒的夏天诡秘:我是演员海贼王之草帽副船长穿成替嫁医妃后我被迫母仪天下笑破天传说我在末日废土来修仙废柴召唤师:逆天小邪妃极品修士修行的世界少年捉鬼道长长生殿之王大杀四方重生回到75年重生2007,打工人,打工魂看好了,这一刀很帅!人到中年:娱乐圈的悠闲生活他都抡锤了,你还管他叫奶?惹上洛三少傲娇青梅忽然对我穷追不舍异能狱警,不稳绝不出手重生之女配的美满人生哥,这是直播,你收敛点儿!!高武:开场觉醒SSS级噬空灵焰让你当军师,你和女方军师好上了命途多舛,成功逆袭不当替身后,我上婆媳综艺爆火了娘娘每天都盼着失宠当炮灰女配不如嫁气运反派重生之掌家弃妇
品书中文搜藏榜:一觉醒来,竟然变成了女孩子长相过于漂亮,她们拿我当御姐养长得美,他们自愿被撅也怪我咯?女装加小楠娘等于扳手,你跑不了像女生被错认为已经当妈怎么办宝树堂传奇之是谁要了他的命龙王殿:最强战神缠婚霸爱:强吻天价老公通灵毒后难忘人生直播之末世逃生撩妻入怀:学霸男神首席天价逼婚:老婆不准逃我为土地爷消失三年,青梅校花疯狂倒追我血棺镇魂韩娱,从财阀弃子开始宦海特种兵予你缠情尽悲欢银翎梦故事笑话不是,让你跟校花分手,你真分?新婚后,植物人老公抱住我庭院里花开几时休转生成为血族公主绝宠小娇妻浅笑说爱你闪婚强爱:腹黑首席小白妻许你一世烟雨我在三界收废品美女主播的抓鬼拍档锦绣医图之贵女当嫁廖医生的白玫瑰一品天尊他的温柔会上瘾三爷您的小夫人已上线失业后,我靠钓鱼实现人生自由神级技能:开局偷属性,逆天改命半岛人生制作人偶像竟是我自己华娱之从零到巨星重启封神,从成为天师开始!重生后我是大佬白月光万古第一龙铁血龙魂绝世枭龙侯门落魄嫡女翻身记军少花式宠妻女教师仕途危情1979,从乡村打造商业帝国
品书中文最新小说:让你刻木雕,你反手雕出个神明?天使降临,我的光系不再是辅助都市绝品医圣!谍锁连环:沉渊诡异游戏:看见血条的我,杀疯了!奔跑:开局被白梦妍曝光身份天庭警察局二:管天管地重生祁同伟之重拾初心别人御兽我御哥!魔卡之终极法神离婚后,女总裁悔哭了君王殿财戒渣混的世界阴魂荡医河长路放下个人素质,享无敌人生盗贼只能开锁?可我什么技能都有九叔,不能悟道我,契约万物成道友人犯贱系统毕业后,我和契约姐姐假戏真做什么?前世女友带记忆来找我报仇系统:我真不想当渣男啊全网唾弃后,我蹭天后前女友热度诡异复苏:从吸收怨气开始修行!1977:换亲后,娇软女知青赖上我没钱当什么锻造师?狱皇归来,我以无敌镇世间六年出山,三岁萌宝被骂野种摊牌了,我有系统不装了诡外卖我赶尸匠,一个关注惊爆全网重回70:囤满物资,替妹下乡!村凰炫爀门荣耀王座之都市传说替嫡姐怀上世子爷的孩子后,她死遁了系统之敌文娱:分手是你,我成天王你哭啥?重生八零:赶海觉醒情报系统,鱼获爆棚!黄金年代:我在1994重启人生游轮上奇遇豪门千金重生1990,从回国造彩电开始全民:开局吞噬天赋,我为暗影主宰!重生1977:我的野性人生离婚后,冰山前妻找我重金求子反派,开局拿下主角妹妹刚成辅助,皇上强行许配公主给我我是真不想当风水师重生78,我养活了亡妻的四个妹妹