第117章 师姐別眨眼，我给你变个魔术
第117章 师姐別眨眼，我给你变个魔术
“哈哈，师姐怎么捨得欺负小师弟呢？来，不如让师姐帮你看看，卡在哪了，说不定能给你点小小的建议。”
骆余馨笑如花的站起身凑到乔源的电脑旁看了眼，看著那密密麻麻的数据，说道：“嘖嘖，这段时间还真是辛苦啊！不知道的还以为你在做统计工作呢！
来说说吧，这也有两个多月了吧，这么多数据都分析出些什么东西来了，有什么收穫，让师姐也来帮你参谋参谋！”
乔源瞥了骆余馨一眼，面无表情地说道：“从给出的策略向量跟回復的评估来看，性能y隨著的变化並不是平滑的，存在许多局部最优。
另外对同一个x做重复评估，经常会得到不同的y。而且调用optimize函数，设置不同的num—workers，能发现多工作节点下的確有最优收敛现象。
但是单凭这些根本无法写出f（x）的具体形式。所以也没法建模，证明更无从谈起。”
“哦！”
骆余馨忍俊不禁的点了点头，然后说道：“所以你就打算继续这么收集数据，然后等待著什么时候量变引发质变对吧？没发现你还是个研究概率的好苗子呢。”
乔源很气，深吸了口气，刚想反唇相讥，突然感觉脑子里像是劈出了一道闪电。
“你刚才最后说的什么？什么好苗子？”
骆余馨古怪的看著乔源，差点就要被这傢伙严肃的语气唬住了。
“我说你是个研究概率的好苗子！”
乔源猛地一拍脑袋！
“艹啊，我真蠢！怎么会一直没想到呢？！”
然后也懒得再理骆余馨，立刻专注地看向电脑，打开有为提供的分析软体，重新对得出的数据进行分析。
这下轮到骆余馨发呆了，仔细回味了半天，也没搞明白她那句研究概率学的好苗子，到底怎么启发这个傢伙了。
该不会在那里装著吧？
“喂，你別闹啊！是真想到什么了？”
“我之前一直想著怎么跟踪优化路径x（t），在分析其收敛性。说白了还是试图用分析hessian
矩阵的特徵值分布那一套。
然后试图用这种方法在频率域去找共振点。但这根本行不通的。这些数据显示优化过程显然不是在光滑曲面滚动的。
相对而言，这更像是无数离散点在不断变化的复杂网络上跳跃，这么分析当然不可能得出结果。
所以这本来就不是一个能从单个路径找到关键的命题。但可以用概率分布的思路来解决。”
“概率分布？你什么意思？”骆余馨皱著眉头问道。
“就是这个意思。你別把这个问题看成是分布优化问题，直接把黑盒看成一个粒子系统。
每个工作节点就是一个粒子。那么这个问题就是分析粒子系统的平均场极限。也就是从研究点收敛进阶到研究分布收敛！
这样只需要统计黑盒內部工作节点n从1到趋於无穷时，所有粒子的经验分布ut会如何变化。
因为每个工作节点都是在异步地探索策略空间，这本质上其实就是一个粒子系统。
所以当我找到合適的工具来描述这个分布演化，就能去定义u—t的收敛性。
这样我甚至不需要知道f（x）到底是什么，也能够建立动力学模型並给出收敛性证明。”
乔源语速飞快的说道。
“嘰里呱啦的，都不知道你说些什么？还分布收敛？你还真打算用概率论解决这个问题啊！”
骆余馨皱著眉头点评了句，也懒得再理这傢伙，重新端起水杯回到了自己的位置上。
不过看到乔源对她的话完全没有反应的样子，只是埋头做事的样子，突然心里有点不安。
不能是她隨口嘲讽一句真帮这傢伙找到灵感了，然后突然就顿悟吧？
不会这么神奇的吧？
骆余馨感觉乔源在装，但又觉得小师弟没那演技。
算了，懒得理他了。
骆余馨开始忙自己的事情，直到中午十二点半。
平时这个时候乔源早就雷打不动的跑去是哪个吃饭了，今天却还一直坐在那里。
“喂，今天你不去吃饭了？”
“嗯，没空。你要去吃的话，就帮我带一份。不去就算了。”
“呸，我可不是那种会心疼你没饭吃的人！”骆余馨衝著乔源翻了个白眼，然后拿出了手机，发了条信息之后又放下。
然后两人又开始各忙各的。
大概十多分钟后，办公室门被敲响。
“进来吧。”骆余馨抬头说了声。
下一刻门被推开，夏汐月拎著两份盒饭走进了办公室。
这响动让乔源也扭头看了眼，隨后一愣：“你怎么来了？”
“余馨姐刚刚发微信说你们忙得午饭都没时间去吃了，我当时正好在食堂，就顺便帮你们带了两份过来，先吃饭吧。这是你的。”
“哦，好。”
乔源接过夏汐月递来的盒饭，顺便扭头瞥了骆余馨一眼，说道：“下次带我的就行了，不用带骆师姐的，她要减肥，不用吃午饭的。”
“呵————我还需要减肥吗？”
骆余馨不屑的回了句，隨后又状似漫不经心的问道：“倒是你，装神弄鬼一早上了，还真想到办法了？”
乔源一边吃饭一边信心十足的回了句：“你准备好免费给我打十年工就行了。”
“行了，你们两个先吃饭吧。怎么什么时候都要爭两句？”
一旁的夏汐月说了句。
两人打赌的事情，她也是知道的，某天晚自习时乔源告诉过她。
不过夏汐月一直觉得两人就是开玩笑的。
毕竟正常人哪有隨便打个赌，就把未来十年给交代出去的？
乔源吃饭保持了以往的超快速度。本来也的確有些饿了。
放下筷子，他也没继续在电脑上鼓捣，而是把小黑板拖到了自己这边，拿起粉笔直接开始推导。
这一动作自然吸引了两个女人的目光，尤其是骆余馨，边吃著饭边盯著黑板看著。
时不时的还点评两句：“呦，fokker—planck方程都用上了？”
乔源隨口答道：“解决具体问题的时候，当然是什么工具好用就用什么。
说著，乔源在黑板上隨手写下了p（x，t），嘴里则隨口解释著：“这就是t时刻策略向量的概率分布，这个分布p的演化，正好可以用fokker—planck方程描述。
所以现在问题就是雅典娜的优化过程，其策略的经验分布在平均场极限下必然会收敛於一个稳態分布p—∞。
因此，其性能指標y作为隨机变量的期望值，也必然收敛。但我还没找到收敛速率以及何时能达到最优解，完成这项工作就能开始构建模型了。
不过这也难不倒我了，我刚刚上午已经想到了，完全可以採用微分包含描述其非光滑性。”
说著乔源隨手又写下一串公式：dx—t∈—af（x—t）dt————
“然后再引入隨机性————”
话音落下，又一行公式乔源在上面的公式后面又加上了一串。
+σ dw—t
“好了，现在就是要考虑怎么把分布式与隨机性统一起来。首先我们需要给出一个定义。
对了，解释一下，刚刚我说的分布收敛並不是概率学意义上的分布收敛，而是一个新的定义。
就是上述隨机分布式优化过程。
严格定义就是对於一个隨机优化过程{x—t}，如果其经验分布u—t弱收敛於一个稳態分布μ—∞，则称该过程是分布收敛的。”
说完，乔源扭头看了眼抱著盒饭，已经没心情继续吃的骆余馨，挑了挑眉毛，说道：“师姐，现在请一定不要眨眼，看我给你变个魔术啊！”
听了这话，骆余馨报復性疯狂眨了眨眼，但没吭声。
可惜乔源说完之后就已经扭过头，不管不顾的继续开口说道：“现在我们定义个新的泛函，嗯，不如就给它取个新名字叫分布熵吧————”
话音落下，黑板上又多出—排的公式：v（p）=∫f（）p（）d+t∫p（）lnp（）d
“师姐先別急著犟啊，刚才我说了，引入隨机性，那是不是就可以把整个粒子系统当成一个热力学系统？
当然你要是看不懂这一步也没关係，不影响你观看魔术。现在我问你一个问题，这个系统最终会去哪？”
骆余馨依然没有回答，然后乔源则开始自问自答了。
“这就是解决这个问题最重要的定理之一了，想想我刚才对分布收敛的定义，系统的经验分布μ—t会弱收敛於一个稳態分布μ—∞。
非常非常巧合的是，当我们完成这一系列推导之后就会发现，这个稳態分布恰好就是这个分布熵的极小点！这个结果可以通过简单的计算就能確定！
看吧，得到这一步之你是不是开始觉得太神奇了？所以你肯定要问，这是为什么呢？
答案就藏在这一步。其中第一项∫fp是性能驱动，它要把分布推向性能更好的区域。
第二项就是熵，它不止代表了隨机性，更让分布不会坍缩成一个点，而是始终保持探索性！”
说完，乔源拿著粉笔隨手在黑板上一划————
“现在明白我的思路了吧？收敛性证明就等同於证明这个泛函v（p）是沿动力学下降的，並且有下界。
看吧，当时间t趋近於无穷时，v（pt）会收敛到它的极小值。相应地，分布pt也会收敛到对应的稳態分布。”
说完，乔源扔下粉笔，转头看向骆余馨，问道：“今天的魔术变完了，师姐你喜欢这个表演吗？”
隨后依然不等骆余馨说话，乔源又继续说道：“有为集团发给了我两个问题，一个动力学建模，另一个是收敛性定义与证明。
但现在我还能顺便送他们几个关键问题的答案。比如如果识別並量化影响收敛速度的关键因素。
又比如我可以帮他们预测是否存在一个最优的等效噪声强度，使得收敛速度加快！
甚至还能计算如何通过调节参数，来逼近最优状態。你知道是为什么吗，师姐？
因为刚刚解决这个问题的时候，我將非光滑跟隨机噪声推广到非凸领域的办法也想到了！
非凸世界里，真正的收敛並不一定是指向唯一那一个点，还可以是指整个状態分布的稳定態！
也就是说我们根本不需要去找到那个最优的解，我们只需要证明它会稳定且可预测地呆在某个足够好的集合里就足够了！”
说完，乔源昂这头，骄傲地看向骆余馨。
就像皇帝站在高高的台阶上俯视他的大臣。
当然，乔源也的確有足够的理由骄傲，仅用了一个早上，他就把最近困扰他的两个难题都解决了！
接下来无非就是一些细节性的工作—將这些思路写成完整的数学报告和论文。
对於一位数学家来说，这无疑是最简单的工作了。
毕竟详细的证明和推导过程已经牢牢地刻印在了脑海里。
两百万奖金，昇腾集群十年的共享使用权，以及一位燕北博士后未来十年的免费使用权，已经都是他的了！
顺带著还能给自家两位导师一个惊喜。毕竟他们的课题又往前推进了一大步。
骆余馨此时的表情很奇怪，之后的动作更奇怪。
她没有理会乔源，而是优雅的放下筷子，拿起手机，点开微信。
然后直接开始疯狂输出！
“周教授，您这些年到底在忙什么啊？有为集团给您提供了那么好的条件，创造了那么多便利，还整了个团队去解决一个问题。
结果您拖了两年都没搞定。人家一个本科生，没有实验室，没有团队辅助，甚至只有一个黑盒做参考，却只用了两个月就完美解决了！
我猜这些年是不是把精力都放在研究进化论上去了？我要是您的话，今天就把杰青头衔让出来给人家本科生算了！”
说完，骆余馨举止优雅地放下手机，在乔源目瞪口呆的目光中看向了一旁的夏汐月。
“对不起啊，汐月妹妹。之前跟乔源打了个赌，如果输了就得让他免费用十年。
姐姐又是个守信用的人，如果乔源之后任何时候想对姐姐我做点什么，我也只能从了！你肯定不会怪我吧？”
夏汐月半张著嘴巴：“啊？”
7
“哈哈，师姐怎么捨得欺负小师弟呢？来，不如让师姐帮你看看，卡在哪了，说不定能给你点小小的建议。”
骆余馨笑如花的站起身凑到乔源的电脑旁看了眼，看著那密密麻麻的数据，说道：“嘖嘖，这段时间还真是辛苦啊！不知道的还以为你在做统计工作呢！
来说说吧，这也有两个多月了吧，这么多数据都分析出些什么东西来了，有什么收穫，让师姐也来帮你参谋参谋！”
乔源瞥了骆余馨一眼，面无表情地说道：“从给出的策略向量跟回復的评估来看，性能y隨著的变化並不是平滑的，存在许多局部最优。
另外对同一个x做重复评估，经常会得到不同的y。而且调用optimize函数，设置不同的num—workers，能发现多工作节点下的確有最优收敛现象。
但是单凭这些根本无法写出f（x）的具体形式。所以也没法建模，证明更无从谈起。”
“哦！”
骆余馨忍俊不禁的点了点头，然后说道：“所以你就打算继续这么收集数据，然后等待著什么时候量变引发质变对吧？没发现你还是个研究概率的好苗子呢。”
乔源很气，深吸了口气，刚想反唇相讥，突然感觉脑子里像是劈出了一道闪电。
“你刚才最后说的什么？什么好苗子？”
骆余馨古怪的看著乔源，差点就要被这傢伙严肃的语气唬住了。
“我说你是个研究概率的好苗子！”
乔源猛地一拍脑袋！
“艹啊，我真蠢！怎么会一直没想到呢？！”
然后也懒得再理骆余馨，立刻专注地看向电脑，打开有为提供的分析软体，重新对得出的数据进行分析。
这下轮到骆余馨发呆了，仔细回味了半天，也没搞明白她那句研究概率学的好苗子，到底怎么启发这个傢伙了。
该不会在那里装著吧？
“喂，你別闹啊！是真想到什么了？”
“我之前一直想著怎么跟踪优化路径x（t），在分析其收敛性。说白了还是试图用分析hessian
矩阵的特徵值分布那一套。
然后试图用这种方法在频率域去找共振点。但这根本行不通的。这些数据显示优化过程显然不是在光滑曲面滚动的。
相对而言，这更像是无数离散点在不断变化的复杂网络上跳跃，这么分析当然不可能得出结果。
所以这本来就不是一个能从单个路径找到关键的命题。但可以用概率分布的思路来解决。”
“概率分布？你什么意思？”骆余馨皱著眉头问道。
“就是这个意思。你別把这个问题看成是分布优化问题，直接把黑盒看成一个粒子系统。
每个工作节点就是一个粒子。那么这个问题就是分析粒子系统的平均场极限。也就是从研究点收敛进阶到研究分布收敛！
这样只需要统计黑盒內部工作节点n从1到趋於无穷时，所有粒子的经验分布ut会如何变化。
因为每个工作节点都是在异步地探索策略空间，这本质上其实就是一个粒子系统。
所以当我找到合適的工具来描述这个分布演化，就能去定义u—t的收敛性。
这样我甚至不需要知道f（x）到底是什么，也能够建立动力学模型並给出收敛性证明。”
乔源语速飞快的说道。
“嘰里呱啦的，都不知道你说些什么？还分布收敛？你还真打算用概率论解决这个问题啊！”
骆余馨皱著眉头点评了句，也懒得再理这傢伙，重新端起水杯回到了自己的位置上。
不过看到乔源对她的话完全没有反应的样子，只是埋头做事的样子，突然心里有点不安。
不能是她隨口嘲讽一句真帮这傢伙找到灵感了，然后突然就顿悟吧？
不会这么神奇的吧？
骆余馨感觉乔源在装，但又觉得小师弟没那演技。
算了，懒得理他了。
骆余馨开始忙自己的事情，直到中午十二点半。
平时这个时候乔源早就雷打不动的跑去是哪个吃饭了，今天却还一直坐在那里。
“喂，今天你不去吃饭了？”
“嗯，没空。你要去吃的话，就帮我带一份。不去就算了。”
“呸，我可不是那种会心疼你没饭吃的人！”骆余馨衝著乔源翻了个白眼，然后拿出了手机，发了条信息之后又放下。
然后两人又开始各忙各的。
大概十多分钟后，办公室门被敲响。
“进来吧。”骆余馨抬头说了声。
下一刻门被推开，夏汐月拎著两份盒饭走进了办公室。
这响动让乔源也扭头看了眼，隨后一愣：“你怎么来了？”
“余馨姐刚刚发微信说你们忙得午饭都没时间去吃了，我当时正好在食堂，就顺便帮你们带了两份过来，先吃饭吧。这是你的。”
“哦，好。”
乔源接过夏汐月递来的盒饭，顺便扭头瞥了骆余馨一眼，说道：“下次带我的就行了，不用带骆师姐的，她要减肥，不用吃午饭的。”
“呵————我还需要减肥吗？”
骆余馨不屑的回了句，隨后又状似漫不经心的问道：“倒是你，装神弄鬼一早上了，还真想到办法了？”
乔源一边吃饭一边信心十足的回了句：“你准备好免费给我打十年工就行了。”
“行了，你们两个先吃饭吧。怎么什么时候都要爭两句？”
一旁的夏汐月说了句。
两人打赌的事情，她也是知道的，某天晚自习时乔源告诉过她。
不过夏汐月一直觉得两人就是开玩笑的。
毕竟正常人哪有隨便打个赌，就把未来十年给交代出去的？
乔源吃饭保持了以往的超快速度。本来也的確有些饿了。
放下筷子，他也没继续在电脑上鼓捣，而是把小黑板拖到了自己这边，拿起粉笔直接开始推导。
这一动作自然吸引了两个女人的目光，尤其是骆余馨，边吃著饭边盯著黑板看著。
时不时的还点评两句：“呦，fokker—planck方程都用上了？”
乔源隨口答道：“解决具体问题的时候，当然是什么工具好用就用什么。
说著，乔源在黑板上隨手写下了p（x，t），嘴里则隨口解释著：“这就是t时刻策略向量的概率分布，这个分布p的演化，正好可以用fokker—planck方程描述。
所以现在问题就是雅典娜的优化过程，其策略的经验分布在平均场极限下必然会收敛於一个稳態分布p—∞。
因此，其性能指標y作为隨机变量的期望值，也必然收敛。但我还没找到收敛速率以及何时能达到最优解，完成这项工作就能开始构建模型了。
不过这也难不倒我了，我刚刚上午已经想到了，完全可以採用微分包含描述其非光滑性。”
说著乔源隨手又写下一串公式：dx—t∈—af（x—t）dt————
“然后再引入隨机性————”
话音落下，又一行公式乔源在上面的公式后面又加上了一串。
+σ dw—t
“好了，现在就是要考虑怎么把分布式与隨机性统一起来。首先我们需要给出一个定义。
对了，解释一下，刚刚我说的分布收敛並不是概率学意义上的分布收敛，而是一个新的定义。
就是上述隨机分布式优化过程。
严格定义就是对於一个隨机优化过程{x—t}，如果其经验分布u—t弱收敛於一个稳態分布μ—∞，则称该过程是分布收敛的。”
说完，乔源扭头看了眼抱著盒饭，已经没心情继续吃的骆余馨，挑了挑眉毛，说道：“师姐，现在请一定不要眨眼，看我给你变个魔术啊！”
听了这话，骆余馨报復性疯狂眨了眨眼，但没吭声。
可惜乔源说完之后就已经扭过头，不管不顾的继续开口说道：“现在我们定义个新的泛函，嗯，不如就给它取个新名字叫分布熵吧————”
话音落下，黑板上又多出—排的公式：v（p）=∫f（）p（）d+t∫p（）lnp（）d
“师姐先別急著犟啊，刚才我说了，引入隨机性，那是不是就可以把整个粒子系统当成一个热力学系统？
当然你要是看不懂这一步也没关係，不影响你观看魔术。现在我问你一个问题，这个系统最终会去哪？”
骆余馨依然没有回答，然后乔源则开始自问自答了。
“这就是解决这个问题最重要的定理之一了，想想我刚才对分布收敛的定义，系统的经验分布μ—t会弱收敛於一个稳態分布μ—∞。
非常非常巧合的是，当我们完成这一系列推导之后就会发现，这个稳態分布恰好就是这个分布熵的极小点！这个结果可以通过简单的计算就能確定！
看吧，得到这一步之你是不是开始觉得太神奇了？所以你肯定要问，这是为什么呢？
答案就藏在这一步。其中第一项∫fp是性能驱动，它要把分布推向性能更好的区域。
第二项就是熵，它不止代表了隨机性，更让分布不会坍缩成一个点，而是始终保持探索性！”
说完，乔源拿著粉笔隨手在黑板上一划————
“现在明白我的思路了吧？收敛性证明就等同於证明这个泛函v（p）是沿动力学下降的，並且有下界。
看吧，当时间t趋近於无穷时，v（pt）会收敛到它的极小值。相应地，分布pt也会收敛到对应的稳態分布。”
说完，乔源扔下粉笔，转头看向骆余馨，问道：“今天的魔术变完了，师姐你喜欢这个表演吗？”
隨后依然不等骆余馨说话，乔源又继续说道：“有为集团发给了我两个问题，一个动力学建模，另一个是收敛性定义与证明。
但现在我还能顺便送他们几个关键问题的答案。比如如果识別並量化影响收敛速度的关键因素。
又比如我可以帮他们预测是否存在一个最优的等效噪声强度，使得收敛速度加快！
甚至还能计算如何通过调节参数，来逼近最优状態。你知道是为什么吗，师姐？
因为刚刚解决这个问题的时候，我將非光滑跟隨机噪声推广到非凸领域的办法也想到了！
非凸世界里，真正的收敛並不一定是指向唯一那一个点，还可以是指整个状態分布的稳定態！
也就是说我们根本不需要去找到那个最优的解，我们只需要证明它会稳定且可预测地呆在某个足够好的集合里就足够了！”
说完，乔源昂这头，骄傲地看向骆余馨。
就像皇帝站在高高的台阶上俯视他的大臣。
当然，乔源也的確有足够的理由骄傲，仅用了一个早上，他就把最近困扰他的两个难题都解决了！
接下来无非就是一些细节性的工作—將这些思路写成完整的数学报告和论文。
对於一位数学家来说，这无疑是最简单的工作了。
毕竟详细的证明和推导过程已经牢牢地刻印在了脑海里。
两百万奖金，昇腾集群十年的共享使用权，以及一位燕北博士后未来十年的免费使用权，已经都是他的了！
顺带著还能给自家两位导师一个惊喜。毕竟他们的课题又往前推进了一大步。
骆余馨此时的表情很奇怪，之后的动作更奇怪。
她没有理会乔源，而是优雅的放下筷子，拿起手机，点开微信。
然后直接开始疯狂输出！
“周教授，您这些年到底在忙什么啊？有为集团给您提供了那么好的条件，创造了那么多便利，还整了个团队去解决一个问题。
结果您拖了两年都没搞定。人家一个本科生，没有实验室，没有团队辅助，甚至只有一个黑盒做参考，却只用了两个月就完美解决了！
我猜这些年是不是把精力都放在研究进化论上去了？我要是您的话，今天就把杰青头衔让出来给人家本科生算了！”
说完，骆余馨举止优雅地放下手机，在乔源目瞪口呆的目光中看向了一旁的夏汐月。
“对不起啊，汐月妹妹。之前跟乔源打了个赌，如果输了就得让他免费用十年。
姐姐又是个守信用的人，如果乔源之后任何时候想对姐姐我做点什么，我也只能从了！你肯定不会怪我吧？”
夏汐月半张著嘴巴：“啊？”
7