第128章 手搓工具之神
第128章 手搓工具之神
洛北的思路很清晰：
语音识別有现成的开源方案，比如阿里的funasr。大语言模型现阶段不少，不过闭源居多，他可以先花点小钱调用gpt看看效果。伺服器嘛，先用自己电脑顶著，不上云端，先做离线录音，回宿舍再联网处理。
有了想法，说干就干。
虽然原理简单，实际做起来洛北发现，需要处理的细节不少。
一节课90分钟，如果上传无损的音频文件，体积高达几百mb。如何调整比特率和採样把录音压缩得儘可能小又不影响识別，是门有技术的活。
不过洛北凭藉著“实用主义”的buff，只试了几次，很快就找到了最合適的参数。
然后是手机端预处理，再到伺服器文件存储，接著用funasr將语音转为文字。
再经过洛北搭建的工作流，搭配精心调校的提示词，传到大语言模型，返回指定的markdown格式文字。最后再转换成word或者pdf格式的笔记。
而在这个过程中，提示词是重中之重，极大影响笔记的质量。
所以在网上也被大家称呼为“炼丹咒”，能炼出什么品质的丹药，还真就要看炼丹师们的调教水平了。
一开始，洛北给的提示词很简单：“你是一个专业的数学系助教，请將以下的课堂录音文本整理成结构清晰的笔记。要求：1.识別並修正数学术语的同音错误；2.使用latex
格式输出所有公式；3.提炼核心知识点去除口语废话；4.输出为markdown格式。”
但试了几次，靠著“实用主义”的稟赋，他很快发现光这样是不够的。
所以洛北参考了网上范例，针对微积分这门课程，对提示词反覆做了很多调整，最后才得到满意的结果。
另外对於理工课程，老师需要经常板书公式，对於这些，光靠语音转文字，很难完全还原实际內容。
这是笔记助手的痛点。不解决这个问题，始终不能称之为真正的智能。
要根本解决，恐怕得靠视频+语音的双重识別，再输出ai才能实现了。但现在的视频识別技术基本都是闭源的而且要价不菲。
洛北决定迁回一下。他把录音设置为后台运行，然后加入时间轴拍照模式。生成笔记时根据拍照时间，在对应位置插入照片的板书，一定程度绕开了这个问题。
这样一番折腾，花了洛北大半周的时间。
这是笔记助手的第一版demo，因为洛北没有美工基础，没做酷炫的界面，主界面很简单：按钮“开始记录”，下面是列表“歷史笔记”，简单但能打。
周四上午，又是微积分课。
肖崖生无可恋地瘫在座位上：“完了，作业写得一塌糊涂，昨晚又梦见伍老头追著我问泰勒展开的题目，半夜给嚇醒了。”
他厚著脸皮蹭到洛北身边，说：“这次笔记详细一点好不好，求求了，北哥，义父，拜託拜託！”
洛北掏出手机，打开了界面还很简陋的app。
“这是啥？”肖崖好奇。
“你的义父。”洛北语带双关。
这时，上课铃声响了。伍锡走进教室，开始狂飆板书：“今天我们讲定积分————”
他讲得唾沫横飞，语速极快。周围一圈人都在埋头狂记，肖崖就指望著洛北呢，结果看到洛北那是双手插兜，很悠閒地听课，只是偶尔拿著手机咔嚓拍下板书。
见状，肖崖忍不住问：“北哥，说好的笔记————？”
“在记著了。”洛北说得平淡。
“啊哈？”肖崖眨眨眼睛，“可这节课很重要啊！伍老头说了，有期中考的重点的！”
“我知道。”洛北还是那副淡定的表情。
肖崖对著伍捕头的魔音灌脑，硬挺著坚持到下课，就瘫倒在桌上。
“这就讲完了？我还在想第一步怎么来的，就出结果了？”他喃喃，“北哥————算了，北哥肯定听懂了。子望，你听得懂么？”
看到何子望鱉爬一样的字跡，肖崖直想抓头：“完蛋，今天北哥没记笔记，子望的笔记又难认，天亡我也————”
却见洛北再次掏出手机，点下结束录音。
“北哥，你也整录音这套？信我，用了一次你就会没兴趣再弄的，麻烦死了。”肖崖忍不住劝道。
“回寢再看。”洛北背起书包。
等一到宿舍，他就连上wifi然后上传音频。只见界面开始跳进度条：“正在上传音频————正在云端转写————正在整理知识点————”
过了二十秒，笔记生成了。洛北打开扫一眼，质量很高。与此同时，脑海之中弹出提示：
【你通过开发笔记助手测试版，积累240点“程式设计师”职业经验。】
经验还不少。
原本，笔记助手这个点子，是洛北隨意而为。结果发现，动手做一个实际產品，经验比参加编程比赛还高不少。
那必须得再接再厉啊！
洛北直接把笔记扔到了宿舍群里。
“这是什么？”肖崖点开一看，眼珠子差点瞪了出来。
是今天伍锡课上的笔记，按照知识脉络，分点罗列，结构清晰，还有漂亮的思维导图。洛北隨手拍下的板书，也被放在了笔记的合適位置。
“臥槽！”肖崖感慨，“这是刚才的笔记？北哥，你也太牛逼了吧，从哪找出来的了这么神器？我也要下一个！”
何子望也凑过来，嘖嘖称奇：“公式还是latex排版的呢。”
见肖崖吵著要资源共享，洛北也只好给他开了一个测试帐號：“还是demo阶段，没上应用商店，也没上云端，只能用开发者模式安装，课堂上录音完了记得回宿舍转录。”
“我中帅，牛逼牛逼！”肖崖一听洛北从前端到后端一个人包办，忍不住感慨人和人差距，比人和狗都大。
都大一，他肖崖还在懵逼怎么装visualstudio环境，纠结语法该是i++还是++i，洛北竟然就从零搓了一个程序，还这么好用！
“测试版，很多地方没来得及完善。”洛北说，“有空租个云伺服器，就可以课堂上外网直连，直接转录了。
“，“牛牛牛！”肖崖可不管离线版有多不方便，再不方便还能比以前自己笔记不方便？
还能比认何子望的蝌蚪文不方便？咱就要抱紧洛北大腿不撒手了。
何子望在旁边也是默默下载，眼神无疑是对洛北佩服得不行了。他有编程功底，能猜到这个笔记助手的实现思路。不过他没法像洛北这样，有了想法说干就干。
得了这款神器，肖崖顿觉腰不酸背不疼了，连帮舍友打饭都有劲了，於是拍著胸脯殷勤问北哥中午吃什么，我帮你打饭啊！
洛北的思路很清晰：
语音识別有现成的开源方案，比如阿里的funasr。大语言模型现阶段不少，不过闭源居多，他可以先花点小钱调用gpt看看效果。伺服器嘛，先用自己电脑顶著，不上云端，先做离线录音，回宿舍再联网处理。
有了想法，说干就干。
虽然原理简单，实际做起来洛北发现，需要处理的细节不少。
一节课90分钟，如果上传无损的音频文件，体积高达几百mb。如何调整比特率和採样把录音压缩得儘可能小又不影响识別，是门有技术的活。
不过洛北凭藉著“实用主义”的buff，只试了几次，很快就找到了最合適的参数。
然后是手机端预处理，再到伺服器文件存储，接著用funasr將语音转为文字。
再经过洛北搭建的工作流，搭配精心调校的提示词，传到大语言模型，返回指定的markdown格式文字。最后再转换成word或者pdf格式的笔记。
而在这个过程中，提示词是重中之重，极大影响笔记的质量。
所以在网上也被大家称呼为“炼丹咒”，能炼出什么品质的丹药，还真就要看炼丹师们的调教水平了。
一开始，洛北给的提示词很简单：“你是一个专业的数学系助教，请將以下的课堂录音文本整理成结构清晰的笔记。要求：1.识別並修正数学术语的同音错误；2.使用latex
格式输出所有公式；3.提炼核心知识点去除口语废话；4.输出为markdown格式。”
但试了几次，靠著“实用主义”的稟赋，他很快发现光这样是不够的。
所以洛北参考了网上范例，针对微积分这门课程，对提示词反覆做了很多调整，最后才得到满意的结果。
另外对於理工课程，老师需要经常板书公式，对於这些，光靠语音转文字，很难完全还原实际內容。
这是笔记助手的痛点。不解决这个问题，始终不能称之为真正的智能。
要根本解决，恐怕得靠视频+语音的双重识別，再输出ai才能实现了。但现在的视频识別技术基本都是闭源的而且要价不菲。
洛北决定迁回一下。他把录音设置为后台运行，然后加入时间轴拍照模式。生成笔记时根据拍照时间，在对应位置插入照片的板书，一定程度绕开了这个问题。
这样一番折腾，花了洛北大半周的时间。
这是笔记助手的第一版demo，因为洛北没有美工基础，没做酷炫的界面，主界面很简单：按钮“开始记录”，下面是列表“歷史笔记”，简单但能打。
周四上午，又是微积分课。
肖崖生无可恋地瘫在座位上：“完了，作业写得一塌糊涂，昨晚又梦见伍老头追著我问泰勒展开的题目，半夜给嚇醒了。”
他厚著脸皮蹭到洛北身边，说：“这次笔记详细一点好不好，求求了，北哥，义父，拜託拜託！”
洛北掏出手机，打开了界面还很简陋的app。
“这是啥？”肖崖好奇。
“你的义父。”洛北语带双关。
这时，上课铃声响了。伍锡走进教室，开始狂飆板书：“今天我们讲定积分————”
他讲得唾沫横飞，语速极快。周围一圈人都在埋头狂记，肖崖就指望著洛北呢，结果看到洛北那是双手插兜，很悠閒地听课，只是偶尔拿著手机咔嚓拍下板书。
见状，肖崖忍不住问：“北哥，说好的笔记————？”
“在记著了。”洛北说得平淡。
“啊哈？”肖崖眨眨眼睛，“可这节课很重要啊！伍老头说了，有期中考的重点的！”
“我知道。”洛北还是那副淡定的表情。
肖崖对著伍捕头的魔音灌脑，硬挺著坚持到下课，就瘫倒在桌上。
“这就讲完了？我还在想第一步怎么来的，就出结果了？”他喃喃，“北哥————算了，北哥肯定听懂了。子望，你听得懂么？”
看到何子望鱉爬一样的字跡，肖崖直想抓头：“完蛋，今天北哥没记笔记，子望的笔记又难认，天亡我也————”
却见洛北再次掏出手机，点下结束录音。
“北哥，你也整录音这套？信我，用了一次你就会没兴趣再弄的，麻烦死了。”肖崖忍不住劝道。
“回寢再看。”洛北背起书包。
等一到宿舍，他就连上wifi然后上传音频。只见界面开始跳进度条：“正在上传音频————正在云端转写————正在整理知识点————”
过了二十秒，笔记生成了。洛北打开扫一眼，质量很高。与此同时，脑海之中弹出提示：
【你通过开发笔记助手测试版，积累240点“程式设计师”职业经验。】
经验还不少。
原本，笔记助手这个点子，是洛北隨意而为。结果发现，动手做一个实际產品，经验比参加编程比赛还高不少。
那必须得再接再厉啊！
洛北直接把笔记扔到了宿舍群里。
“这是什么？”肖崖点开一看，眼珠子差点瞪了出来。
是今天伍锡课上的笔记，按照知识脉络，分点罗列，结构清晰，还有漂亮的思维导图。洛北隨手拍下的板书，也被放在了笔记的合適位置。
“臥槽！”肖崖感慨，“这是刚才的笔记？北哥，你也太牛逼了吧，从哪找出来的了这么神器？我也要下一个！”
何子望也凑过来，嘖嘖称奇：“公式还是latex排版的呢。”
见肖崖吵著要资源共享，洛北也只好给他开了一个测试帐號：“还是demo阶段，没上应用商店，也没上云端，只能用开发者模式安装，课堂上录音完了记得回宿舍转录。”
“我中帅，牛逼牛逼！”肖崖一听洛北从前端到后端一个人包办，忍不住感慨人和人差距，比人和狗都大。
都大一，他肖崖还在懵逼怎么装visualstudio环境，纠结语法该是i++还是++i，洛北竟然就从零搓了一个程序，还这么好用！
“测试版，很多地方没来得及完善。”洛北说，“有空租个云伺服器，就可以课堂上外网直连，直接转录了。
“，“牛牛牛！”肖崖可不管离线版有多不方便，再不方便还能比以前自己笔记不方便？
还能比认何子望的蝌蚪文不方便？咱就要抱紧洛北大腿不撒手了。
何子望在旁边也是默默下载，眼神无疑是对洛北佩服得不行了。他有编程功底，能猜到这个笔记助手的实现思路。不过他没法像洛北这样，有了想法说干就干。
得了这款神器，肖崖顿觉腰不酸背不疼了，连帮舍友打饭都有劲了，於是拍著胸脯殷勤问北哥中午吃什么，我帮你打饭啊！