https://www.itread01.com/content/1545025325.html
https://www.itread01.com/p/1423332.html
https://www.itread01.com/content/1545025325.html
https://www.itread01.com/p/1423332.html
https://blog.gtwang.org/statistics/tensorflow-google-machine-learning-software-library-tutorial/2/
建立好模型之後,接著就是要使用既有的資料對模型進行訓練,TensorFlow 所提供的 optimizers 可以對模型的 variable 進行微調,讓 loss function 達到最小,而最簡單的 optimizer 就是 gradient descent,他會依照 loss function 對個變數的 gradient 方向調整變數,TensorFlow 的 tf.gradients
可以幫助我們計算函數的微分,而 optimizers 也會自動幫我們處理這部分的問題。
https://www.zhihu.com/question/52498007
简单来说就是我们没有足够的人手能够在短时间内同时技术上做出足够的深度而且大规模推广,所以我们前期是舍推广保技术。
详细来说我稍微发散下,可以把当下的深度学习(DL)比作修真世界(传统武侠也类似)。学术界是各个门派,公司是世家,不过这个世界里世家比较强势。目前是盛世,各个流派之争,新人和技术层出不穷,各大擂台(例如imagenet)和大会(据说今年nips 8k人参加,一个月前就把票卖光了)热火朝天。平台作为修真练级法宝,自然也是各家PK重要之地。
各个平台是怎么“火”起来的
简单的来吧DL分三个阶段来看,前DL时代就是Alexnet没有刷出imagenet第一的时候,当时候主流算是torch和theano,从上一个神经网络的时代的两大修正大门流传下来,还是有坚实的用户基础。之后魔界(kernel)入侵,神经网络衰败。但10年后Alexnet横空出世,借着大数据和GPU的重剑无锋,横扫三界。同时也促使了很多新的平台的出现,caffe是之一,很多公司也有做自己的,例如百度的paddle,G的distbelief,我们也有做一个类似的项目叫cxxnet。大体上这些平台使用体验差不多,给一个configure就能跑。这里面caffe是最成功,我觉得重要两点是时间点很好,就是dl在cv爆发的那段时间,然后caffe有在imagenet pretrain的模型,这个很方便大家的研究。毕竟大部分工作要么是改改operator重新跑一下,要么是基于pretrained的模型来finetune一个别的任务。
之后出来的比较成功的平台主要是靠提供更加灵活的开发环境来吸引新人。例如tensorflow和keras。
tf作为当下修真界最大门的平台,成功没有什么意外(1)G brain在这个领域上耕耘了5,6年,做为第二代产品在质量确实很优秀。(2)在jeff dean的号召下brain网罗了一大帮人,跟他们团队接触过很多次,整体人员质量甩出其他家很远,以至于经常是好几个我觉得能独当一面的大牛一起在做一些很小的事情。例如我在cmu系统方向的老板dave在brain好长一段时间就是debug为什么inception v3从distbelief移植到tf老是跑不出想要的精度。(另,类似的坑我们也踩过,我还笑过dave你如果问我们一下可以省下你大笔时间,dave回我们人多任性不求人。)(3)G的宣传机器如果称第二,那业界估计没人敢说第一。这次G不遗余力的宣传tf,连带推动了整个DL的火热。
keras比较有意思,基本是François Chollet一人之力做的,有点是散修自己折腾出来的(他人现在在G,不过他去G之前就开始keras了)。它的优势就是简单,底层靠theano或者tensorflow,上层提供一个非常简单的接口,非常适合新用户使用。修真界新人练气的不二法宝。
MXNet现状
mxnetet是散修小团体一起合力做出来的平台。如果去看排名前20的开发者,基本都是出自不同的门派和世家。这个是mxnet最大的特色。我对此表示很自豪,这里汇聚了一大帮跑得出实验写得出代码的小伙伴。
不论是开始时间还是平台特性,mxnet最靠近tensorflow。有完整的多语言前端,后端类似编译器,做这种内存和执行优化。应用场景从分布式训练到移动端部署都覆盖。整个系统全部模块化,有极小的编译依赖,非常适合快速开发。相对于tf这种重量型的后端,mxnet的轻量化路线使得可以我们在花费G brain 1/10的人力的情况下做到类似tf技术深度的系统。
从推广的角度来说,需要的是清晰的文档,大量的样例,媒体曝光,和客服。这个对于散修团体而说前期比较困难。不过最近也慢慢赶上了。
根据keras作者的平台排名,目前mxnet属于第四,前三分别是tf,caffe,keras。因为dl也是刚兴起不久,目前的用户可能一大半是刚入门不久,选择tf/keras很符合情理。对于学术界而言,通常性能不是很关键,最重要是开发成本,如果前面的工作用了caffe/torch,那基本会一直用下去。
我们也回访过我们用户,很多都是工业界用户,基本都是属于有很强的技术能力,他们关心性能,开发和移植的便利性,和是不是能在开发社区里获得一定的话语权。事实上,mxnet离人也很近,例如
- 某占有率很高手机利用mx处理图片
- 好几个常见的app云端利用mx处理数据
- aws/azure都写了好几篇blog普及在云上面运行mxnet
- 国内几个技术能力很强的ai创业公司内部用mx
整体而言,不管是dl技术,应用,还是平台,目前说什么都尚早。技术和潮流都是日新月异,修仙之路也刚开始。我觉得最核心的是,有一群有最求的人,一起合力做一件事情,不断往前。
PS. 我在考虑要不要写一个关于DL/ML的修仙系列。例如“魔界小王子,誉为最有希望带领魔界重杀回来领袖的叛逃心路历程”,“我跟修真界第一门掌门的故事”,“如何利用入门道具组装小型阵法加速修炼”,“解析为什么大门长老屡屡逃奔世家”。。。https://vip.udn.com/vip/story/121158/4960934?from=vipudn_hotlist_story
會員才給看的,只留連結不留內文
【澄清唬爆米花教室:中共官方用語潛意表與兩岸關係惡化】
https://www.facebook.com/UseUrBrainPlz/posts/900011847195943
在中共的正牌官媒(新華社、人民日報)與外交部、國防部發言人談話中,有若干語詞是固定用途,不能亂用的。(環球時報一類常亂用就不用管)
這些話語雖然有網路流傳版,但真正核心的包括以下種(左側為官方用語:右側為實際意義)
(一)坦率交談:分歧很大。
(二)交換了意見:各說各的,沒有共識。
(三)充分交換了意見:沒有共識且激烈爭吵。
(四)增進雙方的瞭解:分歧很大但尚能溝通。
(五)會談是有益的:沒有共識但願意續談。
(六)親切友好的會談或接觸:純粹禮貌用語。
(七)表示極大的憤慨:未有實際反擊計畫時表達不滿。
(八)不能置之不理:將進行實際干預。
(九)持保留態度:不同意。
(十)由此引起的後果將由○負責:將實施報復行動。
(十一)請○懸崖勒馬:將對○轉入敵對。
(十二)勿謂言之不預:最後通牒,準備開戰—這是中共最重的用語,沒經過中共中央直接核准,人民日報或新華社不能用此用語。
近來讀了一些文章,關於音樂的調頻可以影響人的心志,比如說,德國納粹選擇調頻在440Hz的音樂,因為透過這個音頻的音樂,可以使人們的思想與感情專一化,成為一種特定意識的奴隸。又比如說,有一派支持432Hz調頻音樂,因為這個音頻聽起來很柔和又溫暖,身體感到放鬆,有療癒的功用,像是水的頻率、宇宙的頻率、大自然的頻率,都是432Hz。又有另一個由里歐納.霍洛维茨博士提出的528Hz,他認為,這是種愛的頻率,可以療癒身體的DNA。
看了這麼多頻率,我都眼花撩亂了,A說A有理,B說B有理,網路上三方支持者像是擁護一個絕對的宗教一樣,把單純的音樂調頻講得好複雜,所以,我決定要好好的研究一下這各主題。
在深入討論這個主題前,我想先提一下我很敬佩的發明家尼古拉.特斯拉。
如果你想要找到宇宙的秘密,可以從能量、頻率和振動的觀點來思考一下。
~尼可拉.特斯拉(Nikola Tesla)
特斯拉曾強調,振動和頻率對人類的生活很重要,雖然是看不見的力量,但時時都在影響我們的生活、健康、社會和世界。音樂,就是種看不見力量的振動,它可以直接/間接地影響我們的情緒和感受。
近年來,有一個把聲音形像化的發明,Cymatics,它讓我們清楚地看到聲音的長什麼樣子,實驗是用一個金屬板子,上面灑一些沙子,再放不同頻率的聲音,觀察者可以很清楚看到不同的頻率在板子上形成的圖形。這個技術早在1630年伽利略就做過,之後再由虎克(Robert Hooke)和德國物理學家+音響學之父恩斯特.克拉德尼(Ernst Chladni)發揚光大,最後,到20世紀時,由人智學家漢斯.真尼(Hans Jenny)發明出來的一詞, 你可以在下面這個TEDxTalk裡詳細了解什麼時Cymatics,在一個鐵板上放沙,播放不同的聲音頻率會創造出不同的圖形。
由這個實驗可以看出,聲音雖然是無形的,但它的振動,可以對物質產生影響。
音樂,有看不見的力量來影響我們的心靈、身體、思想和社會。荀子曾在樂論第二十一篇中提到(有興趣可看註1),「那音樂滲入人心是很深的,它感化人心是很快的,所以古代的聖王謹慎地給它文飾。音樂中正平和,那民眾就和睦協調而不婬蕩;音樂嚴肅莊重,那末民眾就同心同德而不混亂……音樂妖冶輕浮而邪惡,那末民眾就婬蕩輕慢卑鄙下賤了。民眾婬蕩輕慢,就會混亂;卑鄙下賤,就會爭奪。混亂又爭奪,那就會兵力衰弱、城池被侵犯,敵國就會來危害了……禮制雅樂被廢棄而靡靡之音興起來,這是國家危險削弱、遭受侮辱的根源。所以古代的聖王看重禮制雅樂而鄙視靡靡之音。」
除了荀子之外,孔子也對音樂很重視,在論語裡也提到許多關於音樂的重要性,到現在,我們已經不知道荀子當時說的「禮制雅樂」和「靡靡之音」分別聽起來是什麼樣了,但是,或許,可以從音樂頻率的角度來想想看。
什麼是432hz? 440hz? 528hz?
赫茲(Hertz, hz)是指每秒週期運動次數,通常在做樂器的調音時,都會用La(A)音做為基本音,所以,當我們說A=432Hz指的就是, 在中央C(下圖黃色)上方的La(A)音,調整為432Hz,因此寫做A=432Hz, 這時La音的聲波每秒振動432次。目前通用標準的頻率是1955年起,世界標準組織ISO公定的A=440Hz。528Hz實際上是C5=528Hz(A=444Hz),下面會再深入討論三者的不同以及爭論。
432hz頻率, 可以在許多不同古代文明的宗教和文化上找得到。
根據阿南達.巴斯門(Ananda Bosman,一位研究學者及音樂家),許多古埃及和古希臘出土的樂器中,許多都是調整到A=432hz的頻率; 歌劇作家威爾第(Guiseppe Verdi)堅持做A=432hz的作品,因為他認為這個頻率可以讓歌劇表演達到極致完美的聲音; 專門研究聲音的研究學者傑米巴特夫(Jamie Buturff)曾經做過一個實驗,他用Korg的調頻器測試西藏頌缽(Singing Bowl)的演奏頻率,是在432hz; 第一把由著名製琴家安東尼奧.史特拉第瓦里(Antonio Stradivarius)的史特拉第瓦里小提琴就是調在432hz。
蘇美文化裡,在他們節慶及薩滿的儀式裡,會用到鼓、喇叭和豎琴,也都是調在432hz,在許多文化裡,這個頻率多用在神聖的儀式裡。在印度,這個頻率稱為「Sadja-六音之父」,西塔琴(Sitar)和坦姆布拉琴(Tambura)都是用這個頻率。
現在,有許多音樂家慢慢地再重新用這個讓心靈更加和諧的音樂頻率,像432 Orchestra就是一個很好的例子,許多樂器製造家也開始製造432hz的樂器,因為,他們認為,這樣的音頻是最適合人類聆聽的。
440Hz,目前世界通用的演唱會頻率(Concert pitch)。
為什麼會選定這個頻率呢? 這個說法眾說紛芸,有些還牽涉到陰謀論,大致提一下幾個常在流傳的440Hz陰謀論。
雖然網路上有許多文章都這樣流傳,但我卻對這些論點有些質疑,於是,我再找了一些關於440Hz的歷史演變資料。
其實,在440Hz成為大部份樂器生產的標準音頻之前,並沒有所謂的全球通用標準,每個國家都有不同的演奏頻率,有興趣的話,可以看一下歷史演進。
從這個簡短的歷史進程來看,在德國納粹之前,440Hz的音頻就已經有許多人使用,甚至也小範圍的成為標準,在1900年前,在歐洲唯一沒有使用440Hz的國家是法國,當時法國有自己的國家標準,是435Hz。
雖然歷史是這樣,但也不能完全推翻後來德國心理學家在納粹時期,研究出440Hz的音頻可以在潛意識上更易控制人的效果,但我不惜篇幅地寫出這一串歷史,是為了要指出,不能單是把440Hz的制定都歸因於德國納粹或洛克斐勒家族,陰謀論要多少聽,但是,也不能瞎相信。
528Hz,愛的頻率。
所謂的528Hz是指C5=528Hz, 也就等於A=444Hz,是由里歐納.霍洛维茨博士在1998年提出的,他認為,528Hz是所有音樂數學計算的中位數,不同於其他音頻,這是個「愛的頻率」,是存於萬事萬物的中心,連結你的心、你的靈魂、連結天堂與地球的音頻。他提出這個音頻廣泛地被古代的祭司和治療者所使用,他認為,這個音頻播放出的音樂可以修補DNA。
三種頻率的不同及爭議
這三種頻率的爭議。
這個主題大概是我花最多時間研究的一個,因為很多音樂的、科學的、數學的、歷史的、專業術語的名詞和意義,很多都很深,需要花很多時間搞清楚,而且,我發現,光是一個音頻的問題,就好像宗教一樣,認為自己喜歡的音頻是好的人會攻擊不同喜好的人,在做了這一連串的研究後,我有個深深的感覺,不論是432Hz, 440Hz或444Hz,都只是一種對音樂的感覺,聽的人自己主觀的感覺很重要,這幾個音頻一定有一個是讓你覺得特別舒服的,有時,我們處在不同的精神或心理狀態之下,我們會受不同音樂的吸引,舉個例子來說,年輕人血氣方剛,人生正要開始向前衝,就很容易受到比較外放、積極的音樂吸引,像嘻哈、搖滾等等,到了中年或老年,對音樂的喜好也許會改變,有些年輕時喜歡搖滾的人,也許過了一個年紀,心理狀態到了不同的階段,就會受到心靈音樂或是古典樂的吸引,覺得某個音頻的音樂會讓你頭痛,我認為,對音樂的喜好沒有對錯,只有在當下是否適合,因此,我也不贊成音頻標準化為440hz。
重點是,不論是音樂家或是聽眾,都應該要有自由選擇哪個音頻是最適合自己的,同時,也不需要去告訴別人,他正在聽的音樂音頻是絕對的好或壞,因為,那就是適合他目前人生階段的音樂,就像我青少年時期,正在瘋搖滾樂時,我媽跟我說,基督教的聖歌才是真的美好的音樂,我當時完全無法接受。
我相信,音樂有影響並改變人心的作用,當你多接觸某種音樂,你就會顯現出那個音樂的氣質,因為它的振動頻率會影響到你。
再看看,哪一個音頻比較吸引你呢?
我自己是比較受到432hz的吸引!
後記: 在做這篇文章的研究時,讀到了幾篇關於美國流行音樂的陰謀論,講到精英階層是如何掌控音樂產業,藉由音樂的潛移默化,讓更多人可以去坐牢(陰謀論是,精英階層也同時擁有美國的監獄產業!),或是鼓勵人消費和趴踢。因此,他們僱用專業音樂人做出一些很低俗的歌詞,把情色、槍、吸毒、吸煙等都放進歌詞裡,讓年輕人覺得自己那樣就很酷,而潛移默化地去做了這些事。看了這類的文章,讓我不自覺地思考,真的,大多近年流行的主流流行歌都和情色、槍、吸毒、花錢、趴踢等等,90年代那些美好的R&B幾乎都聽不太到了! 或是,繞舌歌曲裡面幾乎是上述主題,雖然仍有些樂手努力地在寫一些很正面的繞舌歌曲,但是,在主流音樂上,不太常見。回到荀子的那篇文章,音樂真的滲入人心很深,這樣的音樂內容,不要說用哪種頻率來播,都是深度腐蝕人心的吧!
註1: 文言文就不寫了,直接貼翻譯。那音樂滲入人心是很深的,它感化人心是很快的,所以古代的聖王謹慎地給它文飾。音樂中正平和,那末民眾就和睦協調而不婬蕩;音樂嚴肅莊重,那末民眾就同心同德而不混亂。民眾和睦協調、同心同德,那末兵力就強勁,城防就牢固,敵國就不敢來侵犯了。像這樣,那末老百姓就無不滿足於自己的住處,喜歡自己的家鄉,以使自己的君主獲得滿足。然後,君主的名聲就會因此而顯著,光輝因此而增強,天下的民眾,就沒有誰不希望得到他讓他做自己的君長。這是稱王天下的開端啊。音樂妖冶輕浮而邪惡,那末民眾就婬蕩輕慢卑鄙下賤了。民眾婬蕩輕慢,就會混亂;卑鄙下賤,就會爭奪。混亂又爭奪,那就會兵力衰弱、城池被侵犯,敵國就會來危害了。像這樣,那末老百姓就不會安居在自己的住處,就不會喜歡自己的家鄉,也不會使自己的君主滿足了。所以,禮制雅樂被廢棄而靡靡之音興起來,這是國家危險削弱、遭受侮辱的根源。所以古代的聖王看重禮制雅樂而鄙視靡靡之音。他在論列官職時,說:“遵循法令,審查詩歌樂章,禁止婬蕩的音樂,根據時勢去整治,使蠻夷的落後風俗和邪惡的音樂不敢擾亂正聲雅樂,這是太師的職事。”
註2: 海布勒的調音方式可以在他的著作”The Physical and Musical Tonometer”中找到,他當時發明的音叉,如今都還存在。
資料來源:
http://www.collective-evolution.com/2013/12/21/heres-why-you-should-convert-your-music-to-432hz/
http://motherboard.vice.com/read/the-fringe-audiophiles-who-want-to-topple-standard-tuning
CymaScope 432Hz
http://derekgedney.creativist.me/432hz-vs-528hz.html
https://attunedvibrations.com/solfeggio/
http://www.soundfromtheheart.com/2013/06/528-hz-experiment.html
432hz history: https://www.google.ca/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=432%20hz%20music%20history
440hz的歷史
http://motherboard.vice.com/read/the-fringe-audiophiles-who-want-to-topple-standard-tuning
howlym@ubuntu:~$ sudo apt-get build-dep apache2
正在读取软件包列表… 完成
正在分析软件包的依赖关系树… 完成
下列【新】软件包将被安装:
autoconf autotools-dev libdb4.2-dev libexpat1-dev libldap2-dev libpcre3-dev
libssl-dev libtool m4 zlib1g-dev
共升级了 0 个软件包,新安装了 10 个软件包,要卸载 0 个软件包,有 0 个软件未被升 级。
需要下载 4869kB/4979kB 的软件包。
解压缩后会消耗掉 15.1MB 的额外空间。
您希望继续执行吗?[Y/n]
#gen MFCC features
for x in train cv test; do
#make mfcc
steps/make_mfcc.sh --nj $n --cmd "$train_cmd" data/mfcc/$x exp/make_mfcc/$x mfcc/$x || exit 1;
#compute cmvn
steps/compute_cmvn_stats.sh data/mfcc/$x exp/mfcc_cmvn/$x mfcc/$x || exit 1;
done
$ copy-matrix ark:raw_mfcc_train.1.ark ark,t:- | head copy-matrix ark:raw_mfcc_train.1.ark ark,t:-
speaker001_00001 [
27.54613 -20.59882 -9.078632 -9.878078 -3.408179 -6.33442 -7.088059 -9.386513 -9.514486 5.714392 3.923563 -0.2056017 -6.208587
...]
$ copy-matrix ark:cmvn_train.ark ark,t:-
copy-matrix ark:cmvn_train.ark ark,t:-
speaker001 [
3153345 -332630 -150518.8 -129893.8 -416410.7 -370985.3 -160386.6 17840.54 -276749.9 -312077.3 -381611.7 -315793.8 -147651.9 46141
2.236304e+08 6630422 6846200 7327799 1.325839e+07 1.371075e+07 1.077766e+07 7187704 1.197414e+07 8830369 1.272681e+07 1.092798e+07 5399742 0 ]
speaker002 [
4278844 -475446.6 -279641.1 -196591.9 -759722.8 -208586.2 117607.6 -258971.1 -547313 -553619.6 -266483.2 40984.47 48301.47 63223
2.995394e+08 7515546 8840850 1.154735e+07 3.502638e+07 1.221414e+07 9032753 1.709921e+07 1.77456e+07 1.534125e+07 7840884 7368065 9012588 0 ]