Matsuura Tomoya

送れ | 遅れ / post | past (rev.2)

2017/2/10~2/12 東京藝術大学 千住キャンパス

東京藝術大学 音楽環境創造科 大学院 音楽音響創造・芸術環境創造 卒業制作・論文 修了制作・論文発表会2017にて展示

  • 協力 : 黒石紗弥子、辻百合香、増田義基ほか音楽環境創造科のみなさま

音響遅延線メモリーという電子計算機の最初期、1950年代の短い期間に使われた記憶装置がある。

音響遅延線メモリーは上の図のようにスピーカーから出した音のパルスをマイクで広い、検出したパルスを再びスピーカーから出力することで一定のパルスのパターンがぐるぐると回りつづけ、データが保存できるというものである。 この作品は、音響遅延線メモリーを前作《Acoustic Delay (⇔) Memory》から更に拡大解釈したシステムを提示する。

「聞き取ったのと同じデータを発音する」というだけのシステムを2台組み合わせることで、個別には通信装置としての機能しか持っていないが全体としては記憶装置の機能を持つ。それではデータは一体どこに「保存」されているのだろうか?

システムは、音のパルスを用いた2つ1組のコンピュータと、音声入力・テキスト読み上げ機能を用いた2つ1組のコンピュータの計4台が独立してそれぞれ稼働している。

音を発することを通して何かを「記録」したり「記憶」する事を再考する音響装置作品。



文章1

音響遅延線という装置は1950年代最初期の電子計算機で使われた記憶装置である。 音が伝わるには時間がかかるということを利用し、通信で受け取った情報を送信機に戻してやれば、通信が失敗しない限り全く同じ情報がぐるぐると循環し続け、記憶装置として機能するというものだ。この記憶装置の仕組みを開発者であるジョン・プレスパー・エッカートは以下のように説明している。

エッカート: 例えば、水銀で満たされたタンクがあるとしよう。1000発のパルス音を片方の端から入れて、反対側の端から漏れ出てしまう前までは、それはメモリーと呼べるだろう。 問題は1ミリ秒後のことだ。もしパルスが1マイクロ秒ごとに一つづつタンクから出ていってしまえば、それでお終いだ。しかしここでこのパルスを毎回取り出して、もう一度元の形に整形してもう一度戻したとしたらどうだろう。パルスは言ったとおりに循環し続け同じ状態を保つ。

インタビュアー: ということはその記憶装置は水銀の動きで保存していると?

エッカート: 水銀を伝わる波によって保存しているんだ。水銀は動かずそのままだが、弾性波がその中を通り抜けていく。水銀の分子の前後に動き続ける。そして波はその中を伝搬していく。これをどうやって思いついたと思う?小さい頃のことを思い出そう。買い物に行く時に、母親が私にあれやこれを4~5個買ってきて欲しいと頼んでくる。それを書いてメモするのではなく、多分同じような小さい子供はみんなそうすると思うが、母親に送り出されてから店につくまでの道のり中ずっとその5つのことを自分の中で繰り返し自分に言い聞かせる。 こうすると若い私の短期記憶は店につく頃には長期記憶になっている。同じ原理だ。 音響遅延線も水銀のタンクの中に詰めて電気回路を通して戻して循環させている。私たちはこのタイプのメモリーを使って最初のUNIVAC、UNIVACⅠを作り上げた。

これはエッカートがその場で思いついた例えのように聞こえるが、エッカートの人生を振り返る別のインタビューの中で、実際に子供の頃に良心が記憶の訓練を兼ねてメモを取らせずにお使いに行かせていたなどの記述が見られる。

しかし、この比喩の仕方は正しいといえるのだろうか? この例えはどちらかと言えば陰極線管テレビジョンに同じ映像を長時間映すとその映像が焼き付いてしまうというのに似ている。ある現象を反復することで物質的な変化が生じ固着するというものだ。



文章2

試行1

仮説:音響遅延線は一対のスピーカーとマイクでなくとも、二対あるいはそれ以上でも成立するはずだ。ここで二対以上にした場合、装置を物理的に完全に分離することが可能になる。それぞれの装置はマイクの信号からデータを複合し、再び出力するだけで良い。理論的には物理的なメモリが無くても構成できる。

装置を完全に分離した場合、自分で出した音を相手の音と混ぜて聞いてしまうということが発生する。これはラジオの要領でデータをお互い違う周波数に変調して送信、受信して復調というようにすれば解決できる。

変調方式としては無線LANなどの通信に使われる直行振幅位相変調(QAM)が使えそうである。

結論:概ね目的は達成できた。テストでは16QAMという変調方式で、64bitの保存装置を作った。しかし、別の疑問が浮かぶ。

今回は手っ取り早くテストをするためにコンピュータのソフトウェア上でデジタル信号処理の実装をした。そのため実際にはマイクから入った信号をサンプリングし、ソフトウェアに送る過程で一時的にメモリに書き込む処理が発生しているはずだ。これは少なめに見積もっても1024bitは必要で記憶オス地を作りたいならはじめからこのメモリを使うほうが圧倒的に有効だ。

しかし、64bitのしょぼい記憶装置を動かしている間にはこの1024bit以上使われているメモリたちを意識することがないということに違和感を覚える。先程の1024bitくらいのメモリは機能的にはサンプリングしたデータを一時的に保持してソフトウェアに送り、また新しくサンプリングされたデータを受け取るだけだ。エッカートの例えを借りるならば買い物のメモを覚え始めた途中で別のメモウィ新しく渡され続けるようなものだ。これは短期記憶で一般にイメージする「記憶」とは異なるだろう。

とはいえここで使われているメモリはPCで情報を保持しているメモリと同じである。要するに記憶装置の仕組みどうこうよりも、その用途がどうなっているかの方が重要ということだ。

試行2

仮説:試行1で制作した音響遅延線は理論的には一時メモリが無くても制作可能だった。しかし一時メモリの使われ方自体によっては“見かけ上記憶装置では無い”と言えるならば、内部の物理メモリどうこうをいっそ気にせずに音響遅延線「的な」仕組みの物を作ることが可能ではないか。こうすると普段記憶装置として使っているものは機能として透明化し、別のところに記憶装置としての機能が立ち上がる。という事が起きるのではないだろうか。最低限必要な機能「データを受け取り同じデータを返す」だけでいいのであれば、例えば音声認識エンジンとテキスト読み上げ機能でも成立するのではないか。

結論:音声認識でテキストを生成し、一時的にGoogleドキュメント上に配置する。この時明らかにGoogleドキュメントは、と言うかその情報を保存しているコンピュータ上のメモリは明らかに「記憶装置」として機能して(しまって)いる。単純に保持している時間の問題が「記憶っぽさ」を生んでいるのだろうか?



2017/2/10~2/12 At Tokyo University of the Arts Senju Campus

Exhibited at Tokyo University of the Arts Graduation Exhibition(Music Creation and the Environments) 2017

  • Thanks to Kuroishi Sayako, Masuda Yoshiki, Tsuji Yurika and more

Acoustic Delay line memory is the memory apparatus used with early electronic computer in 1950s.

Acoustic delay line memory is the system that detect pulse from speaker with microphone, and transmit that pulse to speaker again. Pulses start to circulate with certain pattern, so it works as digital memory system.

This works is the more over-interpreted acoustic delay memory system than past works 《Acoustic Delay (⇔) Memory》.

In this works, two type of a pair of system which has a function, "Listen, decode a data, re-encode same data and read out it".

The individual machines have a function of communication system but whole system have memory system. In this situation, where the data is stored in?

One type of a pair is using sound pulse like a original acoustic delay memory. Another one is using speech-to-text engine and text-to-spech engine.

Rethinking "Record" and "Memorise" through makeing sounds.



Document 1

Acoustic Delay line memory is the memory apparatus used with early electronic computer in 1950s. Utilizing the fact that sounds take certain time in propagation, if received data is returned back to transmitter, unless communication fail,completely same data will continue circulating. So It works as memory apparatus. John Presper Eckert, developer of this machine, explain that function as follows.

John: The idea is if you had a mercury tank, let's say you can put 1,000 pulses into one end of the mercury tank before any starts spilling out of the other, this is a memory, but the trouble is, after, say, a millisecond, if the pulses are going in at one every microsecond, it's gone. But supposing I take the pulses coming out and reshape it and put it in every time. Now the thing will sit there and recirculate, as the saying goes.

Interviewer: So the storage is storing by motion of the mercury?

John: It's stored by a wave going through the mercury. The mercury's standing still, but a compression wave is going through it. Particle motion is occurring back and forth, and a wave is transmitting through it. How did I think of this idea? I remembered that when I was a little boy, when I went to the store, my mother would tell me, "I want you to get these four or five things." Rather than write them down, I did as other little boys probably did when their mother sent them to the store, I repeated these five things to myself over and over again all the way to the store. In this way, my short-term memory at a young age was turned into a long-term memory to get to the store. That's the same principle. It's taking this stuff out of the mercury tank and recirculating it through a recirculating path. We built the first UNIVACs with that type of memory, the UNIVAC I.

This metaphor is not so suitable. This phenomenon is similar to rather the phenomenon "Screen burn-in" of CRT Display TV. It means some physical or chemical changes are happens and fixed by repeating some small phenomenon.



Document 2

Experiment 1

Hyposethis: The acoustic delay line memory may work with not only one pair of a speaker and a microphone but two or more pairs. If it is constructed with over two pairs, the apparatuses are physically and completely split. Each of machines works as only communication system, decodes a data from the microphone signal, re-encode the data and output it to the speaker. In theory, it can be constructed without a physical memory.

In case of split composition, microphone will hear the mixed signal of it from its own speaker and it from paird machine's speaker. But if signal was modulated to different frequency like a channel of radio, each of machines can decode data correctly. In this works, quadrature amplitude modulation method which is used in wireless LAN communication is used.

Result: The purpose was mostly accomplished. In this experiment, I made 64bit storage with a 16QAM modulation method. For rapid prototyping, I implemented all signal processings on the software. So actually, there is latency with read and write process of a buffer memory to sampling audio signal. That buffer memory is needed at least 1024bit. So if I need to build a memory system easily, it is apparently better to use this buffer memory directly. However, I felt something wrong. I wasn't aware of that physical memory with over 1024bit capacity during operation of 64bit acoustic memory. That physical memory's function is only receive sampled data, retain temporarily, send to software and receive again. Borrowing Eckert's explanation, it is like a situation that given another new shopping list in the middle of memorization. This is like that called short term memory, different from a usual image of "memory". Though, this buffer memory and a memory used in the computers to memory some information is identical. In summary, mechanism of system is not important but usage is.

Experiment 2

Hypothesis: The acoustic delay memory made in experiment 1 can be constructed without a physical memory in theory. However, if we can't regard memory system as is depending on the usage, Can we build "Something like acoustic delay memory" without consiousness either physical memory is used or not. So something used as memory system usually can be transparent as function and something not used as memory will behave as memory. The least needed function is "receive, decode a data, re-encode and return it". It can be constructed with a pair of speech-to-text engine and text-to-speech engine.

Result:When some text is generated and placed on the Google Docs by speech recognition engine, Google Docs (or physical memory on the computer storing that data) was apparently working as "memory system". Is the length of time retaining data producing "memoriness(feeling like memory)"?


Updated on 2017/03/30.