Tianke Youke

A sanctuary for secreting and rushing at night.

0%

很久没记录。比如说,再读海明威的《流动的盛宴》的时候,是在去了一趟欧洲之后。看到了那种传统欧洲小城的构造,沿河而建,一条一条的路通往河边,河上每座桥基本都有冠名的雕塑,河边几条街道外就是大广场和大教堂。

见过这种之后,再读这本书,对一百年前(吗?)的巴黎就有感觉了。海明威说他去新开的咖啡店喝奶油咖啡充饥,我就想到海德堡临河T字路口那家咖啡店了。人来人往的,桌子也不多,但是在这种涌动的拥挤的环境里,那家店竟然能有安静的氛围。不知道会不会贵,所以没去。不过这么个路过瞥了一眼的咖啡店竟然就成了记忆的锚点了。还是应该多记录一些见闻,这几年有很多新鲜的见闻,都空存在语言以及任何媒介之外了。

Where are my memories? Where is my moveable feast?

references:

https://yang-song.net/blog/2021/score/

https://deeplearning.neuromatch.io/tutorials/W2D4_GenerativeModels/student/W2D4_Tutorial2.html#

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

Score-based models v.s. diffusion models

  • 一开始两者独立发展,所以有不同的理论依据和术语
  • 最后两者殊途同归:得到一样的模型

Score function

阅读全文 »

References:

https://zhuanlan.zhihu.com/p/45131536

https://hsinjhao.github.io/2019/05/22/KL-DivergenceIntroduction/

https://www.jiqizhixin.com/articles/2018-05-29-2

含义

  • 一句话:KL散度可以用来衡量两个分布之间的差异/匹配程度。但它并不是一个真正的度量或者距离,因为它不具有对称性。
  • 广义的散度指的是一类运算,它将矢量空间上的一个矢量场对应到一个标量场上,通俗的讲,就是输入一组矢量,返回一个标量。
  • 在统计学意义上来说,KL散度可以用来衡量两个分布之间的差异程度。若两者差异越小,KL散度越小,反之亦反。当两分布一致时,其KL散度为0。正是因为其可以衡量两个分布之间的差异,所以在VAE、EM、GAN中均有使用到KL散度。
  • 在信息论中,其可理解为编码系统对信息进行编码时所需要的平均附加信息量。

定义

阅读全文 »

今天逛 github,发现了一些很 amazing 的chatgpt applications,摘录一些感兴趣的精华在此。真是感慨:LLM 以来天天风云变幻,弄潮儿在前面兴风作浪,我在后面望其项背……

  1. (Useful) egoist / openai-proxy

    用 Vercel 开一个小的 Proxy server,转发 gpt API,这样可以绕开有些国家地区的 IP 限制

  2. BuilderIO / ai-shell

    在命令行里使用 chatgpt,把自然语言转化成 Linux commands,命令是 ai [texts]

  3. eli64s / readme-ai

    一个轻量的 script,根据 repository 生成酷炫的 readme 文件

  4. efJerryYang / chatgpt-cli

    命令行 chatgpt client

  5. yufeikang / ai-cli

    另一个命令行 chatgpt client(实测的时候再对比一下这俩)

  6. mukulpatnaik / researchgpt

    输入论文 PDF 文件,然后和 gpt 聊论文。一个用 Flask 开发的 web client 貌似,可以再仔细看一下咋实现的,挺有意思

  7. (⭐️ Amazing) AntonOsika / gpt-engineer

    很方便安装,pip install 就好了!直接通过描述 + AI 追问 + 补充细节,生成一个代码项目

  8. (⭐️ Amazing) Yidadaa / ChatGPT-Next-Web

    好像很实用的 web GUI!一键部署到 Vercel。我找这玩意主要是为了直接用 API 访问 GPT-4,就不用订阅每个月的 ChatGPT Plus 了,后者太贵了,也用不了那么多

今天,恩施的傍晚似乎没有夕阳。天空是深蓝色,深山上有几只黑鸟掠过。厚重的狗叫声。我闻到一种使我感到悲戚的气味,或许是和过去某种悲戚的回忆联系起来。具体回忆内容倒也记不清。明天我要走了,我说要吃点辣的,去了南边又没有了。结果还是去吃了潮汕牛肉。妈妈今天比较易怒,我看得到她的伤感。

回国,这个词对我来说不算什么,身处国内的时候,自己是没有概念的。只有在国外的时候,才对国内有概念。这一点真是讽刺。国内的时间匆匆而过,以前会为了在国外多待几年而争取,争取到了又雀跃。现在真要待那么多年了,才感到自己正坐在什么飞驰而远去的列车上。

人生在世,奔头这个词,我是想解构它的。人活着不为了什么,活就活了。可是我分明在努力什么,在抓住些什么。嘴硬罢了,谁能超凡脱俗,没点惦念的东西?亲人,向往的某种生活,成就感,这就是我的奔头。只是:停在原地原来是一种幸运,也是一种特权。