这是2026年的第七天。从卡尔维诺书里读到人的完整性之后，我一直在努力拼出自己。我打算赋予2026我的心理完整之年的意义。我曾经建得那么顽固的一座堡垒，让我以为我已经坚不可摧，没想到才二十来岁，又在重新施工了。

智力上的努力也前所未有地施展中。到处产生进展，这里碰壁那里碰壁地好像也就杀不死。这可能是我目前意义感比较充足的原因。但是我也会担心，下一个阶段我准备好了吗？会有攀爬不动，差不多停在半山腰的时候，歇下来我会不会感到失去意义？会不会对存在感到焦虑？如何解？难道只能不断用我在成长来麻痹自己？追求进步说到底只是一种麻醉剂。

如何感到满足？何时才算完整？很多问题啊。

我带着一本阿莱夫，坐在离我住的这栋楼最近的长椅上看。傍晚光线逐渐昏暗，我又是头昏脑胀，很难看得进去。今天是周日，本来属于休息日，但因为暗无天日的研究进展，我无法好好休息，又不甘心工作。

很多种虫子路过我的皮肤。我面前是那个一高一低的单杠。有个印度人如火如荼地围着单杠锻炼，我如今对锻炼身体的人感到亲近，选了就近的这个长椅。

有个华人骑着自行车在这里停下，趁印度人在旁边伸展的空档迅速地在高杠上做了大概四个标准的引体向上。然后他在旁边休整了大概一分钟，又在低杠上做了四个，然后立刻骑着自行车扬长而去。我看了他们两人的肌肉都不算大块头，但已经是全身都很完满的健身痕迹。我想我坐在这里其实也是想用那个单杠的，只是我认为它已经是被印度人占用的状态，无法做到在距离他不到两米的地方进行滑稽的挂杠动作。

有时候我感到有一种记录的必要性。不记的话，这样一个平常的日子就会飞快地从我的大脑里滑走。记的话，今后它将会是一个很典型的记忆锚点：我的读博生涯，二十多岁的后半段，百无聊赖的周日傍晚，二零二几年的典型新加坡平凡生活景象。

可能我也是给以上几个意象赋予了太多本来没有的意义，以至于竟觉得日子每天都那么过去让我可惜；也有可能是我过度麻痹和逃避抓不住的时间，连日子的重要性也不愿直面。

一家三口又来这对单杠上试了试玩了玩，现在已经散着步走了。

我对“朝闻道夕死可矣”的理解曾经竟然有一种本质的偏差。我对宇宙终极问题及答案的渴求是对世界的复杂性的终极轻视。时间竟然是道路上如此重要的一环。

缺少连线

充满符号 我也拥挤不堪

不再有琢磨文字的空间

• 新加坡的grab司机说，他女儿和我一样大，但成绩不好，没有读本科。现在在Spain工作，之前在Germany，有政府的支持和补贴。为了晋升，在老板的鼓励下，现在准备提升学历，在两个设计相关的专业之间纠结。她的设计能力还帮助她在网上搞副业，开网店，比正职赚得还多。司机大叔今年六十了，准备用在泰国的堂弟弟的名字在清迈买套房，搬过去养老。他说新加坡年轻人的生活太苦了，毕业了要攒好几年钱才能买房。我只能默默听，没法给什么合适的回应。我试着跟他说中国人奋斗一辈子也不一定能在大城市留下，他说你们多好回老家就可以自在生活。我们大概互相都缺乏想象又充满想象。 25.5.31

• 新加坡有无尽的夏天，源于地球不管怎么转，太阳都直射这里。在这里读博，我也需要有源源不断的脑汁，每天在大暴雨和大太阳底下枯坐，指挥远处冷气房里的服务器轰隆隆跑实验。这样一种奇怪的状态成了我的生活，不明不白地挥霍我体内的维生素D，令我每天困顿顿昏沉沉。 25.5.5

• 新加坡。我已从好几个不同视角看过它。飞机上看到海上连成片的岛，最末端灯最亮的那一个。从民丹岛回来的船上，看到逐渐靠近的岸。在新山，隔着窄窄一湾，由一座跨国大桥联通，彼岸密密麻麻都是高楼。还有地图上，马六甲海峡尾端，北纬1.6°，不放大看基本在赤道上。

  综合起来，它的形象似乎坍缩成一座漂在海上，适量承载些热带乌云和暴雨的，可感知的小岛。小岛的概念是像巴厘岛，坐车从弯弯绕绕的山间小路钻出，豁然开朗地驶上一条沿着海岸线的公路，让你一趟就能明白整个东海岸的走向。在新加坡我住在西海岸，也一样的可感知。

  我出生在中国最中间的地方，一条算不上什么的山脉。海和岛是原本以为生命中最陌生的名词。如今想起来时不时还有恍如隔世的感觉。当然，中国虽然面积上大太多，但它对我来说早已是可感知的。可见也不是新加坡这座岛真的有多小，而是人生的最新三年，来到了太多原以为生命中最遥远的地方，导致对「世界」方才有了可感知的感觉。

  「眼界」的意思大概就是对世界的可感知范围。也没什么额外的用处，或许能让我更清晰地感知到自己在世界上所处的位置。所以其实等同于对自己所处位置的感知准确度。极大概率去不了外太空，没办法进一步具体感知自己更大尺度上的位置了，遗憾。但是也该举一反三，多想象一下了。

​ 2024.7.7

存在丑陋，又无拘无束；存在的痛苦沉甸甸的，又像海象一样肉多皮厚。我滞留在这样的存在里，痛苦地感受世界的丑陋，树干的丑陋，海水的丑陋，砖块的丑陋；可是我触不到存在，这更痛苦，我只是多余的人。

每次坐在飞机上我就读《恶心》，读起来感到飞机的轻盈，无拘无束，飞机上的我也一样。平稳地飞行和降落并不是在预期之内，遭遇事故也不是在意料之外；这两者都是同等地可怕，同等地让人意外。我不怕飞机失事坠毁，我会摔成烂泥；同等地，我不怕它还会落地，我会在另一片土地上站立、停留。

我被困在现在这堵四面高墙里。可是再过一小会儿，现在又会变成过去，变成一种朦胧的、混乱的梦境，它消失了。这种存在的恶心，我大概已经透过书和我的生活了解透彻了。但是破解法，我一直在寻找。最后几页为什么如此仓促地收束？听到乐曲，想象了作曲者本人，于是主人公感到这是解法：创作，让创作在日后留下一些微光，让别人通过你的创作想念你，这样你就剥离了存在的恶心的那部分，留下了真正美丽的、超越的那点东西。这样，就至少可以接受自己的存在—过去时，仅仅是过去时。我不是很理解，没能感到有超越存在的那部分东西。

翻出了Mac上旧的学文笔记，重读发现我以前的文风意外地造作。明明自己内心里是从来没有造作的本意的，一路上都是喜欢沈从文、汪曾祺、海明威那种冷峻的文风来着。本意也是以真诚为主，但是发现原来我还挺喜欢背人名、写title、掉书袋的。有点羞耻。 也有可能是民国文学读多了，写的词语不太现代吧。 现在想拽那种风格倒是写不出来了，还嫌自己有点过于口语化，也是和过去的自己悲喜不相通了。

再读当时对废名的诗的笔记，一下子就顺畅理解他是个啥意思了。当时为什么理解得那么粗浅？简而言之，废名认为诗的内容应该区别于散文的内容，不应该以承载作者情感为目的，而应该作为独立的、完整的存在，描述一个独立的故事，纯粹从想象力出发的东西，而不是折射、隐喻现实。我仍然喜欢这一类诗，但是好像也不觉得这是诗的唯一定义了。人家策兰的黑牛奶当然是写现实的，但是带给我的震撼不比别的少，难道那就不是诗吗？我想我比较认可诗应该是一种对文字的极致的探索，至于内容，只要是自由的、个体的，都行。

1
2
3
4
5
6

文学的火花在我体内溅射的时候
我欢腾
我想
我是一个临时的人
ad-hoc
——我自己，抒情诗

今天从《恶心》里读到，安妮觉得男主角和她对存在的觉察是很不一样的。男主对周围静止的事物要求很高，希望他们别来打扰他。但是安妮是从行动的角度出发的，她想看自己怎么做才能符合心意。

其实我一开始完全不认可她。我从男主的视角一路追踪过来，觉得对周围的事物的存在发起质疑，这很对呀。好像自己只需要去观察、审视，只需要想，不需要做什么。我甚至觉得男主做出去巴黎找安妮的选择，并在路上产生强烈的奇遇感，都有点多余了。一直以来我都希望自己是一颗随风摇摆的树，站在那，从土里吸水，这些都不是我的选择，只是自然地发生。

不过读到那里的时候，微信读书里其他人的发言似乎在点我。他们都说男主不作出行动不好，真正的行动派才是勇敢的。这个道理我好像也懂，但我怎么从来没有反思过？原来我一直想做一棵树的愿望都是一种懒惰的退避，并非真正的自由？我回忆到我前两天发现的自己对《齐马蓝》的误解，好像也是一致的：我以为齐马蓝作为艺术家看到了全部，做到了全部，最后选择退避一切，回到蓝色泳池里打扫瓷砖，是跟我当树一样的终极又简单的目标，用无为来顺其自然。但是好像人家的本意是发现打扫瓷砖的时候只用专注于眼前下一件要做的事情，抛去一切杂念，从中获得纯粹的快乐。我以为是不做事、纯无视呢，原来人家是专注手头事啊，这本质好像不太一样。

当然对存在和虚无的觉察还是同样本质的，只是在选择上，我似乎不应该如此被动和不负责任，为什么不主动地搅动浑水呢？就好像不要再在这里空想，寻觅我对活着的终极定义了，我应该去做，办我手头临时的事去。

反者道之动。 无为无不为。

作者：Yixun Liang Xin Yang, Jiantao Lin, Haodong Li, Xiaogang Xu, Yingcong Chen

发表： CVPR 2024 Highlight

Code：https://github.com/EnVision-Research/LucidDreamer

如果你去做这个任务，会怎么做？作者做的方法和你想的有什么差异？

• 解决SDS的oversmooth的问题。其实我之前探索过这个问题，是从SDS的公式分解出发的，发现跟non-increasing timestep sampling结合，在不同的时间步应用不同的SDS子项，能解决一定的问题。但是仍然只是mitigate，不是solve，我觉得这种 从多次2D生成结果中收敛出一个3D结果 的方式，免不了被平均，得到smooth后的结果，似乎是SDS的内在缺陷🤔除非改进成非optimize的方法；那不就换成了feed forward的思路了嘛

Why：

• 从2D diffusion model发展以来，基于SDS的方法可以把2D生成结果lift到3D，从而实现text-to-3D generation。这种生成结果富有想象力，而且只需要文本描述这种直观的输入，这类方法得到迅速的发展和关注。
• 但是基于SDS的方法有普遍的问题，那就是over-smoothing，过平滑。
• 这篇文章揭示了SDS背后的机制：把3D模型渲染的图像跟2D的伪ground truth相匹配，这种伪ground truth就是diffusion model的生成结果。问题在于，生成的伪GT通常是不一致的，而且有低质量。然而所有的这些伪GT所提供的更新方向全都提供给3D模型，就会让最终结果受到一个平均效应的影响，趋向于过平滑以及缺乏细节。
• 这篇文章还分析了伪GT效果不好的两个原因：
  1. 伪GT是diffusion model的一步重建结果，有很高的重建误差
  2. diffusion 路径的内在随机性让这些伪GT在语义上不同，这会导致平均效应，以及最终的的过平滑结果

What：

• 为了解决上述问题，这篇文章提出中间分数匹配，Interval Score Matching（ISM），从两个有效的机制上提高了SDS的效果：
  1. 通过应用DDIM inversion，ISM提供了一个可逆转的diffusion路径，减轻了平均效应
  2. 不同于让3D模型渲染的2D图像直接跟伪GT相匹配，ISM是让diffusion路径中的两个中间步相匹配，这样就能避免有高误差的一步重建带来的影响
• ISM相比SDS，稳定地实现了更高的真实性和更多的细节。
• 此外，ISM还跟3D Gaussian Splatting适配，新的3D生成模型实现了超过sota的效果。之前的sota需要多步训练，但本文只需要一步

读前疑问：

1. DDIM inversion跟SDS有啥关系，在这发挥了什么作用？SDS 可以看作一种高variance的DDIM，或者说ODE，用DDIM inversion来解决random noise引入的随机方差的问题。这个思路后来已经在很多篇论文里体现了，刷新对SDS的理解……
2. ISM跟diffusion的中间步的结果有关，而不再是最终重建好的图片，是这个意思吧？但是怎么做到的呢，是纯公式上的变化，还是整个机制流程会改变呢？公式上的
3. 跟timesteps有关系吗，有没有考虑不同timesteps guidance的区别？没。

How：

好多公式，直接写本本上了……

你说
下个梦里就为我做点心
我总说电影画面里不是你
我迟钝，你拳掌不留情
你又抚摸我的掌心
我说你
丈量海浪一样的时间用的是把好尺
我不认得水
必须你教会我游泳再跳进你

那时，连他们也无知
我就混入了这个时代
学着
敬畏山和涂抹的厚重的绿
可是我们抛弃
他们褪去
每个瞬时，我就只贪婪地收看
我们同他们被变换要挟
在山脚下 或者山巅
和一抔黄土一样地臣服

——2024.6.18 在车上

见过这种之后，再读这本书，对一百年前（吗？）的巴黎就有感觉了。海明威说他去新开的咖啡店喝奶油咖啡充饥，我就想到海德堡临河T字路口那家咖啡店了。人来人往的，桌子也不多，但是在这种涌动的拥挤的环境里，那家店竟然能有安静的氛围。不知道会不会贵，所以没去。不过这么个路过瞥了一眼的咖啡店竟然就成了记忆的锚点了。还是应该多记录一些见闻，这几年有很多新鲜的见闻，都空存在语言以及任何媒介之外了。

Where are my memories? Where is my moveable feast?

作者：Léon Bottou, Bernhard Schölkopf

发表： Arxiv

首先我们可以用博尔赫斯的“小径分叉的花园”的隐喻，来类比大语言模型。人们做出一个选择的时候，所付出的代价是放弃了其他所有可能的选择。那如果把所有可能的选择完全考虑进来，就能得到一个充满无数可能性分叉的花园。这个花园，就可以类比“完美语言模型”。它包含了所有可能的人类语言的组合。当它在聊天框输出一串文字的时候，就像是从分叉的小径中选择其中一条一样，或者是人类做出一个选择的时候一样。未被选择的词语构成了其他的分叉。“语言模型”这个全包的概念，是完美的，包含了所有语言的可能性。

实际上，“完美语言模型”就像一本预言书，里面包含了所有我们想要听到的话、可能听到的话。唯一能影响它输出的内容的，就是和它展开对话的那个人。我们用prompt作为引子来引导语言模型的生成，这其实就是对无限的可能性施加限制，prompt完全决定了语言模型的输出。

我们可以先从“幻觉”这个所谓的问题讨论起。其实这不是“幻觉”，而是一种“虚构”，是从人类语言中所有有可能的分叉中，适当地挑选出可能性高的那些，借用了一些合理的逻辑，虚构了另一套合理的故事。“完美的语言模型”，倒不如说是一个“虚构小说机器”。

一类人认为有一些大逆不道的话永远不该存在，所以要求审查LLM；更多的另一类人是希望LLM真的像智能一样为人服务、创造价值，所以要在必要的场合说必要的话。两者为了各自的目的，都希望对LLM这种本身不包含任何是非对错评判偏差的“完美语言模型”进行剪枝，去掉不想要的部分。所用的手段就是用人工精挑细选的语料来微调，或者叫human feedback。

实际上这种审查有很多的问题。最大的问题是，有了“虚构小说机器”之后，它对我们人类文化的影响比想象中大，我们会依赖它来塑造我们的知识和对未来的想象，因此它会影响整个人类的文化。当来到这个层次后，“审查”，或者说“净化”，就变得危险了，因为谁都想把自己的那一套强加在LLM之上，可是谁的标准才是真的标准呢，或者我们真的能有真正的“净化”标准吗？

“在未来，几乎每个人都使用语言模型来丰富他们的思维，对语言模型所写内容的控制权将成为对我们所思考内容的控制权。如此强大的力量能存在而不被滥用吗？

“有些人担心小说机器是一种无所不知的人工智能，可能会比我们活得更久；然而，更黑暗的诱惑是让我们的思想屈服于这个现代的皮提亚，不受真理和意图的影响，但却可以被他人操纵。如果我们一直把小说机器误认为是可以减轻我们思考负担的人工智能，那么语言模型无休止的喋喋不休会让我们像苦苦挣扎的图书馆员一样疯狂。然而，作为小说机器，它们的故事可以丰富我们的生活，帮助我们重温过去，了解现在，甚至瞥见未来。”

作者最后说，人们发明的这种“机器”，不仅能写故事，而且可以写故事的所有变体，这是人类历史上一个重要的里程碑，堪比印刷机的发明。或者，甚至可以比作早在印刷或书写被发明之前的，在洞穴壁画之前就出现的，一种塑造人类的艺术：讲故事的艺术。

references:

https://yang-song.net/blog/2021/score/

https://deeplearning.neuromatch.io/tutorials/W2D4_GenerativeModels/student/W2D4_Tutorial2.html#

https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

Score-based models v.s. diffusion models

• 一开始两者独立发展，所以有不同的理论依据和术语
• 最后两者殊途同归：得到一样的模型

Score function

1. 生成模型可以归类为两类：
   1. 显式的，基于likelihood的模型，比如autoregressive，normalizing flow，VAE。这些方法通过近似最大似然来建模概率密度分布。问题是，为了计算likelihood，需要一个normalizing constant这个量，它要么是未知的，要么要想尽办法通过其他的限制来估计或者消除。所以这类模型比较复杂。
   2. 隐式的，直接建模一个概率分布的sample process，而不是概率分布本身。比如GAN。但是它需要对抗学习，这比较不稳定，而且可能有模式坍塌的问题。
2. Score function和第一类相关，它也是建模likelihood——但不是它本身，而是跟它相关的一个量，即 Stein score function。这样的一个神奇好处是，可以直接消除normalizing constant这个量。 （图中，等高线表示一个概率分布，箭头表示它的分数场。score-based model就是建模这些分数场)
3. 具体一点来说：
   1. 假设给定一个数据集 \({x_1,x_2,...,x_N}\)，每个数据都是从一个未知的数据分布 \(p(x)\) 采样。我们用一个生成模型来生成新的数据，这些数据都是从这个分布中采样的
   2. 我们要想办法表示这个概率分布。前面说的基于likelihood的模型是这么做的：直接建模这个概率密度函数： \[ p_\theta(x)=\frac{e^{-f_\theta(x)}}{Z_\theta} \] 其中这个 \(Z_\theta>0\) 就是依赖于 \(\theta\) 的那个normalizing constant了。 这个 \(p_\theta(x)\) 训练的目标函数就是最大log-likelihood： \[ \max_\theta\sum^N_{i=1}\log p_\theta(x_i) \]
   3. 前面说了，问题就是 \(Z_\theta\) 很难估计。为了避开估计它，我们的神经网络不再直接估计概率分布，而是估计它的分数（概率密度函数的log的梯度）： \[s_\theta(x)=\nabla_x\log p(x)=-\nabla_x f_\theta(x)-\nabla_x\log Z_\theta = -\nabla_x f_\theta(x)\] 去掉了 \(Z_\theta\)！
   4. 训练的目标函数是 Fisher divergence： \[ \mathbb E_{p(x)}[\|\nabla_x\log p(x)-s_\theta(x)\|^2_2] \]
   5. 现在的问题就是，上式中的 \(\nabla_x\log p(x)\)未知。但是很好解决，一种叫score matching的方法可以直接最小化 Fisher divergence，不需要知道真实的score。
   6. 最后的问题就是得到了这个 score function 之后，怎么从中采样新的数据了。Langevin dynamics 提出了一种迭代式的采样方法，就是和diffusion的步骤一模一样的。相当于从空间中任意一个位置初始化，然后顺着score function往高概率密度的方向优化，足够多的步骤之后就到了峰值处。

关 noise 什么事？

是这样的，前面提到的方法已经讲清楚了神经网络建模和目标函数。但是假如直接拿着数据集（比如图像）让网络学习的话，效果并不好。因为这个score function在低概率密度的区域样本很少，学得也很不好。

为了解决这个问题，我们才往数据中加 noise，在被噪声扰动后的数据集上训练网络。这些扰动后的数据点极大地扩充了数据集，最主要的是能填充那些低概率密度的分布区域。

大的噪声破坏数据分布，小的噪声不够填充低概率密度区域。所以就用多尺度的噪声。也就是diffusion model的前向过程了。

总体来说，score-based model就是在这些噪声扰动后的数据集上训练的。训练的时候，噪声的尺度当然也可以作为一个已知量输入，也就是noise conditional \(s_\theta(x,i)\)

diffusion models

to read：https://lilianweng.github.io/posts/2021-07-11-diffusion-models/

从diffusion models的角度解释整个模型

作者：Hsuan-I Ho, Lixin Xue, Jie Song, Otmar Hilliges。ETH

发表： CVPR23

链接： https://custom-humans.github.io/

Why：

1. 3D数字人现在很热门
2. 传统方法中，重建好一个3D数字人之后，不知道怎么编辑和定制它
3. 所以想搞一个方法，既能创建3D数字人，又能在创建完成后对它进行定制化

What：

1. 这个方法允许在不同的3D人之间部分地迁移几何和外貌细节，还能在改变人的姿势的时候保留一致的局部细节
2. 具体一点说，是把NeRF和LBS-articulated（铰接）的mesh模型的优点结合起来：NeRF很灵活，有很强的建模能力；mesh模型可以变形，并且可以被完全显式地控制
3. 再具体一点，是提出了一个混合的3D人体representation，允许跨不同主体进行局部编辑；然后提出了一整套的生成这种3D数字人的流程，既能拟合没见过的3D扫描人数据，也能随机采样生成新的个体；另外还提出一个大尺度高质量3D扫描人体数据集

How：

1. 混合的3D人体representation：

   1. 有一个可学习的特征codebook，包含\(M\times 2F\)个特征，其中\(F\)个是几何特征，另外\(F\)个是外貌特征。给定一个human mesh，mesh有M个顶点（M很大，一万多），每个顶点跟codebook中的特征显式地一一对应。

   2. 当NeRF渲染时，给定空间中一个query点，提取局部的特征：

      

      1. 找出mesh顶点中离它最近的3个顶点，对这3个顶点对应的特征用barycentric interpolation（重心插值法？）得到插值后的特征
      2. 还需要把全局坐标转换成局部坐标，这么做是为了让局部与全局解耦，方便在后续更改人体pose的时候不影响局部的细节。转换方式：还是根据mesh顶点中离它最近的3个顶点组成的三角形，直接用\((u,v)\)表示query点投影到三角形平面上的点在三角形中的位置，然后再加上一个\(d\)表示query点距离三角形平面的距离，以及一个\(\textbf n\)表示距离的方向
      3. decoder，或者说renderer，不是单独一个NeRF，而是分成了两个独立的，一个是SDF field，一个是rgb field。论文里说这样能方便用3D loss显式地监督这两个网络。后面的实验证明如果不解耦这两个网络的话，效果会差很多
      4. 那么最后给到这两个neural fields的输入，就是\(\textbf f_s/\textbf f_c,(u,v,d),\textbf n\)，分别是几何特征或者颜色特征、局部坐标、方向

2. 采样个体样本时，有两种方式：

   1. 直接采样已有的个体样本。训练的时候，针对每个个体样本，都是单独学习一个codebook。假如有N个ground truth人体，那codebook实际上是有\(N\times M\times 2F\)这么多维度。想要采样其中一个个体，直接从N个样本中取一个entry就好了
   2. 生成全新的样本？用PCA。具体说，是创建一个新的D维的codebook（\(D\times 2MF\)），这D个维度是对N个人体样本拟合出的PCA系数。生成随机新人体样本的时候，只要简单随机生成D个PCA参数，然后乘以利用这个新codebook算好的特征向量就好了

3. 训练过程

   1. 给定一个扫描的3D人体（高质量、很细节的mesh），用其他现有工具把一个SMPL mesh和它对齐，得到相应的pose和shape参数。
   2. 用M个扫描的3D人体，分别训练特征codebook的M个entries。
   3. 三方面的loss：
      1. 3D loss，包括rgb loss和sdf loss；
      2. 2D adversarial loss，这里是用前面提到的PCA采样方法，得到随机生成的人体，渲染成2D图像；然后用相同的相机视角用任意gt 3D人体扫描得到2D图像，然后用StyleGAN辨别这两张真假图像。这里的用意是，不需要严格相同的gt监督，就可以对PCA得到的生成样本进行监督，这样的监督又能传播到全部训练样本上，应该是能很好地提升模型的泛化性能。实验结果看这个loss还挺重要的。
      3. 简单的对特征的正则项，让特征符合高斯分布

4. 一些编辑方式

   

   1. 初始化：采样一个3D数字人样本。也就是前面提到的两种采样方式，可以采样已有的，也可以采样全新生成的

   2. optimize特征，拟合一个3D扫描人体。用到的是3D loss

   3. 跨个体的特征编辑：简单粗暴，先用Blender选择人体局部对应的顶点，然后把想要的样本的codebook中的那部分特征交换到目标的codebook来

   4. 绘制材质：拿到渲染后的2D图像后，可以直接对2D图像进行一些绘制，然后再用它监督训练codebook。后面的实验结果看上去效果还不错，但limitation说不能很好地拟合过于高精度的细节

      

   5. 更换人体姿势：这个representation本身是由一个SMPL mesh加一个codebook组成的；只要对SMPL mesh的参数进行修改，就能直接改变姿势了

5. 实验

   1. 用了自己提出的CustomHumans以及THuman2.0数据集来训练模型；用SIZER数据集来测试对没见过的人体扫描的拟合性能
   2. 用chamfer distance、normal consistency、f-score来衡量拟合性能；结果挺好
   3. 展示了编辑性能，看起来挺好
   4. ablation study：值得深究

作者：Gusi Te, Xiu Li, Xiao Li, Jinglu Wang, Wei Hu, and Yan Lu

发表： ECCV 2022

链接： https://arxiv.org/abs/2208.08728

Why：

1. 之前的3D人体重建工作一般需要多视角视频，或者额外的3D几何信息。这篇工作以单视角视频为输入
2. 之前的工作建模出来的3D人体很难泛化到新的pose
3. 之前的工作都只能解决一部分的问题：基于参数化人体模型的方法对appearance的表示精度有限；基于NeRF的方法的appearance效果好，但是要么只关注于NeRF场本身的构建，要么需要精确的3D mesh作为先验。

What：

1. 提出一个从单视角视频重建animatable的3D人体的方法
2. 表示方法是把 dynamic NeRF 和一个 human mesh （SMPL）相结合。这个 dynamic NeRF 的输入是一些嵌入到mesh 顶点的局部信息，这样，当需要表现一个人不同的姿势的时候，本质上是对这个 canonical space 的静态NeRF进行deformation。这里的关键问题是如何设计这个局部信息，来让查询observation space中的任意一点的时候，都能够良好地deform到canonical space，从而找到静态NeRF里正确的点
3. 在优化过程中，首先借用别的工具初始化一个mesh pose，然后逐帧地同时 finetune mesh pose 和 NeRF

How：

Query embedding for NeRF

精髓就在图里了：

1. 人体的表现形式是我们熟悉的：首先有一个由pose参数\(\theta\)驱动的SMPL mesh，以及一个mesh-guided NeRF，后者的输入是对应query ray上的3D points的embedding

2. Query embedding的具体构成：

   1. 最直观的 Latent Code：存储在每一个mesh顶点上，表示的是appearance信息。对于一个query point，会找到mesh顶点中K nearest neighbors所对应的latent codes
   2. 被称为 Deformation Guidance：其实是在canonical space中，刚刚用到的那些KNN顶点的坐标（用inverse LBS得到），以及query point相对于mesh表面投影点的方向。这个信息能够指导deformation field，所以叫guidance
   3. 另一方面还有 Deformation Priors：是在observation space中，query point相对于刚刚用到的那些KNN顶点的距离。文中说这是用来防止deformation field落入local minima的，所以叫做priors

3. 

   文中特意用上图强调了这里需要用到K近邻顶点，而不是单个最近的顶点。因为如果只用单个最近的顶点（图a），就不能提供不同的deformation pattern 的信息；而（b）里加上了K-NN distance之后，就能有这个deformation pattern信息了。（我有点疑惑什么是deformation pattern，就是这个表面的凹凸性吗？）

训练过程

1. 首先借用别的工具初始化一个mesh pose。但是这个pose不够精准，还需要finetune。文中提到这里直接是finetune per-frame pose parameter，而不用per-vertex offset，因为后者可能容易过拟合到local minima（？有点疑惑，我以为用pose parameter或许是有利于在后续用temporal consistency之类的，但是好像并没有用到；那pose param相比之下就是一个更不精准而已？）
2. 训练时逐帧地同时 finetune mesh pose 和 NeRF。loss很直观：
   1. NeRF渲染图和原视频帧的L2 loss
   2. 正则 \(\|\theta-\theta^0\|^2_2\)，是为了让每帧的pose finetune不至于太偏离初始估计

实验

1. 训练要在v100上60小时；数据集用到People-Snapshot、DoubleFusion、ZJU-MoCap、Human3.6M；指标用PSNR和SSIM
2. 在2022，没有什么能直接对比的其他工作，跟需要多视角视频输入的AniNeRF、底层架构很不同的A-NeRF、mesh-based 的方法VideoAvatar比了三下，比他们都好

References:

https://zhuanlan.zhihu.com/p/45131536

https://hsinjhao.github.io/2019/05/22/KL-DivergenceIntroduction/

https://www.jiqizhixin.com/articles/2018-05-29-2

含义

• 一句话：KL散度可以用来衡量两个分布之间的差异/匹配程度。但它并不是一个真正的度量或者距离，因为它不具有对称性。
• 广义的散度指的是一类运算，它将矢量空间上的一个矢量场对应到一个标量场上，通俗的讲，就是输入一组矢量，返回一个标量。
• 在统计学意义上来说，KL散度可以用来衡量两个分布之间的差异程度。若两者差异越小，KL散度越小，反之亦反。当两分布一致时，其KL散度为0。正是因为其可以衡量两个分布之间的差异，所以在VAE、EM、GAN中均有使用到KL散度。
• 在信息论中，其可理解为编码系统对信息进行编码时所需要的平均附加信息量。

定义

理解熵

• 熵是用来表示信息量。
• 首先，我们考虑一个离散的随机变量 \(x\) 。当我们观察到这个变量的一个具体值的时候，我们接收到了多少信息呢？
• 信息量可以被看成在学习 \(x\) 的值的时候的“惊讶程度”。如果有人告诉我们一个相当不可能的事件发生了，我们收到的信息要多于我们被告知某个很可能发生的事件发生时收到的信息。如果我们知道某件事情一定会发生，那么我们就不会接收到信息。于是，我们对于信息内容的度量将依赖于概率分布\(p(x)\) ，因此我们想要寻找一个函数\(h(x)\) ，它是概率\(p(x)\)的单调递增函数，表达了信息的内容。 \(h(.)\) 的形式可以这样寻找：如果我们有两个不相关的事件 x 和 y ，那么我们观察到两个事件同时发生时获得的信息应该等于观察到事件各自发生时获得的信息之和，即 \(h(x)+h(y)=h(x,y)\) 。两个不相关事件是统计独立的，因此\(p(x)p(y)=p(x,y)\)。根据这两个关系，很容易看出\(h(.)\)一定与\(p(.)\) 的对数有关。因此，我们有： \[ h(x)=-\log p(x)\] 其中，负号确保了信息一定是正数或者是零。注意，低概率事件\(x\) 对应于高的信息量。
• 现在假设一个发送者想传输一个随机变量的值给接收者。这个过程中，他们传输的平均信息量通可以通过求上式关于概率分布 p(x) 的期望得到。这个期望值就是熵Entropy： \[ H[x]=-\sum_x p(x)\log p(x)\]
• 它是这个随机变量的平均信息量。

KL散度的性质

1. \(D_{KL}(p||q)>=0\)， 当且仅当\(p(x)=q(x)\)时取等号
2. 不满足对称性，即\(D_KL(p||q)\neq D_KL(q||p)\)

讨论

• KL散度是不对称的。因此不能作为一个距离度量，在使用时往往有一些问题。
• 那么就可以用\(\alpha\)-散度。KL散度是它的一个特殊化。根据这个，还能算出一个对称的Hellinger距离，它的平方根是一个合法的距离度量
• 还可以推广到F散度：把KL散度公式中的\(\log\)函数替换为任意的函数f，只要f满足这两个条件：
  1. f是一个凸函数
  2. \(f(1)=0\) 此时F散度的表达式为： \[ D_f(p\|q)=\int q(X)f(\frac{p(X)}{q(X)})dX\] 当\(f(X)=X\log X\)时，就是KL散度了。
• Bregman散度：这是从另一个角度来思考“距离”。最常见的均方欧氏距离，推广到任意维度的函数之间的距离，同样只是需要一个凸函数就能表达了。这个凸函数的取值，可以表示一大片不同的散度，都属于Bregman散度的特例
• Wasserstein距离。这是用来解决一个问题的：如果两个分布离得太远，完全没有重叠，那么KL散度的值会失去意义。这在深度学习中意味着这一点梯度为0——梯度消失！ Wasserstein距离可以解决这种问题，也叫做Earth-Mover（推土机）距离：当我们希望把一堆土推移成另一堆土的形状和位置，推土代价定义为移动土的量*土移动的距离，这个代价就是两个分布的Wasserstein距离。 Wessertein距离相比KL散度和JS散度的优势在于：即使两个分布的支撑集没有重叠或者重叠非常少，仍然能反映两个分布的远近。WGAN就是Wasserstein距离比较经典的应用之一。

信息的压缩

1. 假如我们有一组样本，每个样本分别有不同的值。可以直接记下每个样本的信息。
2. 也可以用这个样本的分布来表示同样的信息量。（每个取值的概率）
3. 还可以用一个已知的分布来表示这个分布（比如均匀分布、二项分布、正态分布），只需要记下具体分布的参数。

作者：Rolandos Alexandros Potamias, Stylianos Ploumpis, Stylianos Moschoglou, Vasileios Triantafyllou, Stefanos Zafeiriou. From Imperial College London and Cosmos.

发表： CVPR23

链接： https://github.com/rolpotamias/handy

如果你去做这个任务，会怎么做？作者做的方法和你想的有什么差异？

Q：我感觉这个任务听起来还挺直观的，就是用GAN去训练外观，定义一些更多vertices的mesh template，用超级大量的样本去训练堆效果嘛？hand model的定义会有什么新意吗？我倒是想不出来。

A：确实很直观，hand model的定义没什么太大区别。贡献点主要在于：1. 很大很好很variant的新数据集，造成了很好的Handy 2. 用StyleGAN来学texture，而不是传统的PCA，得到的texture更高频细节，更好。

Why：

1. VR AR发展，对人手的建模、追踪和重建的研究变得流行，因为手是一个重要的显示人的行为的东西
2. 大部分工作基于MANO，只有很粗糙的low polygon count，而且只基于31个样本构建，distribution不够宽
3. 大部分工作都忽略了材质的构建

What：

1. 提出一个large-scale的hand model，包含了形状和外观，用超过1200个人类样本训练，样本有large diversity
2. 构建Synthetic dataset，训练一个hand pose estimation网络，从单张图像中重建手
3. 提出一个基于GAN的有高频细节的手的外观+形状重建方法，即使是in-the-wild的单视角图像作为输入

读前疑问：

1. 看上去作者是用NeRF做了一个high fidelity的hand model。我不太清楚技术细节如何实现，尤其是nerf如何跟parametric model结合，如果训练一个nerf layer，让它可以根据单张输入图像infer一个新手。不知道我哪里来的误解，总之不是用的nerf诶……
2. fig 1 看上去效果有点假……似乎是皮肤反光率的问题，用的什么lighting representation呢？没什么representation，纯粹用PCA去掉了阴影成分
3. 居然连皱纹、血管、指甲油也能出来，确实是高频细节了。有针对这些东西做特别的优化吗？还是全是那个style-based GAN的功劳，或者大样本量的功劳呢？真是大力出奇迹呀。还真就是GAN的功劳……？

How：

1. 收集large-scale数据集

raw scan：3000 vertices meshes。1208个人，包括关于他们的meta data，比如性别，年龄，身高，种族等。这些人的diversity比较大

2. 形状重建

1. 对齐3D scans 和 mesh template
   1. 用了两组template，一个是低分辨率的MANO，它可以直接用进SMPL人体模型中，有778个顶点；一个是高分辨的template，有8407个顶点
   2. 获得稠密的correspondence的方法是：
      1. 从多视角渲染这些raw scans，用MediaPipe来检测2D关键点
      2. 用linear triangulation来把2D关键点转换到3D；利用手指骨架到表面尖端的投影来检测指尖。
      3. 用3D关键点来把template和3D scans的表面对齐
      4. 用Non-rigid Iterative Closest Point algorithm (NICP)来registration，寻找稠密的顶点对应关系
2. 转换成规范的张开手掌的姿势
   1. 用PCA构建一个手部形状模型。
   2. 公式和MANO几乎一样，\(\beta\) \(\theta\) 两个参数，分别是形状和姿势参数。

3. 高分辨率外观模型

1. 叫一个图像学艺术家（😳）设计了一个UV template，把scans给unwrap成那样了
2. 对UV textures进行预处理，去掉阴影和光照：用PCA来识别描述阴影的因素，然后把这些因素去掉。（PCA居然这么好用？！）
3. 用一个图像处理步骤，将手部纹理映射到更自然的颜色，包括增加亮度，伽玛校正，以及调整色调。
4. 训练过程：不像其他方法那样直接把外观空间映射到一个低频PCA域，而是用GAN来建模材质。学习率较小，0.001；一个正则权重50也很有效。（啊？这个GAN就这么一句带过吗？直接用的StyleGANv3？）

实验

1. 和MANO比hand model：
   1. 更紧致，5个主成分表现90% variance，mano需要9个才行
   2. 泛化到数据集外的手的能力更强
   3. 特异性误差（specificity error）？衡量生成的手和ground truth的误差
2. 重建小孩的手，效果更好
3. 从单张图像进行3D重建：
   1. 生成数据集：用自己训的GAN模型生成30000张图像，为了更真实，渲染的手跟ShapeNet中的物体有交互，以及是和用SMPL表示的人放在一起的
   2. 模型直接参考3，14，16；加了一个预测材质参数的分支
   3. loss：L2 between estimated and gt shape parameter， pose parameter，and 3D vertices； L1 between estimated and gt UV map；L1 between estimated and gt 2D image；LPIPS loss on two images
   4. 另外设计了in-the-wild数据集，用预训练的模型预测handy 姿势、形状和材质参数，然后只优化材质参数w来拟合材质。
   5. 优化函数包括L1 and LPIPS loss on two images，以及一个对w的L2正则。得到了改进的材质参数w‘之后，finetune回归网络。
   6. 为了定量评估所提出方法的纹理重建，我们向网络提供数据中使用的扫描设备的图像。gt UV map用的是之前registration后得到的。（我不理解诶，这样真的能跟HTML公平比较吗？一方面你的handy就是从这些数据中来的，当然能对in-distribution的东西拟合得更好啊？另一方面HTML生成的UV map和你的定义是一样的吗？这个gt UV map对它来说有用吗？）
   7. 结论是：handy+GAN能得到高频细节，甚至皱纹、戒指、纹身、指甲油、白癜风之类的；handy+PCA会过渡平滑，甚至对肤色的重建失败；HTML更不行。
4. Test on FreiHand 刷新了指标，7.8 MPVPE and MPJPE……
5. 从点云重建形状和姿势。降维打击了MANO和LISA，即使用Hand+MANO+10个PCA Components，也比其他方法好很多……

1. (Useful) egoist / openai-proxy

   用 Vercel 开一个小的 Proxy server，转发 gpt API，这样可以绕开有些国家地区的 IP 限制

2. BuilderIO / ai-shell

   在命令行里使用 chatgpt，把自然语言转化成 Linux commands，命令是 ai [texts]

3. eli64s / readme-ai

   一个轻量的 script，根据 repository 生成酷炫的 readme 文件

4. efJerryYang / chatgpt-cli

   命令行 chatgpt client

5. yufeikang / ai-cli

   另一个命令行 chatgpt client（实测的时候再对比一下这俩）

6. mukulpatnaik / researchgpt

   输入论文 PDF 文件，然后和 gpt 聊论文。一个用 Flask 开发的 web client 貌似，可以再仔细看一下咋实现的，挺有意思

7. (⭐️ Amazing) AntonOsika / gpt-engineer

   很方便安装，pip install 就好了！直接通过描述 + AI 追问 + 补充细节，生成一个代码项目

8. (⭐️ Amazing) Yidadaa / ChatGPT-Next-Web

   好像很实用的 web GUI！一键部署到 Vercel。我找这玩意主要是为了直接用 API 访问 GPT-4，就不用订阅每个月的 ChatGPT Plus 了，后者太贵了，也用不了那么多