来向大家推荐一下我和我的好朋友Jiayuan Mao，以及我的导师Kevin Gimpel和Karen Livescu在ACL 2019的新文章 Visually Grounded Neural Syntax Acquisition，欢迎讨论！
程式码正在整理，敬请期待。
英译中太难了，于是我写了个太长不看版作者QA，内含彩蛋：
Q: 除了VQA、看图说话、听话画图，vision+language还有什么可能？
FS & JM: 还可以从平行image-text资料当中，挖掘文字资讯里的句法知识 -- 我们叫它naturally supervised parsing.
FS & Reviewer #2: 大家应该更多认识到，语言不是text in isolation，更不是sequences of symbols processed by an LSTM.
Q: 你们做这个有什么用？
JM: 可以模拟小孩子们怎么从自然监督中习得句法知识。
KL: 如果可以无监督获取句法知识，那么我们可以把它应用到句法知识有用的下游任务上去，提升下游任务的表现。
FS: 我觉得研究这种模型能和语言学家标注的句法树有多大相似度非常interesting.
KG: 嗯，我也觉得interesting.
Q: 你们怎么做的？
FS & JM: Image-text matching + REINFORCE. 我们对于每个可能的constituent都定义了一个可以从平行影象中估计的concreteness score，而这个concreteness score是根据matching score来估计的，基于“越concrete，是constituent的概率越大”这个假设，我们就可以得到一棵constituency parse tree了。
Q: 你们的motivation是什么？(Updated 6/12/19)
FS & JM: 我们来举个例子，假设一个小朋友有“相同文字应该对应到相似视觉特征”的inductive bias，我们可以知道“前两幅图蓝框中的物体对应了a cat”-- 与此同时，文字“a cat”也被ground 到了蓝框中的物体上。综合上述结论，小朋友可能会推理出“a cat这两个词是一个整体，它在视觉上应该对应和蓝框中物体比较像的东西 (concrete)”。同理，绿框和“under an umbrella”也有类似的对应（但由于"under an umbrella"是介词短语，所以这个关系更为复杂）。
在这里，我们把concreteness定义为可以被visually grounded的程度：比如"a cat"可以对应到蓝框中的物体，它就比较concrete；"on the" 什么都对应不到，它就比较不concrete.
考虑语言学家对于constituent的定义：a word or a group of words that functions as a single unit（整体）within a hierarchical structure （来自Wiki），我们的假设就是，a more concrete span of words is more likely to be a constituent，而模型正是用来检验这个假设的。
FS: 另外，我们结合了一种大多数印欧语系语言都有的性质(head-initial)来提升效果。
Q: 你们自己觉得有什么亮点？
FS & & & : 1. 我们提出了一个非常简单的模型(VG-NSL)，能够从无外部标注的平行image-text资料中获取句法知识（也因此被reviewer #1说 might need more sophisticated model designs to exceed the bar for ACL，虽然他/她也给了positive rating）。
2. 相比之前基于pure text的无监督句法分析，VG-NSL更为稳定，也取得了更好的data-efficiency.
3. 我们测试了多种（我们能找到资料的）印欧语系的语言，VG-NSL在这些语言上都表现良好。
4. To the best of our knowledge, 我们是第一个使用concreteness scores做parsing的工作，也是第一个估计constituent-level concreteness的工作。我们估计的word-level concreteness和前人的结果也有较大的相关系数。
FS & KG: 我们提出了一种基于稳定性的无监督学习调参&模型选择方案，欢迎在你的无监督学习模型上进行尝试。
Q: 有什么limitation和future work？
FS & KG & KL: 我们只测试了image-caption这个domain，未来希望能够把类似方法扩充套件到其他不能被visually grounded的domain上。
JM：How syntax helps learning word meanings.
JM & KL & Reviewer #1: image-text matching改成object-text matching会不会更好？
KL: 使用VG-NSL学习出的树结构提升下游任务。
