人工智能工具捕捉动物运动

我说，T需要17分钟的平均果蝇夫妇不能满足交配移动Talmo佩雷拉，在普林斯顿大学约书亚Shaevitz的和马拉的Murthy实验室的博士研究生学习神经科学。他说，这次遭遇的标志是“许多复杂的阶段，可能比人类的求爱更复杂”。雄性和雌性果蝇(Drosophila melanogaster)通过交换信息素而首先相互对准。如果它们是兼容的，那么男性就会追逐女性，并通过一个翅膀“唱歌”，以特定的模式振动，形成他的民谣。然后伙伴们互相跳舞，跑步和盘旋。最后，男性试图交配，女性接受或拒绝。

佩雷拉正在研究如何在苍蝇的大脑中表现出求爱歌曲和舞蹈。在此过程中，他和同事们开发了一种跟踪动物行为的有效方法。他们的工具LEAP Estimates Animal Pose(LEAP)利用一种称为深度神经网络的人工智能，本质上是一种可以学习任何东西的“花式机器”。。。可以训练它做的任意操作，“目前在哈佛大学攻读博士生的Diego Aldarondo说道，他在普林斯顿大学的本科学习期间与Pereira一起构建了这个工具。“我们开发了所有这些疯狂的人工智能，试图了解飞行性，”佩雷拉开玩笑说。“或者甚至不是性行为，只是导致它的原因。”

传统上，研究人员通过逐帧点击视频片段并标记感兴趣的身体部位来收集动物运动的数据。哈佛大学的行为神经科学家Ben de Bivort说，这是一个艰苦的过程，可以让研究生或志愿者每小时上课一次。他说，与研究人员在动物生物学研究中使用的其他方法(如基因组学或高分辨率神经记录)相比，这些艰巨的努力会产生小数据集。“因此，对行为的衡量始终是一个瓶颈。”

我们开发了所有这些疯狂的人工智能，试图了解飞性。

-Talmo Pereira，普林斯顿大学

另一个选择是将标记粘贴到动物的四肢上，然后使用计算机软件从视频素材中跟踪它们。“想象一下，就像你穿上安迪·瑟金斯，使咕噜的标记指环王，说：”戈登·伯曼，埃默里大学的生物物理学家的理论谁做与Shaevitz一个博士后，但没有参与LEAP项目。不幸的是，动物非常擅长修饰它们，并且“将这些标记放在飞行中。。。相当困难，“他说。

Pereira说，观看动作捕捉服的演员实际上是让他思考如何追踪苍蝇的原因。但是当他深入研究文献时，他意识到科学家已经开始捕捉动物运动而不使用标记。与此同时，Aldarondo正在研究计算机科学课程中的动作捕捉算法，在与Pereira聊聊之后，他决定将神经网络应用于他的实验室关于单个果蝇的镜头作为课程项目。

在第一次尝试中，Aldarondo和课程中的另一名学生标记了数千帧视频，其中点表示苍蝇身体部位，然后使用这些帧训练网络自动识别身体部位。课程结束后，他和Pereira继续研究该项目，调整算法以自动化更多的过程。去年年底，他们发布了一个版本的工具，需要更少的帧 - 大约100个 - 以便在飞行体上跟踪32个点时达到高达95%的准确率。在他们的报告中，研究人员使用LEAP跟踪飞行的所有六条腿，以及它的翅膀，身体和头部。他们还应用他们的工具来捕捉小鼠的肢体运动(Nat Methods16：117-25,2019)。

LEAP的成功来自人类和人工输入的结合。在接收到一组带标签的视频帧之后，它使用它们来学习如何根据每个图像的特征放置点，然后为下一组帧喷出标签，研究人员随后检查这些标签。该工具的猜测可能不是第一次很好，但纠正程序有助于它变得更聪明。在LEAP和人类之间来回几轮后，该程序已经学到足够的知识来正确识别零件 - 即使在不到一天的过程中。De Bivort将该过程描述为“使用算法生成数据以制作更好的算法”。

“这简直太容易了。多年来，它消除了我很多来之不易的图像处理技能，“伯曼说，他在自己的苍蝇和草原田鼠研究中使用了这个工具。“过去几个月和几个月的工作现在需要几个星期，如果那样的话。”

由另一组哈佛研究人员开发的另一种人工智能动作捕捉方法DeepLabCut与LEAP同时出现，也用于跟踪老鼠和果蝇。每个工具都有其优点：LEAP需要更少的训练时间，但是DeepLabCut使用更大的神经网络，在混乱或低质量图像上比LEAP表现更好，Berman说。但两者都具有适用于它们最初开发的物种之外的强度。Pereira说，到目前为止，多个研究小组已经使用LEAP来追踪老鼠，老鼠，蚱蜢，蜘蛛，蚂蚁，鱼等的运动。

de Bivort说，这两种工具都可以应用于从行为生态学到医学研究的各个领域，在那里他们可以帮助研究与陈规定型运动相关的自闭症等疾病。他补充说，他们还将帮助神经科学家探索大脑与行为之间的联系。“也许神经科学中最大的问题是：大脑是如何产生行为的?因为这就是大脑的用途，“de Bivort说道。“毫不夸张地说，这些工具现在对我们的领域来说是一件大事。”