【问题标题】:Audio/Video content hinting音频/视频内容提示
【发布时间】:2009-06-04 14:22:20
【问题描述】:

可以从这些媒体中提取什么样的语义信息?任何事情都可以,无论是区分音乐和语音文本、检测不同的声音(如枪声、鸟儿或汽车)、检测室内/室外拍摄或相机运动的强度。

我知道这个类别中有manymanymanymanymanymany 研究主题,但我没有找到任何应​​用。是否有人提供有关这些主题的即将推出的产品的应用程序/库/工作原型/新闻的链接?

【问题讨论】:

  • 您的意思是像 JPEG 中的 EXIF 信息?
  • 不,不是有关媒体的技术信息,而是类似:“这张照片是在户外拍摄的”或“这张照片中有人”或“此音轨包含语音文本”或“此音频曲目包含音乐'

标签: video audio semantic-analysis


【解决方案1】:

查看MP4REG,它是“MP4 系列”文件中代码点的注册机构。

简短入门:在 MPEG4 和 QuickTime 世界中,媒体的基本物理构建块称为“Atom”。 Atoms 不仅可以包含实际的音频和视频,还可以包含技术和非技术元数据。最后一个对你来说听起来很有趣。

例如:

  • albm:专辑名称和曲目编号(用户数据)
  • jp2i:知识产权信息

关于元数据,我只仔细研究过一次这个东西,我的印象是它是一个快速而松散的世界。您可能想查看一些低级 MP4 解析工具,它们可以让您检查现实世界媒体文件的各个原子。我认为甚至有非官方(未注册)的自定义原子可在特定系统中使用。

【讨论】:

  • 库本身看起来很有趣。但如果我理解正确,它只提供 a.) 技术数据和 b.) 用户输入的数据。我宁愿寻找通过媒体分析提取的信息。
  • 它可以提供的不仅仅是技术数据。但是,是的,它只是创建/管理系统专门输入的数据。
【解决方案2】:

寻找此应用程序的最佳主题是您可能希望查看“基于内容的视频检索和索引”的研究主题

除此之外:

  • 您可以使用学习技术对接收到的信息(视频、单帧或音频)进行分类
  • 您可以使用聚类技术来查找音频或视频的相似部分

其中一个应用是商业删除。广告去除器通常采用聚类方法来去除电视视频中的广告片段。

【讨论】:

  • 您是否有任何指向能够应用这些技术的库的链接?
  • 不,只是谈论他们的方法和成功程度的论文。
【解决方案3】:

如今,音乐特征分析是一个巨大的话题。想象各种可能性! http://en.wikipedia.org/wiki/Music_information_retrieval

另外,请查看 Conet 项目:http://www.archive.org/details/ird059

【讨论】:

    猜你喜欢
    • 2011-10-29
    • 1970-01-01
    • 1970-01-01
    • 2010-10-09
    • 2020-06-26
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2011-01-08
    相关资源
    最近更新 更多