Augmented Images 图像触发器详解

Augmented Images 是什么

Augmented Images（增强图像）让 ARCore 应用检测特定的 2D 图像并触发 AR 体验——扫描电影海报弹出角色动画、扫描产品包装叠加 3D 模型、扫描广告牌显示扩展信息等。

与传统图像识别方案（如 Vuforia、ARtoolKit）不同的是，Augmented Images 不需要开发者预先"扫描目标图像"建图——ARCore 在运行时自动从图像中提取特征点并匹配，简化了开发者流程。

工作原理

开发者流程：
准备目标图像 → 创建 Image Database → 放入 Session 配置 → 运行时自动检测

运行时流程：
每一帧摄像头画面 → 提取特征点 → 和数据库中的图像特征点匹配
                                        ↓
                              匹配成功 → 返回 AugmentedImage 对象
                                                        ↓
                                              在图像位置叠加 AR 内容

步骤一：准备目标图像

目标图像的质量直接影响检测精度：

图像格式

• 离线编译：PNG / JPG / JPEG / BMP / WebP
• 在线加载：同样格式

避免用纯文字、纯图形、纯色块的图像——特征点不够。

步骤二：创建 Image Database

两种方式创建数据库：

方式一：运行时动态创建（简单灵活）

session.configure(
    Session.Config(context).apply {
        // 创建新的空数据库
        val database = AugmentedImageDatabase(session)

        // 添加图像（可选：指定物理宽度，单位米）
        database.addImage(
            imageName = "poster_movie",
            bitmap = yourBitmap,
            widthInMeters = 0.5f  // 海报实际宽度（米）——有助于精确估计距离
        )

        // 放入 Session 配置
        setAugmentedImageDatabase(database)
    }
)

方式二：离线预编译（性能更好）

用 arcoreimg 命令行工具编译图像数据库文件，然后打包进 APK：

# 在 Android SDK 目录中找到 arcoreimg
# 编译单个图像
arcoreimg buildimgdb \
    --input_images_directory ./images/ \
    --output_db_path ./assets/img_database.bin

然后在应用中加载：

// 从 assets 加载预编译数据库
val inputStream = context.assets.open("img_database.bin")
val database = AugmentedImageDatabase.deserialize(inputStream)

session.configure(
    Session.Config(context).apply {
        setAugmentedImageDatabase(database)
    }
)

预编译数据库的优势：启动更快、内存更省、特征点提取质量更高。

数据库容量限制

步骤三：运行时检测与触发

session.update(frame)

// 获取当前所有检测到的 Augmented Images
val detectedImages = session.getAllTrackables<AugmentedImage>()

detectedImages.forEach { image ->
    when (image.trackingState) {
        TrackingState.TRACKING -> {
            // 图片稳定跟踪中，叠加 AR 内容
            // image.name 返回的是数据库中注册的图像名
            when (image.name) {
                "poster_movie" -> {
                    // 在海报位置弹出角色动画
                    placeCharacterAnimation(image.centerPose)
                }
                "product_box" -> {
                    // 在包装盒上叠加 3D 模型
                    place3DModel(image.centerPose)
                }
            }

            // image 提供了：
            // image.centerPose: 中心位置和朝向
            // image.extent: 图像的实际物理尺寸 [width, height]
            // image.trackingMethod: 检测方式（IMAGE_TRACKING / FULL_TRACKING）
        }
        TrackingState.PAUSED -> {
            // 暂时丢失（图像被遮挡或移出视野）
        }
        TrackingState.STOPPED -> {
            // 彻底丢失，可以清理相关资源
        }
    }
}

移动图像跟踪

ARCore 还支持跟踪移动的图像（比如公交车身上的广告、用户手中挥动的海报）——即使图像移出视野后再回来也能继续跟踪。这由 ARCore 自动处理，开发者不需要额外配置。

Unity AR Foundation 中的用法

using UnityEngine.XR.ARFoundation;
using UnityEngine.XR.ARSubsystems;

public class ImageTrackingExample : MonoBehaviour
{
    public ARTrackedImageManager trackedImageManager;
    public GameObject prefab;

    void OnEnable()
    {
        trackedImageManager.trackedImagesChanged += OnTrackedImagesChanged;
    }

    void OnDisable()
    {
        trackedImageManager.trackedImagesChanged -= OnTrackedImagesChanged;
    }

    void OnTrackedImagesChanged(ARTrackedImagesChangedEventArgs args)
    {
        foreach (var image in args.added)
        {
            // 首次检测到该图像
            var placed = Instantiate(prefab, image.transform.position, image.transform.rotation);
            placed.transform.SetParent(image.transform);
        }

        foreach (var image in args.updated)
        {
            // 图像位置/姿态更新（移动跟踪时）
        }

        foreach (var image in args.removed)
        {
            // 图像移出视野
        }
    }
}

Unity 中图像数据库在 XR → AR Settings → ARCore → Augmented Image Database 中配置，可以直接拖入图片。

性能与精度注意

建议

• 分批加载：如果有大量目标图像，根据用户当前位置或场景只加载相关的子集
• 尺寸校准：尽量在 addImage() 时指定真实物理尺寸，帮助 ARCore 更精确估计距离
• 降级方案：检测失败时给用户提示（"请把海报放正、光线充足"），而不是默默无反应

与 Vuforia 的对比

推荐策略：如果你的识别需求是平面图像触发，Augmented Images 足够用且免费。如果需要高精度 3D 物体识别或云端识别，可以考虑 Vuforia + ARCore 组合。