LFM2.5-VL-Extract

1 Contexte : Liquid AI en ce moment

Liquid AI enchaîne les publications depuis quelques temps. Fin mai, ils ont sorti LFM2.5-8B-A1B, un modèle MoE (Mixture of Experts) à 8.3B paramètres totaux mais seulement 1.5B actifs par token, optimisé pour le tool calling et l'agentic work sur matériel consumer. C'est dans la même lignée que les précédents LFM2 et LFM2.5, tous conçus pour le déploiement embarqué et edge.

Avec ces nouveaux modèles Extract, Liquid AI pousse encore plus loin la logique : au lieu de produire du texte libre à parser ensuite, les modèles retournent directement un JSON structuré, défini par l'utilisateur via un schéma YAML.

2 Les deux modèles

Les deux partagent le même mécanisme : vous définissez les champs à extraire dans un schéma YAML au prompt système, le modèle analyse l'image et retourne un objet JSON strictement conforme. Support des énumérations (valeurs prédéfinies) inclus pour un contrôle maximal.

3 Comment ça marche

wood_color: The overall coloration of the wood surface
wood_texture: The tactile quality of the wood surface
wood_pattern: The pattern types visible on the wood surface

{
  "wood_color": "light tan to beige with darker brown streaks",
  "wood_texture": "smooth with visible grain patterns",
  "wood_pattern": "wavy, linear, irregular"
}

Avec énumérations possibles :

wood_texture: The tactile quality of the wood surface,
  select from smooth, rough, or grainy

Architecture technique

• Encoder vision : SigLIP2 (~400M pour 1.6B, ~100M pour 450M)
• Backbone : hybrid conv+attention
• Précision : bfloat16
• Entrée : image unique, résolution dynamique
• Décodage recommandé : greedy (temperature=0)

4 Performances

Évaluation sur un benchmark de 2 000 triplets (image, schéma, JSON), labels générés par un ensemble de modèles multimodaux frontier. Trois métriques :

• JSON Validity : % de JSON strictement parseable
• F1 Score : correspondance des noms de champs (macro-avg)
• VLM Judge Score : qualité des valeurs jugées par Qwen3.5-35B-A3B

LFM2.5-VL-1.6B-Extract vs concurrents

LFM2.5-VL-450M-Extract vs concurrents

Point clé : le variant -Extract surpasse largement la version non-Extract de base (ex: 99.6 vs 91.8 en JSON Validity pour le 1.6B), prouvant que l'optimisation pour l'extraction structurée fait une différence massive.

5 Exemple d'utilisation

from transformers import AutoProcessor, AutoModelForImageTextToText
from transformers.image_utils import load_image

model_id = "LiquidAI/LFM2.5-VL-1.6B-Extract"

model = AutoModelForImageTextToText.from_pretrained(
    model_id, device_map="auto", dtype="bfloat16",
    trust_remote_code=True,
)
processor = AutoProcessor.from_pretrained(model_id, trust_remote_code=True)

image = load_image("dashboard.jpg")

fields_yaml = """
clock_time: The time shown on the dashboard clock
ambient_temp: The ambient temperature reading
fuel_level: The current fuel gauge level
"""

system_prompt = f"""Extract the following from the image: {fields_yaml}
Respond with only a JSON object. Do not include any text outside the JSON."""

conversation = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": [{"type": "image", "image": image}]},
]

inputs = processor.apply_chat_template(
    conversation, add_generation_prompt=True,
    return_tensors="pt", return_dict=True, tokenize=True,
).to(model.device)

outputs = model.generate(**inputs, max_new_tokens=512, do_sample=False)
response = processor.batch_decode(
    outputs[:, inputs["input_ids"].shape[1]:],
    skip_special_tokens=True,
)[0]

print(response)  # {"clock_time": "14:32", "ambient_temp": "22°C", "fuel_level": "67%"}

6 Pistes d'utilisation

7 Sources