概要
旅行先でメニューや案内板を撮影すると、Caplate が OCR × LLM で文字を抽出し、元のレイアウトをそっくり HTML で再構成。翻訳結果をタップすれば「指さし」モードで原文と訳文を大きく表示でき、店員や現地の人とそのままコミュニケーションできます。複数枚をグループ化してスライド表示すれば、長いメニューや乗換案内も一気に整理。全機能はオフライン PWA 内で完結し、APIキーも端末内保存。「見る・読む・伝える」をワンストップで叶える“旅の言語レンズ” です。 4️⃣ 主な機能 📸 グループ撮影：連続撮影を1グループにまとめて自動整理 🖼 レイアウト再現：メニュー／看板／地図などをHTMLで原寸復元 🌐 瞬間翻訳：120以上の言語ペアを Gemini Vision API で処理 👉 指さしモード：タップした項目を拡大・回転表示し対面会話に最適 🚪 完全ローカル PWA：通信制限のある海外でもオフライン動作 5️⃣ 使い方（3ステップ） 撮る：カメラでメニューや案内図を連続撮影 見る：スライドビューで訳文／原文を切り替え確認 伝える：指さしモードで店員さんに画面を見せてオーダー完了 6️⃣ 想定ユーザー 海外旅行者・デジタルノマド 多言語メニューを扱う飲食店スタッフ 留学・出張で現地言語が不安な方 ===== こんにちは、Caplate 👋 開発者のmotaです。 「スクショ翻訳」ではレイアウトが失われ、どの料理が何か分かりづらい――そんな旅行あるあるを解消したくて、“空間翻訳” コンセプトを形にしました。技術的には Vision OCR ➜ レイアウト推定 ➜ LLM翻訳 ➜ Webコンポーネント化 をフロントだけで実装しています。ぜひフィードバックを頂き、次は リアルタイム動画モード や 多人数共同翻訳 に挑戦したいです。Upvote & コメントお待ちしています！ 🙏 ✨