エンジニアが丸1日かける技術比較を、AIが5分で終わらせた話

正直に言う。技術選定、しんどくないですか？

あれは確か、新しいプロジェクトのバックエンドフレームワークを決めなければならなかった日のことです。

FastAPIにするか、それとも別の選択肢があるのか。個人開発でも、チームでの学校プロジェクトでも、こういう場面は必ずやってくる。「とりあえず比較してみよう」と決意した瞬間から、終わりの見えない調査が始まる。

Googleを開く。英語の技術ブログを読む。Redditのスレッドを漁る。GitHubのスターの推移を確認する。Zennの記事を読む。気づけば夕方になっていて、手元にあるのはごちゃごちゃしたメモと、半分しか埋まっていないスプレッドシート。

「自分が本当にやるべき作業は、これじゃないはずだ」

たぶん、同じことを感じた人がこの記事を読んでいると思う。

問題の本質は「情報の収集と整理」に時間を食われること

技術選定における問題を整理すると、こうなる。

• 公式ドキュメントはポジショントーク満載で、弱点を正直に書かない
• ChatGPTに聞いても、知識のカットオフがあって最新トレンドが反映されない
• Webで調べると、情報の鮮度とノイズのフィルタリングに膨大な時間がかかる
• 最終的なレポートにまとめるのが、また一仕事

要するに、「判断するための材料集め」に、時間が根こそぎ持っていかれている。

判断自体は10分もあればできる。なのに材料集めに8時間かかる。どう考えてもおかしくないですか。

そこで作ったのが「AI Tech-Stack Insight Evaluator」

Difyのワークフロー・テンプレートとして作りました。Difyマーケットプレイスにも公式掲載されています。

使い方は驚くほどシンプルで、入力欄は3つだけです。

入力項目	入力例
検証対象（技術 / OSS / 製品名）	FastAPI
カテゴリ / 技術領域	Webサーバー
比較対象・やりたいこと（任意）	Quart と比較したい

この3つを入れて実行ボタンを押すだけ。

数分後に出てくるのは、ベテランエンジニアが丸1日かけて作るような、競合比較と言及頻度分析を含む構造化レポートです。

裏側で何が起きているか、正直に解説する

「それ、ただChatGPTに聞いてるだけじゃないの？」と思った人のために、ワークフローの中身をちゃんと説明します。

ステップ1: LLMが最適な検索クエリを自動生成

入力された技術名・カテゴリ・比較対象をもとに、Geminiが最適なGoogle検索クエリを複数構築します。

ポイントは、「比較対象が指定されている場合はその直接比較クエリを生成し、指定がない場合は業界のデファクトスタンダードを自動推測してクエリを作る」という設計になっていること。単純な検索ではなく、文脈を読んだクエリ設計が行われています。

ステップ2: Bright Data の LLM Scraper でWeb上のリアルな評価を収集

ここが、このワークフローのコアです。

Bright Data のWeb Scraper API（LLM Scraper）に検索クエリを投げると、Bright DataのプラットフォームがChatGPTを使ってWebページを読み込み、必要な情報だけを構造化データとして抽出してくれます。

処理は非同期（ポーリング方式）で進みます。Difyはリクエストを投げたあと、定期的に /datasets/v3/progress エンドポイントを叩いてデータの完成を待つループを回す仕組みになっています。

[Dify] -> Bright Data APIへリクエスト送信
         ↓
[Loop] -> 処理完了？ -> NO -> 一定時間待機 -> 再確認
         ↓ YES
[Dify] -> 構造化データを受信

ステップ3: Pythonコードで競合キーワードを正確に抽出・集計

受け取ったテキストデータに対し、まずGeminiが競合サービス名・OSS名・代替技術名をJSON配列として抽出します。

このとき、API、JSON、HTTP といった一般的なIT用語は除外するよう厳密にプロンプト設計されています。「それって普通の単語じゃん」が競合リストに混入しないようにするための工夫です。

次に、Pythonコードが出現頻度を集計します。

# 各ターゲットの出現回数を正確にカウントし、頻度順にソート
for kw in final_targets:
    escaped_kw = re.escape(kw)
    count = len(re.findall(escaped_kw, merged_text, re.IGNORECASE))
    stats_rows.append((count, f"| **{display_name}** | {count} 回 |"))

stats_rows.sort(key=lambda x: x[0], reverse=True)

出力されるのは、こういう形式の一次集計テーブルです。

### 【Python×AI連携による正確な一次集計結果】

| 解析対象キーワード | 出現回数（言及頻度） |
| :--- | :---: |
| **★ FastAPI (検証対象)** | 312 回 |
| **Flask**               | 187 回 |
| **Django**              | 143 回 |
| **Quart**               |  89 回 |

* 総検証データセット数: 8 件
* 総解析文字数: 42,381 文字

ステップ4: Geminiが最終レポートを生成

全データを受け取ったGeminiが、Markdown形式の技術選定レポートを出力します。ここまで来たらあとは読むだけです。

「OpenAIのAPI代が爆発するのでは？」という疑問に答える

これ、最初に私も気になりました。

「Webページを何十ページも読み込んでChatGPTに食わせたら、トークン課金がとんでもないことにならないか？」と。

答えは、DifyにはOpenAIのAPIキーを一切設定しません。

構造的にはこうなっています。

• Dify側 → 無料枠・低コストで使えるGoogle Geminiのみを設定
• Bright Data側 → HTMLの読み込みから構造化データ抽出まで、重い処理はすべてBright Dataのプラットフォーム内で完結

ポイントは、このワークフローがOpenAIのAPIを直接叩いていないことです。Bright DataのLLM Scraperはスクレイピングとデータ構造化をまとめて1リクエストで処理してくれるため、自分でOpenAI APIを呼び出すよりもトークン消費が大幅に抑えられます。重い処理をBright Data側に丸投げしているイメージです。

高精度と低コストを両立できるのは、この役割分担の設計があるからです。

セットアップ手順

コード不要で、3ステップで動きます。

1. Dify環境を用意する

Dify Cloudの無料プランでOKです。Google GeminiのAPIキーを取得して設定します。

2. Bright DataでLLM ScraperのZoneを作成する

Bright Dataへの登録はこちら。登録は無料で、最初にお試し用のクレジットももらえるので、まず無料で動作確認できます。登録後、コンソールでLLM Scraper用のZoneを作成してAPIキーを取得するだけです。

3. DifyにAPIキーを登録して、テンプレートをインポートする

Difyの環境変数 BRIGHT_DATA_API_KEY に取得したキーを登録。マーケットプレイスからこのテンプレートをインポートすれば、即日使えます。

こんな使い方を想定しています

• 個人開発者: 次のプロジェクトで使う技術を決めるときの比較材料に
• チーム開発: メンバーへの技術提案をデータで裏付けたいとき
• 学習目的: 「この技術、今どんな評価されてるの？」を素早く把握したいとき
• 非エンジニア: 競合プロダクトや話題のツールのポジションを客観的に知りたいとき

入力欄に製品名を入れるだけで、エンジニアが読んでも納得感のあるレポートが出てきます。

おわりに

「情報収集と整理」は、AIが一番得意な仕事です。そして「その情報をもとに意思決定する」のは、今のところ人間の仕事です。

この棲み分けを意識するだけで、「調査で溶けていた時間」を本当にやりたいことに使えるようになります。一度体験すると、もとには戻れないくらい快適です。

テンプレートが公開されたら改めて告知するので、ストックしてお待ちください。それまでの間、Bright Dataのアカウントだけ先に作っておくとスムーズですよ。

Bright Dataの登録（無料・お試しクレジット付き） → https://get.brightdata.com/mnjx7e

技術選定に悩む時間が、少しでも減れば幸いです。