AIは、実在の人物を模倣することでWebサイトを評価し、さらにはそれらに匹敵します。どうやって?

今日、インテリジェントなWebサイト再設計システムであるuKit AIのコンポーネントの1つが公開されています。 Webページの美しさを評価するためのプロトタイプモジュールです。ニューラルネットワークと決定木を組み合わせて、ウェブサイトのデザインに対する一般的な訪問者の反応を模倣します。

将来、このようなモジュールは、uKit AIの重要な要素である生成的デザインアルゴリズムの作業を評価します。このアルゴリズムは、利用可能なコンテンツと非有効なWebサイトとコンバージョン率を高めることを目的としたもの。

現在のWebScore AIバージョンは、Webサイトの外観に関する平均的なインターネットユーザーの見解を反映しています。ただし、他のオプションを作成することもできます。たとえば、ウェブサイトのユーザビリティを評価することは可能です。

システムのトレーニングに使用されるWebサイト。まず、さまざまなプラットフォームとさまざまな言語でさまざまな年に作成された12,000のサイトとオンラインストアを収集しました。主なタスクは、かなり悪いWebサイトから非常に良いWebサイトまで、十分な視覚的グラデーションの例を取得することでした。このようにして、システムが最新のWebにどのような影響を与えるかを示しました。

トレーニングサンプルのいくつかのWebサイト。

各グラデーションはスケールで測定され、このスケールは、私たちがモデル化しようとする意見を持つ普通の人によって理解されることになっています。そこで、サービスで使用される「1〜10」のスケールのアイデアを思いつきました。

WebScore AIに模倣された人々。さまざまなWebサイトからデータセット(トレーニングモデルのデータセット)を作成するには、2つのことが必要でした。

  • ウェブサイトが魅力的かどうかをシステムが判断する標識。
  • 一定の量のウェブサイトのスケールを利用して行われた評価(マーク)。それらはシステムのモデルになります。

誰かがこれらの初期評価を配置する必要があります。このような「教師」または「教師」のグループは、より具体的には、モデルの動作に大きく影響します。

ウェブサイトの評価インターフェース:GitHubからすぐに利用してください。

フォーカスグループを集めるために、1500のWebサイトの例で候補者の予備選択を行いました。ルーチン作業ですが、責任ある作業であり、大きな焦点が必要です。予備選択により、不適切な候補者を排除し、サンプルから「論争の的」な(誰かが1と10と評価する)Webサイトを除外することができました。

最初に、評価方法を実験しました。

たとえば、一度に1つのWebサイトを評価し、次に2つのWebサイトを同時に評価したり、2つのWebサイトのうち最も魅力的なWebサイトを選択したりすることを提案しました。回答者が1つのWebサイトを見て、それを評価するアプローチが最も効果的でした。残りのWebサイトのうち10.000個を評価するために使用しました。

ウェブサイトが美しいかどうかを評価する人。マシンはこれをどのように行いますか?あなたと私は、何かの全体的な美しさについて意見を述べるために一目見ればいいだけです。しかし、私たちは悪魔が細部にあることを知っています。

モデルを導くウェブサイトの視覚的魅力の兆候は、プロジェクト全体の重要な瞬間です。 uKit Webサイトビルダーデザインチームに手を貸してもらいました。彼らの作業は何十万ものWebサイトの基盤として使用され、何百万人もの人々がそれを目にします。一緒に、ウェブサイトのデザインを開発する際に専門家が注意を払う機能の拡張リストをまとめました。そして、最も重要なものだけを残して、それをカットしようとしました。

uKit.com設計チーム。

その結果、125のまったく異なるが重要な基準のチェックリストが15のカテゴリにグループ化されました。たとえば、リストには、一般的な画面への適応、さまざまなフォントサイズ、色の純度、見出しの長さ、ページ全体の画像の割合などがあります。あとは、これらのルールを使用してモデルをトレーニングします。

アルゴリズムを作成します。 「教育モデル」とは正確には何ですか?これは、特定の特性セットに基づいて、選択したWebサイトを評価できるアルゴリズムの構築です。システムの評価と平均的な教師の評価は、最終評価で最小のギャップを共有することが望ましいです。

最も一般的で効果的なアプローチの1つであるため、決定木に対して勾配ブースティング法を使用することにしました。基本的なアルゴリズムを使用して、全体の結果が個別のアルゴリズムの結果を超えるセットを構築します。

さらに、後続の各基本アルゴリズムを追加して、セット全体の回答の品質を改善しようとします。

プロセスを高速化および緩和するために、YandexのCatBoostライブラリを使用しました。これにより、いわゆる「忘却型決定木」で勾配ベースのブースターを構築でき、モデルの最初から適切なトレーニング機能と、予測の提供への迅速な移行(推定) )新しいオブジェクト。

ニューラルネットワークの追加。基本的なアルゴリズムの準備ができたら、実験を行うことにしました。ニューラルネットワークを追加すると、結果が改善されるのでしょうか。実際、ウェブサイトとそのデザインを「見る」方法をすでに知っていたので、さらに詳細を明らかにするために使用できる「虫眼鏡」のようなシステムをシステムに提供することにしました。

最も人気のあるネットワークの1つであるresnet50を選択しました。これは、高度な機能を抽出するための優れたアルゴリズムとして知られています。そして、ウェブサイト評価のために1000個の追加属性を取得する方法を学びました。その結果、システムは合計1125個の機能によってURLを特徴付け、10ポイントのスケールでウェブサイトの「場所」を見つけます。このプロセスには数十秒かかります。そのため、評価の質を同じレベルに保ちながら、標識の数を減らしてモデルを高速化することを検討します。

最初の結果。この方法でトレーニングされたモデルは、個々の「教師」の推定と比較して3倍の正確な推定を行うことができます。

フォーカスグループの推定値がニューラルネットワークの推定値よりも平均値と大きく異なるため、モデルが最初の教師を上回ったと言えます。次に、さらなるトレーニングのためにアルゴリズムをネットワークに配置します。そして、あなたもその教師になることができます。