マルチによる一般化可能な 3D プリンティング エラーの検出と修正

Nature Communications volume 13、記事番号: 4654 (2022) この記事を引用

11,000 アクセス

3 引用

188 オルトメトリック

メトリクスの詳細

材料の押出成形は最も広く普及している積層造形法ですが、最終用途製品への応用はエラーに対する脆弱性により制限されます。 人間はエラーを検出できますが、継続的な監視やリアルタイムの修正を行うことはできません。 既存の自動化されたアプローチは、さまざまな部品、材料、印刷システムにわたって一般化できません。 最適な印刷パラメータからの偏差によって自動的にラベル付けされた画像を使用して、マルチヘッド ニューラル ネットワークをトレーニングします。 データ取得とラベル付けの自動化により、印刷パラメータでラベル付けされた 192 個の異なる部品からの 120 万枚の画像を含む、大規模で多様な押し出し 3D プリンティング データセットの生成が可能になります。 このようにトレーニングされたニューラル ネットワークと制御ループにより、さまざまなエラーをリアルタイムで検出し、迅速に修正できます。これは、さまざまな 2D および 3D の形状、材料、プリンター、ツールパス、さらには押し出し方法にわたって効果的です。 さらに、ネットワークの予測を視覚化して、ネットワークがどのように意思決定を行うかを明らかにします。

材料押出成形は、比較的低コスト、後処理の少なさ、多くの材料との互換性、および複数材料の機能などの理由から、最も一般的な積層造形 (AM) 方法です1。 これらにより、押出 AM はヘルスケア 3、医療機器 4、航空宇宙 5、ロボット工学 6 などの多くの分野 2 で有望となっています。 しかし、これらのアプリケーションの多くが研究段階にある主な理由は、押出 AM がさまざまな製造エラーに対して脆弱であることです。 これらの範囲は、小規模な寸法の不正確さや機械的弱点から、全体的な構築の失敗に至るまで多岐にわたります1、7、8、9、10。 エラーに対処するには、通常、熟練した作業者が AM プロセスを観察し、エラーを認識し、印刷を停止して部品を取り外し、新しい部品のパラメータを適切に調整する必要があります。 新しい材料やプリンターを使用する場合、作業者が新しいセットアップの経験を積むにつれて、このプロセスにはさらに時間がかかります11、12。 それでも、特に作業者が各プロセスを継続的に観察していない場合には、エラーが見逃される可能性があります。 複数のプリンターが同時に稼働している場合や、新型コロナウイルス感染症のパンデミックで浮き彫りになっているように、社会的距離や病気により人員が限られている場合、これは困難になる可能性があります。 これは、材料、エネルギー、時間のコストがかかるだけでなく、最終用途製品、特に医療機器などの安全性が重要な製品における AM 部品の使用と、AM ベースのサプライ チェーンの回復力の両方を制限します。 AM が生体材料や機能材料、複雑な多材料格子構造、遠隔地や屋外の建設現場、人体などの困難な環境に拡大するにつれて、これらの課題はさらに差し迫ったものになるでしょう。

これにより、押出 AM13 のモニタリングに関する多様で興味深い研究が行われるようになりました。 電流 14、15、慣性 16、17、および音響 18、19、20、21、22 センサーは、押出 AM の監視によく使用されてきました。 これらのアプローチにより、印刷中の特定の、通常は大規模なエラー モダリティを確実に検出できるようになりますが、多くのエラーは検出できないままです。 これらの方法論は、センサーやアンプのコストが高額であることが多いため、ほとんどの 3D プリンターでもまだ使用されていません。 さらに、オンラインでのフィードバックや修正を可能にするほどデータが豊富ではありません。

カメラベースのアプローチは多用途でデータが豊富な可能性があります。 プリンタのフレームに取り付けられた単一のカメラは、トップダウンまたはサイドビューで、従来のコンピュータ ビジョンおよび画像処理技術と組み合わせて、さまざまな押し出し AM エラーを検出するために使用されてきました23,24,25,26,27,28,29。 30、31、32。 このアプローチには、比較的安価で、セットアップが簡単で、多くの場合、製造された部品の多くをいつでもカメラで表示できるという利点があります。 これにより、充填材の変形や材料の「塊」の存在など、多くのエラーを検出できるようになります。 ただし、1 台のカメラを使用すると、製造プロセスに関して得られる情報の量が制限されるため、特定されるエラーの範囲やエラーの種類が制限される可能性があります。 マルチカメラのアプローチは、実装がより高価で複雑ですが、潜在的により優れた機能を備えています。 部品の複数のビュー、または赤外線カメラの追加により、単一の視点からは明らかではない不完全なプリントなどの欠陥が見える可能性があります33、34、35。 たとえば、マルチカメラ 3D 構造化光スキャンとデジタル画像相関によって生成された印刷部品の 3D 再構成は、3D デジタル部品モデルと比較して、寸法の不正確さを検出できます35、36、37、38、39、40、41、42。 、43。 ただし、これらのより高度なシステムは高価であることが多く、照明条件や部品の表面特性に敏感で、スキャン時間と計算により遅くなり、正確な位置決めとキャリブレーションが必要で、特定のスキャナ解像度の制限を確認できるほど大きなエラーの検出に限定されます。

上記のような、フレームに取り付けられた単一カメラおよびマルチカメラのアプローチでも、プリント ヘッドが視界を遮る可能性があるため、ノズルから塗布される材料を見ることが困難になることがよくあります。 通常、層のイメージングを可能にするためにプリントを一時停止する必要がありますが、これによりリアルタイムの補正が妨げられ、生産速度が低下し、一貫性のない押し出しによるエラーが発生する可能性があります。 これにより、単一または複数のカメラをノズルまたは押出機に取り付ける作業が促進され、進行中の印刷プロセスを確認でき、リアルタイムのフィードバックで印刷中の押し出しの過剰または不足を修正したり、押し出された材料の形状を推定したりできるようになりました44,45。ノズルから４６． 従来のコンピュータ ビジョン アプローチは、キャ​​リブレーション済みの 3D プリンティング システムの特定の部品の特定のエラーを明示的にターゲットにする場合に非常に有望です。 ただし、さまざまな部品、プリンター、材料、セットアップに一般化できる特徴抽出アルゴリズムを手作りするのは非常に困難です。 したがって、ほとんどの例では、プリンタ、部品の形状、材料、および印刷条件の単一の組み合わせのみが示されており、複数の部品または設定におけるエラーの修正を示すものはありません。

機械学習、特に深層学習技術は、複雑な表現を他のより単純な表現 48 で表現することにより、視覚 47 を含む多くのアプリケーションで最先端のパフォーマンスを達成してきました。 これにより、押出 AM エラー検出における機械学習のいくつかの興味深いデモンストレーションが最近行われています 49,50,51,52,53,54,55,56。 ただし、既存の研究では単一の部分でのエラー検出のみが実証されているため、他の部分、特にトレーニング データに見られない部分に対する既存の手法の有効性は不明です。 さらに、既存のアプローチのほとんどは、流量不良 49、層間欠陥 50、反り変形 53、および上面の大きな欠陥 52、54 という単一のエラー モダリティのみを検出できます。 多くの場合、既存のメソッドでは、エラー検出のための比較を行うために、オブジェクトがすでに正常に印刷されている必要があります51、54、55。 これはカスタム パーツの場合に特に制限となる可能性があります。 機械学習は、手作りの特徴よりも堅牢で新しい材料、形状、プリンターに汎用化できる可能性があるため、エラー検出において最も魅力的です。 ただし、一般化可能なエラー特徴を発見する機械学習アルゴリズムの可能性は、ほとんど解明されていないままです。

エラー検出が 3D プリンティングの無駄を削減し、持続可能性、コスト、信頼性を向上させる上で最大限の可能性を発揮するには、エラー検出をエラー修正と組み合わせる必要があります。 同じオブジェクトの後続の印刷の間で、ある種のエラーを検出して修正する作業が行われてきました51、55。 ただし、データセットを構築するには、そのオブジェクトのエラー修正を可能にするために、そのオブジェクトの多くのプリントが必要です。 さらに、これらの方法はリアルタイム修正ができないため、エラーが検出された場合、その部分を回復することができません。 以前の研究では、押出 AM49 のリアルタイムの補正と制御が検討されました。 ただし、この実装では流量印刷パラメータの修正のみを示し、システムのトレーニングとテストの両方に使用される 1 つのジオメトリのみを示します。 また、エラーの検出と修正の間には大幅な遅延があります。 エラー検出の場合と同様、目に見えないオブジェクトにおける既存のエラー訂正方法のパフォーマンスは不明瞭であり、そのため産業上の利用可能性が制限されています。

ここでは、安価なウェブカメラと単一のマルチヘッドのディープ畳み込みニューラル ネットワークを使用して、新しい材料のエラー検出、修正、パラメーター検出機能を備えた押し出しベースの 3D プリンターを強化する、簡単に導入可能な方法を報告します (図 1)。 これは、学習用 3D プリンタを接続して制御する協調型自律押し出しネットワークである CAXTON の開発を通じてこの研究で実現され、フリート データ収集と協調的なエンドツーエンド学習を可能にします。 ネットワーク内の各プリンタは、部品除去システムの助けを借りて、継続的に印刷し、データを収集できます。 アルゴリズムをトレーニングするために人間によるエラーのラベル付けがよく使用される既存の深層学習 AM モニタリング作業とは異なり、CAXTON は最適な印刷パラメータからの逸脱という観点からエラーを自動的にラベル付けします。 このように CAXTON は、画像ごとに印刷パラメータが最適値からどれだけ離れているかを知っているため、さまざまなエラーを特定する方法だけでなく、修正する方法も知っているというユニークな点があります。 このトレーニング データの自律生成により、より大規模で多様なデータセットの作成が可能になり、精度と汎用性が向上します。 最終的なシステムは、複数のパラメータを同時にリアルタイムで検出および修正できます。 マルチヘッド ニューラル ネットワークは、単一の共有特徴抽出バックボーンにより製造パラメータ間の相互作用を自己学習でき、システムが同じエラーを解決するための複数のソリューションを認識できるようになります。 この作業の一環として、押出 AM 用の大規模な光学的現場プロセス監視データセットが厳選され、リリースされる予定です。 これには、さまざまな 2D および 3D ジオメトリの 192 枚のプリントからのそれぞれの印刷パラメータがラベル付けされた、プリンタ ノズルからの材料堆積の 100 万枚を超えるサンプル画像が含まれています。 このシステムは拡張性が高く、一般的に使用されるファームウェアを使用しており、より大規模で多様な将来のデータセットに対応するためのプリンターをリモートで追加することで拡張できます。 熱可塑性ポリ乳酸の押出成形品のみを対象として訓練されているにもかかわらず、これらの機能は、これまで見たことのないプリンタ、カメラの位置、材料、およびインクの直接書き込みの押出に一般化されています。 また、ツールパスの分割や比例パラメータ更新など、現在公開されているリアルタイム 3D プリンティングのエラー修正作業と比較して修正速度を 1 桁向上させるいくつかの革新性についても説明します。 これは、ネットワーク接続、標準的な消費者向け Web カメラ、および低コストのシングルボード コンピュータ (Raspberry Pi など) のみを必要とする低コストの機器で実現されます。 最後に、ネットワーク内でアテンション レイヤーを使用すると、人間のオペレーターがネットワークがどの機能に焦点を当てているかを解釈できるようになります。 次に、視覚化手法を使用して、トレーニングされたニューラル ネットワークがどのように予測を行うかについて洞察を得ることで、基本的な理解を助け、信頼の構築やトレーサビリティの実現に役立てます。

印刷パラメーターによる画像の自動ラベル付けを使用して、押出 3D プリンターからさまざまなデータセットを収集するためのワークフロー。 b 材料の堆積を監視するためにノズル先端に焦点を合わせたカメラを備えた 8 台の熱可塑性押出 3D プリンター (Creality CR-20 Pro) のフリート。 c ランダムに選択されたスライス パラメータを使用した、単一の入力ジオメトリに対して生成されたツールパスのレンダリング。 d さまざまなパラメータの組み合わせで画像を表示するサンプルプリント中に収集されたデータのスナップショット。 e 既存のモーションシステムを利用したベッドリムーバーとドックの設計と、動作中に撮影された写真。 f CAXTON によって収集された 120 万を超えるサンプルを含む完全なデータセット内の正規化されたパラメーターの分布。

私たちは、溶融堆積モデリング 3D プリンターを使用して、幅広い形状と色に対応する、ポリ乳酸 (PLA) を使用して印刷された部品を含む新しい 3D 印刷データセットを生成し、関連する印刷パラメーターがラベル付けされました。 当社の CAXTON データ生成パイプラインは、STL ファイルの選択からツールパスの計画、データの収集、保存までのプロセス全体を自動化します (図 1a)。 モデル ジオメトリは、オンライン リポジトリ Thingiverse から自動的にダウンロードされます。 その後、ランダムにサンプリングされた設定 (スケール、回転、充填密度、充填パターン、壁の厚さなど) でジオメトリがスライスされます。 生成されたツールパスは、カスタム Python スクリプトによって最大移動量が 2.5 mm になるように変換され、単一のパラメータ セットを実行する過度に長い移動を回避し、ファームウェアの応答時間を短縮します。 印刷中は、0.4 秒ごとに画像がキャプチャされます。 キャプチャされた各画像にはタイムスタンプが付けられ、現在の印刷パラメータ (ホットエンドとベッドの実際の温度と目標温度、流量、横方向の速度、Z オフセット) がラベル付けされます。 これらのパラメータは、ファームウェアからリアルタイムで値を取得するか、G コード コマンドで値を設定することによって正確に把握されます。 さらに、各画像について、各プリンターのノズル先端の座標が保存され、トレーニング中に対象領域の周囲の自動トリミングが可能になります。 150 枚の画像が収集された後、各パラメータの一様分布をサンプリングすることによって、印刷パラメータの新しい組み合わせがプリンタごとに生成されます。 新しいパラメータの組み合わせは、G コード コマンドとしてネットワーク経由で各プリンタに送信され、その後ツールパス変換による遅延を最小限に抑えて実行されます。 実行すると、パラメータ更新プロセスが再度実行される前に、さらに 150 個のラベル付きイメージが収集されます。 これは印刷が終了するまで続き、それぞれが大きく異なる印刷パラメータを持つ一連の画像が生成されます (図 1d)。 各画像に対するこの自動化されたラベル付け手順は、人間によるラベル付けよりも高い解像度を提供します。これは、人間のオペレーターが同じレベルの精度 (たとえば、現在の流量率が 56% であるなど) でパラメータにラベルを付けることができず、また人間が画像にラベルを付けることができないためです。複数の印刷パラメータが相互に強く影響するため、それらの正確な組み合わせ (たとえば、ノズルが高すぎるか、流量が低すぎるか、温度が低すぎるか、またはこれらの重み付けされた組み合わせ)。

最適ではないパラメータの組み合わせをサンプリングするため、一部の印刷は完全に失敗し、ある時点以降、関連するパラメータに関する情報がほとんど提供されなくなります。 このような画像は手動で削除され、1,166,552 個のラベル付き画像 (元の 1,272,273 個の 91.7%) が残ります。 残りのデータセットには、画像に顕著な変化が現れる前の流量などの印刷パラメータを更新する際に見られる応答時間が長いため、ノイズの多いラベルがいくつか含まれています。 応答時間は、コマンド実行遅延と機械的遅延で構成されます。 最初の遅延は、ほとんどの場合、プリンタからパラメータ更新コマンドの確認応答を受信した後に画像をキャプチャするだけで処理されます。 機械的遅延については、データセット内の各パラメーターを最小値から最大値に変更するときの応答時間を決定するために、最悪の場合の実験が実行されました。 変更は主に、更新が適用されてから 6 秒以内に表示されることが判明しており、そのため、パラメーター更新後に 15 枚の画像が削除されます。 これにより、システムが望ましい状態に達したサンプルが 1,072,500 個残ります。 プリンタが G コード コマンドを適切に実行していないことや、サーミスタなどのセンサーの不具合によって引き起こされる非現実的なパラメータの外れ値はフィルタリングされ、991,103 個のサンプルが残ります。 最後に、RGB チャネル全体の平均ピクセル値が 10 未満の非常に暗い画像が削除されます。 これにより、946,283 個のラベル付き画像 (元のデータの 74.4%) からなるクリーンなデータセットが得られます。 現在の連続パラメータ値は、パラメータごとに 3 つのカテゴリ (低、良好、高) に分類されます。 これらのビンの上限と下限は、PLA を使用した AM の経験に基づいて選択されます。 これにより、ニューラル ネットワークが予測するための 81 の異なるクラスの組み合わせが作成されます (4 つのパラメーターに対して 3 つのカテゴリ)。

データ拡張を使用して、フィルタリングされたデータセットのサイズと品質を向上させることで、モデルの過学習を回避し、一般化可能性を向上させます57。 キャプチャされた画像内の堆積材料の位置と形状は、印刷される部品の形状に応じて大きく異なります。 さらに、色、反射率、影はすべて、カメラの位置、素材の選択、プリンターの設計によって異なることがわかりました。 より多様な形状、カメラの位置、マテリアルをシミュレートするために、データセット内の各画像にさまざまなデータ拡張技術が適用されます (図 2e)。 まず、カメラでキャプチャされたフルサイズの画像がランダムにいずれかの方向に最大 10 度回転されます。 次に、マイナー透視変換が 0.1 の確率で適用されます。 次に、データ収集中に保存されたノズル先端の座標を使用して、画像がノズル先端に焦点を当てた 320 × 320 ピクセルの正方形領域に自動的に切り取られます。 回転と透視変換はトリミングの前に適用され、トリミングされた領域のパディングの必要性が実質的になくなります。 次に、320 × 320 画像の 0.9 ～ 1.0 の範囲のランダムな正方形部分がトリミングされ、ディープ ニューラル ネットワークの入力サイズである 224 × 224 ピクセルにサイズ変更されます。 その後、0.5 の確率で画像に水平反転を適用し、画像の明るさ、コントラスト、色相、彩度に ±10% のカラー ジッターを適用します。 この合成データ拡張の使用は、データセット収集中にプリンター上でカメラの位置を変更したり、環境照明条件を変更したりするよりも、時間とリソースの効率が高くなります。 また、サンプル数を増やしてデータセットのサイズを大きくするのではなく、トレーニング中の実行時に拡張機能を機能的に適用して、より小さな生のデータセットを使用することもできます。 最後に、変換された画像内のチャネルは、フィルター処理されたデータセット内のすべての画像の各チャネルのピクセル平均と標準偏差を使用して正規化されます。

a マルチヘッド ネットワーク アーキテクチャは、単一の共有アテンション 56 ネットワーク 58 バックボーンで構成されます。このバックボーンには、スタックされたアテンション モジュールと残差ブロックが含まれており、その後に、平坦化層の後にパラメータごとに 1 つずつ、完全に接続された 4 つの個別の出力ヘッドが続きます。 これらの各ヘッドは、関連するパラメータを低、良好、高のいずれかに分類します。 アテンション モジュールは、残差ブロックを含むトランク ブランチと、ダウンサンプリングおよびアップサンプリングを実行するマスク ブランチで構成されます。 b 指定された入力画像に対する各モジュールのアテンション マスクの例。 各モジュールの出力はマスクの多くのチャネルで構成されます。ここでは 1 つのサンプルのみを示します。 マスクは、モジュール 2 の出力で示される最新の押し出しなど、ネットワークが焦点を当てている領域を示します。 c 各パラメーターのテスト データセットでの 3 段階のトレーニング後の最終ネットワークの混同行列。 d 単層、フル、バランスの 3 つのデータセット上で、指数移動平均で平滑化された 3 つのシードにわたるネットワークのトレーニングから得られたトレーニングと検証の精度プロット。 e モデルをより一般化できるようにするためにトレーニング中に使用されるデータ拡張の例。

入力画像からの押出プロセスにおける現在の印刷パラメータの正確な予測は、単一のバックボーンとパラメータごとに 1 つずつの 4 つの出力ヘッドを備えたマルチヘッドディープ残留アテンション ネットワーク 58 を使用して実現されます。 深層学習では、単一ラベル分類が非常に一般的であり、入力を N 個の可能なクラスの 1 つとして分類するために必要な出力ヘッドは 1 つだけです。 ただし、この作業では、入力を 4 つのラベル (流量、横速度、Z オフセット、ホットエンド温度) ごとに 3 つの可能なクラス (低、良好、高) のいずれかに分類するためのマルチラベル分類が必要です。 これを達成するために、特徴抽出のために共有バックボーンとともに複数の出力ヘッドが使用されます。 共有バックボーンの重みは、トレーニングのバックワード パス中に、個別の出力ヘッドのそれぞれからの損失の合計によって更新されます。 これにより、バックボーンは、各パラメーター間の関係と、パラメーター間で共有される特定の機能の重要性についての独自の解釈を学習できるようになります。 別のアプローチは、それぞれが 1 つの出力ヘッドを備えた複数の別個のネットワークを使用し、問題を 4 つの別個の単一ラベル分類問題として扱うことです。 ただし、これでは各パラメータを個別に見るため、相互作用や関係を学習できません。 さらに、4 つの個別のネットワーク (1 つではなく) を独立してトレーニングする必要があり、運用中にこれらのネットワークを並行して実行する必要があるため、トレーニング中および実際の展開では大幅に多くのコンピューティングが必要になります。

ネットワーク内でアテンションを使用すると、アプリケーションで同じパフォーマンスを達成するために必要なネットワーク パラメータの数が減り、同時にネットワークがノイズの多いラベルに対してより堅牢になる可能性があります。 アテンション マップは、エラーの検査や予測の説明にも役立ちます。 単一のバックボーンにより、各パラメータの特徴抽出を共有できるため、個別のネットワークを使用する場合と比較して推論時間が短縮されます。 さらに、単一のネットワークで異なるパラメータ間の相互作用をモデル化できます。 各ヘッドには、パラメーターを低い、良い、または高いとして分類するための 3 つの出力ニューロンがあります。 この構造により、ネットワークは単一の RGB 入力画像から 1 回の順方向パスで流​​量、横速度、Z オフセット、ホットエンド温度の状態を同時に予測します (図 2a)。 このマルチヘッド構造と複数のパラメータの知識は、個々のパラメータの予測の向上につながる可能性があります。 興味深いことに、流量クラスを予測するためにのみトレーニングされたネットワークは、4 つのパラメーターすべての知識でトレーニングされたネットワークよりも流量の分類精度が低いことがわかりました。 ただし、この結果と、追加のコンテキストを使用してネットワーク パフォーマンスを向上できるかどうかを調べるには、さらなる実験が必要です。

共有ネットワーク バックボーンは 3 つのアテンション モジュールと 6 つの残差ブロックで構成され、アテンション 56 モデル 58 に基づいています。 アテンション モジュールは、マスクとトランクの 2 つのブランチで構成されます。 トランク ブランチは、従来のネットワークの特徴処理を実行し、残差ブロックから構築されます。 マスク ブランチは、モジュールの出力特徴に重み付けするためのアテンション マスクを学習するために、ダウン サンプリングとそれに続くアップサンプリングを実行します。 このマスクは、推論のための前方パス中に使用できるだけでなく、バ​​ックプロパゲーション中の後方パスのマスクとしても使用できます。 これは、このネットワーク アーキテクチャを選択した理由の 1 つであり、これらのマスク ブランチによってネットワークがノイズの多いラベル (印刷中のパラメーターの変更や微妙な不一致によってデータセットに含まれる) に対してより堅牢になると考えられているためです。 これらのブロックの後、ネットワーク バックボーンは、個別の 4 つのヘッドのそれぞれにリンクする完全に接続された層にフラット化されます。 ヘッドはネットワークの個別の出力である必要があります。完全な予測ごとに各ヘッドが常に個別の単一の予測を持つ必要があるため、この作業ではマルチラベル分類が必要です。 別のアプローチは、4 つの個別の完全なニューラル ネットワークを使用することです。 ただし、これでは、製造パラメータ間の関係をモデル化できないことに加えて、計算量とメモリの消費量が大幅に増加します。 この研究で使用されているマルチヘッド共有バックボーン アプローチにより、入力画像の次元を各製造パラメータの損失の合計から学習した潜在空間表現に圧縮するための特徴抽出器としてバックボーンが使用されます。 各ヘッドは、この潜在空間からパラメータ レベルの分類へのマッピングとして機能すると考えることができます。

各段階でネットワークがどの機能に焦点を当てているかを視覚化するために、各モジュールが作成された後のアテンション マップの画像が作成されました (図 2b)。 ここでは、各モジュールからの同じアテンション マスクが 3 つの入力画像のそれぞれに適用され、対象外の領域が暗くなります (注: 各モジュールには多くの異なるアテンション マップが含まれているため、これらのマスクは例示的なものです)。 ネットワークは、注目モジュール 1 のサンプル マスク出力の印刷領域に焦点を当て、次にモジュール 2 の最新の押し出しのみに焦点を当てているように見えます。モジュール 3 は、前のものに逆を適用し、ノズル先端以外のすべてに焦点を当てます。

トレーニング プロセスを 3 つの個別の段階に分割し、転移学習を使用することが最も堅牢であることがわかりました。 各段階で、3 つの異なるシードネットワークがトレーニングされました。 最初の段階では、100% の埋め込みを含む最初のレイヤーの画像のみを含むサブデータセットでネットワークがトレーニングされます。 これらのプリントでは各パラメーターの特徴がより明確に表示され、このサブセットを使用して最初にトレーニングすることで、ネットワークは重要な特徴を検出する方法をより迅速に学習できます。 この分離により、単一レイヤーの特徴がより学習可能になり、その後完全なデータセットで調整できるため、学習プロセスが高速化され、ネットワークが複雑な 3D ジオメトリに一般化できることがわかりました。 最良のシードでは、トレーニング精度 98.1% と検証精度 96.6% が達成されました。 次に、転移学習アプローチを使用して、すべての 3D ジオメトリの画像を含む完全なデータセットで最適なシードのモデルを再トレーニングしました。 これを 3 回実行し、最良のシードでは、トレーニング精度と検証精度がそれぞれ 91.1% と 85.4% に達しました。 ニューラル ネットワークは、与えられたデータに固有のバイアスを学習できます。 したがって、完全なデータセットの不均衡のため (たとえば、ノズルがプリント ベッドに衝突するため、Z オフセットには高すぎる値よりも低すぎる値の方が多くなる可能性があります)、最後に転移学習が使用されました。 ただし、今回は、4 つのヘッドのそれぞれに完全に接続された最後の層のみが、可能な 81 の組み合わせのそれぞれについて同数のサンプルを含むバランスの取れたサブデータセットでトレーニングされました (4 つのパラメーター。それぞれのパラメーターは、低い値、良い値の場合があります)。または高い）。 特徴抽出のためのネットワーク バックボーンの重みが凍結されました。 これにより、トレーニング精度 89.2%、検証 90.2% が達成されました。 次に、最終的にトレーニングされたネットワークがテスト セットでテストされ、全体の精度は 84.3% に達しました。 各パラメータについて、テスト セットの分類精度は、流量 87.1%、横速度 86.4%、Z オフセット 85.5%、ホットエンド温度 78.3% でした。 トレーニングプロセスの詳細については、補足図S1を参照してください。 多様な多層テスト セットを考慮すると、このタスクは熟練した人間のオペレータにとって非常に困難であるだけでなく、この精度では、エラー修正におけるネットワークの有効性が過小評価されます。 パラメータは相互に依存しているため、多くのエラー タイプでは、パラメータ変更の複数の組み合わせによって修正できる可能性があります。 たとえば、ノズルがプリント ベッドから遠い場合に Z オフセットが大きいと、流量が低いと誤認されやすく (どちらも押し出し中のように見えます)、いずれかのパラメータを変更することで修正できます。 ただし、トレーニング データ内のラベルが与えられた場合、精度の計算ではこれらのパラメーターの組み合わせのうち 1 つだけが「正しい」とカウントされます。

印刷エラーを修正し、新しい材料に最適なパラメータを発見するネットワークの能力をテストするために、ランダムな 3D モデルが再度ダウンロードされましたが、今回は修正をテストするためでした。 各 3D モデルは、均一な分布からランダムにサンプリングすることにより、スケール、回転、充填密度、周囲の数、固体層の数を異なる設定でスライスしました。 インフィル パターンは、一般的なパターンの指定されたリストからランダムに選択されました。 その後、生成されたツールパスのセットは、カスタム スクリプトを使用して最大移動量が 1 mm になるように変換され、印刷中のパラメータ変更に対するファームウェアの応答時間を大幅に高速化すると同時に、印刷ファイルのサイズを管理しやすくし、プリンタが読み取れないことによるジッターを防止しました。 G コード行を十分に迅速に処理します。

印刷プロセス中に、ノズル先端と材料の堆積の画像が 2.5 Hz で取得され、推論のためにローカル サーバーに送信されます (図 3a)。 受信した各画像は、ノズル先端に焦点を当てた 320 × 320 ピクセルの領域に自動的にトリミングされます。 ユーザーは、セットアップ時にカメラを取り付けるときに、ノズルのピクセル座標を一度指定する必要があります。 さらに、ユーザーは、カメラの位置、焦点距離、プリンターのノズルのサイズに応じて、トリミング領域のサイズを変更したい場合があります。 ノズル周囲の適切な領域の選択はネットワークのパフォーマンスに影響し、ノズル先端の両側に最大 5 個の押し出し幅が表示される場合に、精度と応答時​​間の最適なバランスが見られます。

a フィードバック パイプラインの 6 つの主要なステップにより、押出プロセスの画像からオンラインでパラメータを更新できます。 b 各印刷パラメータの θmode (モードしきい値)、L (シーケンス長)、Imin (補間最小値)、A+ (最大増加)、A- (最大減少) と更新量の可能なレベルを含むテーブル。 c 単一レイヤーのジオメトリの簡単な例。ツールパスが同じ小さなセグメントに分割されている様子を示しています。 フィードバック プロセスでは 1 mm の長さが使用され、迅速な修正が可能になり、応答時間が短縮されます。

トリミングされた画像は 224 × 224 ピクセルにサイズ変更され、RGB チャネル全体で正規化されます。 次に、分類ネットワークは、この画像が入力として与えられた各パラメーターの予測 (高すぎる、低すぎる、良好) を生成します。 これらの予測されたパラメーターは、パラメーターごとに異なる設定長 L の個別のリストに保存されます。 特定の予測がモードしきい値 (θmode) 以上の完全なリストの割合を構成するほど頻繁に行われる場合、モードが見つかり、その予測が受け入れられます。 モードが見つからない場合、更新は行われず、モード予測が「良好」である場合と同様に、印刷パラメータは許容可能であるとみなされます。 モードが「高すぎる」または「低すぎる」と判明した場合、モード値によって構成されるリストの長さの割合を使用して、比例補正を容易にするパラメータへの調整が調整されます。 具体的には、1 次元の線形補間を適用して、パラメーターのしきい値 (θmode) と 1 の間の範囲を新しい最小値 (Imin) と 1 にマッピングします。次に、補間値を使用して、最大更新量 (パラメーターが増加する場合は A+) を線形にスケーリングします。減少の場合は A-）。 θmode、L、Imin、A+、およびA-の特定の値は、応答時間の精度のバランスをとり、オーバーシュートを防ぐために、各パラメーターを個別に実験することによって反復的に取得されました（図3b）。 ホットエンド リストの長さとモードのしきい値は、このパラメータの応答時間が長いことと、オーバーシュートによる安全上のリスクがあるため、特に控えめになっています。

印刷パラメータの最終的な更新量が計算されると、それらは各プリンタに接続された Raspberry Pi に送信されます。 Pi は各パラメータの現在値を取得し、パラメータを更新するための G コード コマンドを作成します。 次に、Pi はシリアル経由でファームウェアによるコマンド実行の確認を探します。 ファームウェアによってすべてのコマンドが実行されると、Pi はサーバーに確認応答を送信します。 サーバーは、すべての更新が実行されたという確認応答を受信すると、再び予測を開始します。 すべてのパラメータ更新のこの確認を待つことは、ターゲットのオーバーシュートやアンダーシュートによって引き起こされる振動を止めるために非常に重要です。

システムの修正機能を実証するために、入力 STL ファイルを取得し、適切な印刷設定でスライスし、G コード コマンドを挿入してパラメータを不適切な値に変更し、生成された G コードを解析して分割する実験パイプラインが構築されました。モデルを 1 mm のセクションに分割します (図 4)。 トレーニング時と同じモデルのプリンターが使用されましたが、カメラの位置が変更され (ノズルに対してわずかに回転および平行移動)、外部形状が異なる新しい 0.4 mm ノズル、および未確認の単層印刷サンプルが使用されました。 パラメータ間の応答を比較するために、同じ PLA フィラメントのスプールを使用してそれぞれを印刷しました (図 4a)。 これらの単層プリントは、さまざまなプリンター、セットアップ、および素材にわたる個々のパラメーターおよびパラメーターの組み合わせをテストするための、明確に解釈可能なベンチマークとして使用されます。 流量、Z オフセット、およびホットエンド温度パラメータの欠陥ははっきりと確認できますが、横方向の速度の欠陥は、印刷速度が遅くなった部分の濃い線として観察できます。 送信されるコマンド (図 4a の黒い矢印) とパラメーター更新の間の遅延が観察でき、プリンターからの確認応答を待つことが重要であることがわかります。 いずれの場合も、ネットワークはモードしきい値処理と組み合わせることで、良好な印刷パラメータを迅速に回復できます (補足ムービー S1 を参照)。

a トレーニングされたマルチヘッド ニューラル ネットワークを使用して、手動で引き起こされた誤った単一パラメータを迅速に修正します。 トレーニング データでは使用されていない目に見えない 0.4 mm ノズルを備えた既知のプリンターで PLA 原料を使用して印刷されました。 b 目に見えない熱可塑性ポリマーの複数の誤ったパラメータをオンラインで同時に最適化します。 制御パイプラインが、さまざまな材料特性、色、初期条件を持つ幅広い原料に対して堅牢であることを示します。 c 人間のオペレータと同様に、システムは自己学習したパラメータ関係を使用して予測を修正します。 高い Z オフセットは、Z オフセットを減らすか、材料の流量を増やすことで修正できます。 d 印刷中に導入された複数の誤った印刷パラメータを修正しました。 両方のルークは同じ条件で印刷され、唯一の違いは修正です。 e 間違ったパラメータの組み合わせで開始されたプリントの修正。 6 つのスパナはすべて同じ条件で印刷されました。

押出成形された熱可塑性 PLA のみを使用してトレーニングされているにもかかわらず、制御パイプラインはさまざまな素材、色、セットアップに汎用化されています。 図 4b は、図 4a と同様の解釈可能な単層ベンチマークで、ランダムな複数の不正確な印刷パラメータの異なる組み合わせで印刷された 4 つの異なる熱可塑性樹脂のオンライン補正を示しています。 いずれの場合も、ネットワークは複数のパラメーターを正常に更新し、結果として良好な押し出しが行われます (補足ムービー S2 を参照)。 TPU およびカーボンファイバーを充填したサンプルには、初期状態が不良であるため、周囲が印刷されていません。 これは、パラメータの自動検出に役立ち、最適なパラメータの組み合わせを迅速に取得することでユーザーが新しい材料に合わせてプリンタを調整できるようにするだけでなく、初期ツールパスが規定に準拠していない失敗したプリントを保存することで、制御システムが生産性を向上できることも示しています。ベッド。

すべてのパラメーター予測が 1 つのネットワーク構造内にあるため、トレーニングされたモデルは複数のパラメーター間の相互作用を学習し、人間のオペレーターと同様に、不正確なパラメーターに対して創造的な解決策を提供できます。 制御ループ設定を使用してサンプルを印刷しましたが、オンライン修正は行われませんでした。 このサンプルには、Z オフセットが高い領域が含まれていました。 Z オフセットが高いと、押し出された材料の経路が分離されます。同じ結果が低い流量でも発生する可能性があります。 図 4c は、Z を下げて流量を増やすと良好な押出が得られるとネットワークが判断していることを示しています。 トレーニングされたモデルは同じ問題を解決する複数の方法を見つけることができるため、単一パラメーターの誤った予測に対してより堅牢になり、複数のパラメーターにわたる更新を組み合わせることでより迅速なフィードバックが可能になります。 予測プロットは、パラメーターが良好であることをネットワークが認識する速度も示します。これは、オンライン修正を行うときに制御システムがオーバーシュートしないようにするために重要です。

図 4d は、トレーニング (Creality CR-20 Pro) で使用したのと同じプリンター モデルを使用して制御パイプラインをアンシー ルーク ジオメトリに適用し、私たちの方法論が完全な 3D ジオメトリの本番環境で使用できることを示しています。 印刷の途中で、複数のランダムで誤った印刷パラメーター (特に、非常に高い流量、横速度、ホットエンド温度、および低い Z オフセット) が導入されました。 補正なしで印刷されたルークは劇的に失敗しましたが、補正を有効にして同じ条件で印刷されたルークは正常に完了しました。 図 4e は、同じ 3D スパナ ジオメトリの 6 つのコピーを示しています。各コピーは、誤った印刷パラメータの同じ組み合わせ (低流量と横速度、高 Z オフセット、良好なホットエンド温度) で開始されました。 6 つのスパナのうち、3 つは修正なしで印刷されたため、1 つはプリント ベッドからの外れにより完全に失敗し、残りの 2 つは表面仕上げが非常に悪かったです。 これらのエラーは、印刷パラメータが最適ではないために初期レイヤーが不十分であることが原因です。 修正を加えて印刷した 3 つはすべて正常に完了し、特に最初の層で同様に改善された表面仕上げを示しました。 これらの修正された印刷は、完全に印刷された部分と一致しないことに注意してください。 必要な修正がすべて適用されるまでは不完全性が存在するため、初期レイヤーの一部は不適切な開始パラメータで印刷されます。 まれではありますが、不完全さを引き起こす必要がない場合に修正が適用されることもあります。

システムの汎用性を実証するために、別のカメラとレンズを、異なる形状のノズルとノズル幅 (トレーニングで使用した 0.4 mm ではなく 0.6 mm) を備えた、目に見えないプリンタ (Lulzbot Taz 6) の新しい位置に取り付けました (図 5a)。 。 このプリンターは、トレーニング プリンターで使用されているように、直径 2.85 mm のフィラメントを 1.75 mm 以上の入力として使用する押出システムを使用しています。 図 5b は、目に見えないビショップ ジオメトリに適用された同じ制御システムを示しています。 印刷の早い段階、特にレイヤー 7 中に、ランダムに誤った印刷パラメータが導入されました。これらの誤ったパラメータは、低い横速度と高い流量、Z オフセットおよびホットエンド温度でした。 修正せずに印刷した誤ったビショップは失敗しましたが、制御パイプラインを有効にしてまったく同じ条件で印刷したビショップは、より詳細な状態で正常に完了しました。 単層ベンチマーク プリントは、白色 PLA を使用して導入された個々の誤ったパラメータで完成されました (図 5c)。 これらは、マルチヘッド ニューラル ネットワークと制御パイプラインが一般化して、溶融堆積モデリング プリンター全体でパラメーターを修正することを示しています。 これらのサンプルの印刷不良領域のサイズは、図 4a で印刷したものよりも大きく見えます。これは、Lulzbot Taz 6 のノズルが大きいため、各ラインの押し出し幅がはるかに大きくなるためです。 行数はどのプリンタでもほぼ同じです。

a 内径 0.6 mm のノズルを備えたテスト済みの未公開の 3D プリンター (Lulzbot Taz 6) の写真。 材料の堆積に関する新しいカメラの位置とともに、トレーニング データの収集と比較して、異なるカメラ モデル (Raspberry Pi カメラ v1) とレンズが使用されました。 b 誤ったパラメータが導入され、修正が有効になっている同じ誤ったプリントが含まれるビショップ チェスの駒。 どちらも、未確認の Lulzbot Taz 6 セットアップで 2.85 mm PLA を使用して印刷されました。 c トレーニングされたマルチヘッド ニューラル ネットワークを使用して、手動で引き起こされた誤った単一パラメータを迅速に修正します。 トレーニング データでは使用されていない、目に見えない 0.6 mm ノズルを備えた目に見えないプリンターで白色 PLA 原料を使用して印刷されました。 d Creality Ender 3 Pro を改造した直接インク書き込み (DIW) 用のシリンジベースのプリンター。 未知のカメラ モデル (Raspberry Pi カメラ v1) とレンズが、異なるカメラ位置とともに使用されました。 e 自動補正とパラメータ検出は、0.21 mm ノズル (27 ゲージ) を備えた PDMS と、0.84 mm ノズル (18 ゲージ) を備えたマヨネーズおよびケチャップを示しました。

制御パイプラインは、シリンジ内のプランジャーを動かすためのネジ付きロッドを備えたステッピング モーターを使用した直接インク書き込みセットアップでさらにテストされました (図 5d)。 これは、熱可塑性プラスチックのテスト中に使用された黒いベッドの代わりに、透明で反射性のガラス プリント ベッドを使用して、異なるカメラ モデルと、異なる角度とノズルからの距離に取り付けられたレンズを使用しました。 この設定では、PDMS、マヨネーズ、ケチャップがさまざまなノズル（PDMS 用は 0.21 mm、調味料用は 0.84 mm）を使用して印刷されました（図 5e）。 すべてのサンプルは、ホットエンド補正を行わずに室温で印刷されました。 PDMS 印刷の場合、ネットワークは流量のみを補正しました。 図 5e は、PDMS の場合、ネットワークがシリンジに加えられる圧力を上げることによって流量を増やすことを学習することを示しています。 必要な圧力に達すると、ネットワークによって流量が減少し、押出が停止します。 ただし、長時間のプリント中、特にネットワークが流量を十分に速く減少させない場合、シリンジ内の圧力が大きく上昇するため、流量がオーバーシュートすることがあります。 この特定の設定では、粘性のある材料と小さなノズル直径により印刷に高圧が必要となり、プランジャーの動きと押し出しの間に時間的なギャップが生じるため、この圧力のバランスをとることが特に困難です。 粘性の低い材料を印刷する場合、特にノズル直径が大きい場合、このオーバーシュートと圧力遅延はあまり問題になりません。 マヨネーズとケチャップの例では、ネットワークは主に流量と Z オフセットを調整しました。 どちらの調味料も押し出しすぎる傾向があり、ネットワークによって流量が低下することが多く、最初の層では Z オフセットが低下していることがわかりました。 多層構造を印刷する場合、ネットワークは各層の Z オフセットを上げ、ノズル先端が前の層に浸かるのを防ぐために流量を減らす傾向がありました。

特にセーフティ クリティカルなアプリケーションのために実稼働環境にディープ ニューラル ネットワークを展開する場合、モデルが特定の決定を下す理由について考えられる説明を求めることは役に立ちます。 ユーザーがニューラル ネットワークが予測を行う理由をある程度理解するのに役立つ 2 つの一般的な視覚化方法は、ガイド付きバックプロパゲーション 59 と勾配加重クラス アクティベーション マッピング (GradCAM) 60 です。 前者は、予測を行う際にネットワークによって学習されたより細かい解像度の特徴を示すのに役立ち、後者は、画像内の重要な領域を示すより粗い位置特定を提供します (これは事後的な注意と考えることができます)。 どちらのアプローチでも、4 つのパラメーターごとにターゲット カテゴリ (低、良好、高) が提供され、そのカテゴリにとってどのフィーチャまたは領域が特に重要であるかを判断します。 これに加えて、ネットワーク全体内で各パラメータの技術を個別に適用する方法が開発され、入力画像に対して最大 12 個のカスタマイズされた視覚化を生成できるようになりました (4 つのパラメータごとに 3 つのクラス、例: 低流量、高い横速度、良好な Z オフセット)。

誤ったパラメータを複数組み合わせると、押し出された材料のパスが分離したり (押し出し中)、材料のパスが重なり合ったり (押し出し上) になる可能性があります。 ガイド付きバックプロパゲーションを使用して、ネットワークがこれらの物理的押し出し特性を検出するためにパラメーター間で同様の機能を使用しているかどうかを判断しようとしました。 さまざまなパラメータによって引き起こされるアンダー、グッド、オーバーエクストルージョンの代表的な画像例を図6aに示します。 同じ押出分類のパラメータ間で同様の特徴が共有されているようです。つまり、アンダー押出の場合は分離されたパス、良好な押出の場合は現在のパスの輪郭、オーバー押出の場合はノズル周囲です。

a 複数の不正なパラメータによって、押し出しが不十分、良好、または過剰になる可能性があります。 ガイド付きバックプロパゲーション 59 は、分類に使用される画像内の重要な特徴を強調表示するために適用されます。 代表的な例の未見の画像は、ネットワークが同じ物理的特性を識別するためにパラメータ間で同様の特徴を使用していることを示唆しています。 b 勾配加重クラス アクティベーション マッピング (GradCAM)60 は、パラメーターと目に見えない入力にわたって、ネットワークの初期段階で堆積材料とプリント ベッドを区別していることを示しています。 最終ステージに適用された c GradCAM は、ネットワーク全体がパラメーターと目に見えない入力にわたってノズル先端に焦点を当てていることを示しています。 d さまざまな段階でのガイド付きバックプロパゲーションと GradCAM で示された傾向は、直接インク書き込みなど、さまざまな目に見えない押し出し手法にも当てはまります。

GradCAM は、各パラメータごとに共有ネットワーク バックボーンのすべての層に個別に適用されました。 図 6b、c に、最初と最後の層 (それぞれ、残りのブロック 1 と 6) からの視覚化を示します。 ネットワークの初期段階では、堆積された材料とプリントベッドの区別など、画像内の大きな構造的特徴が検出されるようです。 最後の層では、ネットワークはパラメーターやターゲット クラスに関係なく、主にノズルからの最新の押し出しに焦点を当てます。 これは、高速な応答時間と修正のために望ましく、ネットワークが予測のために最も最近にデポジットされたマテリアルからの情報を使用することを望んでいます。 図 6d には、直接インク書き込みテストから得られた画像の視覚化例が示されています。 これらの画像は、トレーニングされたネットワークが熱可塑性予測に使用するのと同様の機能を予測中の各段階で使用できることを示しています。 さらなる視覚化は、補足図S2および補足ムービーS3で見つけることができます。

我々は、最適な印刷パラメータからの偏差に関してラベル付けされた画像を使用してマルチヘッド ニューラル ネットワークをトレーニングすることで、堅牢かつ一般化可能なリアルタイムの押し出し AM エラー検出と迅速な修正が可能になることを実証します。 データ取得とラベル付けの両方を自動化することで、現実的な 2D および 3D ジオメトリ、材料、プリンター、ツールパス、さらには押し出し方法にまで一般化するエラー検出と修正を可能にする、十分に大規模で多様なトレーニング画像ベースのデータセットを生成できます。 ディープ マルチヘッド ニューラル ネットワークは、印刷中のノズルの画像から、流量、横方向速度、Z オフセット、ホットエンド温度という 4 つの主要な印刷パラメータを高精度で同時に予測することができました。 この追加のコンテキストと複数のパラメーターの知識は、個々のパラメーターの予測の向上につながる可能性さえあることが判明しましたが、この発見を裏付けるにはさらなる研究が必要です。 人間と同じように、このシステムはエラーに対して創造的に複数の解決策を提案することができ、新しいパラメーターの組み合わせを発見したり、新しいマテリアルを印刷する方法を学習したりすることもできました。 しかし人間とは異なり、システムは継続的に動作し、即座に修正を加えました。 このネットワークに加えて、比例パラメータ更新、ツールパス分割、最適化された予測しきい値処理などの新たな追加機能を備えたフィードバック制御ループの多くの進歩を示し、これらを組み合わせることで、以前の研究と比較して修正速度と応答時​​間が桁違いに向上しました。

この取り組みは、より高速な応答時間でより多くのパラメーターを一般化して制御することで AM フィードバックの機能を大幅に向上させると同時に、既存のアプローチのコストと複雑性も軽減します。 既製のカメラ、小型シングルボード コンピュータ (Raspberry Pi など)、およびネットワークを使用すると、システムを新規および既存のプリンタに簡単に追加できます。 このシステムは拡張され、一般的なソフトウェアおよびファームウェア パッケージにプラグインされるため、既存のユーザー ワークフローへの影響は最小限に抑えられます。 さらに、完全に内蔵されたネットワークにより、追加されたプリンターごとに利用可能なトレーニング データを増やすことができ、インターネット接続のみが必要な、より遠隔の環境にシステムを展開することもできます。

方法論には改善の余地があります。 たとえば、より広範囲のプリンタやマテリアルでネットワークをテストし、収集したデータをトレーニング データセットに追加すると、システムをより一般化して堅牢にすることができます。 値の小さな違いが印刷品質に大きな影響を与える可能性があるため、低い Z オフセット値のデータを増やすことも有益です。 また、ベッドに当たる前に、低い Z オフセットが高い値を引き継ぐことができる値の範囲が狭くなります。これにより、高い分類に多くの値が存在するため、データセットにバイアスが生じます。 さらに、Z オフセットの小さな動きは現在のデータセットの主な弱点である可能性があり、カメラの焦点、解像度、位置決めへの注意を改善することで、大規模な AM データセットの次の反復が大幅に改善されると考えています。 提供されたデータセットを考慮して、トレーニングされたモデルのパフォーマンスにおいてバイアスが果たす役割を高めることも重要です。 将来の研究は、より粒度の高い分類レベルで同数のサンプルを含むさらに大規模でバランスの取れたデータセットを使用することで強化されるでしょう。 たとえば、現在データセットには、特定の印刷中または単色のフィラメントでのみ表示されるパラメータの特定の組み合わせが存在する可能性があるため、ネットワークはこれらの誤った特徴をマッピングとして学習しています。 さらに、3D モデル、スライス設定、およびパラメーター値はランダムにサンプリングされていますが、指定された範囲、追加のスライス設定、原料の選択など、依然としてある程度の偏りが存在します。

オンライン補正フィードバック パイプライン中に使用される多くの変数と、サンプリング レートおよびツールパスの分割長を調整することで、方法論の有効性をさらに向上させることができます。 値をより幅広く、より深く検索して、より広範なテストを行うと、パフォーマンスが向上する可能性があります。 これらの補正変数のより良い値は、リストに対する予測を改善したり、応答時間を短縮したりすることにより、テストで経験したフィードバック中の補正振動の可能性を減らすのに役立ちます。 ネットワークが以前に不良だった領域を依然として認識し、その修正をオーバーシュートした場合、またはニューラル ネットワークからの一連の誤った予測により、パラメーターの発振が発生する可能性があります。

さらに、このアプローチは多くの一般的な押し出しベースの印刷エラーの解決には役立ちますが、依然として多くのエラーが残っていることも認識しています。 ステップのスキップ、ベルトの滑り、または外部干渉によって引き起こされるプリンターの機械的故障は未解決のままであり、位置決めエラーに対する閉ループ制御の追加により、カバーされるエラー様式の数が増加する可能性があります。 センサーの故障や電源の性能低下によって引き起こされる電気的問題は、場合によっては検出できる場合もありますが、自律的に修正することはできません。 さらに、部品の脱落につながる亀裂、反り変形、ベッドの接着の問題などの大きなエラーが完全に解決されているわけではありません。 印刷パラメータの正確なリアルタイム制御は、これらのエラーが発生する可能性を減らすのに役立ちますが、局所的な監視アプローチのため、一度エラーが発生すると、エラーの多くを検出または解決することはできません。 このローカル イメージングをグローバル カメラ システムと組み合わせると、より多くのエラーの検出において大幅な改善が得られる可能性があり、ローカルな押し出しの問題とグローバル スケールの障害との間に関連性がもたらされる可能性があります。

ネットワークがどのように決定に至るかを調べるために使用した勾配ベースの顕著性マップは、ネットワークが予測を行う際に最新の押し出しに焦点を当てることを学習し、これがエラーへの迅速な対応に役立つことを示唆しています。 これは、さまざまな形状、材料、設定にまたがるさまざまなパラメーターを正確に予測するネットワークの能力と合わせて、ネットワークが押出物の形状など、押出プロセスに共通の視覚的特徴を識別していることを示唆しています。 この論文で開発された方法論は、適用されるセンサーや製造プロセスにほとんど依存しません。 これは、今後の調​​査の対象となるさまざまな分野を示しています。 たとえば、新しい赤外線またはその他のセンサーをシステムに統合したり、それをさらに困難な製造プロセスに適用したりする場合です61、62。 これらのプロセスの複雑さと品質保証の必要性を考慮すると、これを金属 AM 法に適用することは特に興味深いことです63。 光学技術は、これまで金属 AM で粉末床表面や溶融プールなどの特徴を監視するために使用されている最も一般的な方法です 64,65。 これらは私たちの方法論での使用に適しており、特に作業が難しい金属の AM に有益である可能性があります 66。 これは、小規模で特殊なデータセット (均一に良好な照明を使用) での転移学習を使用して特定の設定でモデルを微調整することで、既知の環​​境でのパフォーマンスを向上させることができます。

データ収集には 8 台の FDM 3D プリンターのネットワークが使用されました。 Creality CR-20 Pro プリンターは、低コスト、プリインストールされたブートローダー、および付属の Z プローブにより選ばれました。 各プリンターのファームウェアは Marlin 1.1.9 にフラッシュされ、熱暴走保護が確実に有効になりました。 各プリンタには、シリアル経由でプリンタとの間でデータを送受信するためのネットワーク ゲートウェイとして機能する Raspberry Pi 4 Model B が装備されていました。 Pi は、Raspbian ベースの Linux ディストリビューションと、カスタム開発されたプラグインを備えた OctoPrint サーバーを実行します。 スナップショットを撮るために、低コストの消費者向け USB ウェブカメラ (Logicool C270) を Pi に接続しました。 カメラは、単一の 3D プリント部品を使用してノズル先端に面して取り付けられました。 これらのコンポーネントは、新規および既存のプリンタに低コストで簡単に取り付けることができます。 拡張性と展開性を支援します。

インクの直接書き込みに使用したプリンターは、Creality Ender 3 Pro を改造したものです。 押出機のセットアップは社内で設計および構築され、ルアー ロック ノズルを備えたステッピング モーター駆動のシリンジを利用しました。 プリンターには、Raspberry Pi 4 モデル、Z プローブ、ズームレンズ付き Raspberry Pi Camera v1 が装備されています。 ファームウェアは Marlin 2.0 の構成済みバージョンです。 さらなる実験のために、Marlin 1.1.9 にフラッシュされたファームウェアを備えた Lulzbot Taz 6 が使用されました。 デフォルトのノズルが E3D 内径 0.6 mm ノズルに交換されました。

STL ファイルは、Python スクリプトを使用して Thingiverse 3D モデル リポジトリからダウンロードされました。 このツールを使用すると、キーワード、人気度、時間、作成者、ライセンスなどの複数の方法でリポジトリ内のモデルを簡単に検索できるようになりました。 このツールを使用すると、適切なライセンスを持つ人気のファイル (印刷可能である可能性を高めるため) が擬似ランダムに選択され、ダウンロードされました。 さらに、標準の 3D プリンティング ベンチマーク ファイルの一部は、この STL セットに手動で追加されました。

部品をスライスしてさまざまなツールパスを作成するために、STL はランダムに回転され (0° ～ 360° の範囲の均一な分布からサンプリングされた角度)、ビルド プレートの中心に配置される前にスケーリングされました (スケール係数は 0.8 ～ 2 の範囲の均一な分布からサンプリングされました)。一部のすでに大きなモデルでは、印刷時間を短縮するためにスケール係数が切り取られました)。 次に、固体の上部層と下部層の数が、充填パターン、充填密度 (0% ～ 40%)、および外周壁の数 (2 ～ 4) とともに 2 ～ 4 の範囲の均一な分布からランダムにサンプリングされました。 次の範囲の充填パターンが使用されました:直線、グリッド、三角形、星、立方体、線、同心円、ハニカム、3D ハニカム、ジャイロイド、ヒルベルト曲線、アルキメデス弦、およびオクタグラム スパイラル。 その後、スライサーから出力された G コードの行は、ファームウェアの応答時間を短縮するために、最大移動長 2.5 mm の小さなセグメントに切り刻まれました。オンライン補正のデモンストレーションでは、ファームウェアをさらに短縮するために、代わりに最大移動長 1 mm が使用されました反応時間。

印刷中、画像は 2.5 Hz のサンプリング レートでノズル対向カメラから 1280 × 720 ピクセルの解像度でキャプチャされます。 各画像には、その時点での実際のホットエンドと目標のホットエンドとベッドの温度、プリンターの現在の相対流量と横方向の速度 (両方のパーセンテージ)、および Z オフセット (mm 単位) がラベル付けされます。 これらのラベル付き画像を 150 枚収集して保存した後 (印刷に約 1 分)、新しい流量、横速度、Z オフセット、およびホットエンドの目標温度の値が、以下のそれぞれの流量範囲の一様分布からランダムにサンプリングされます。 ～ 200%、横速度: 20 ～ 200%、Z オフセット: -0.08 ～ 0.32 mm、ホットエンド: 180 ～ 230 °C。 より高いレベルの追加の流量をトレーニング セットに追加する必要があることがわかりました。これは、それらが十分に分布から外れており、トレーニングされたモデルが分類を誤って予測するためです。 他のパラメータではこれは必要ありませんでした。 サンプリング後、新しい値がプリンターに送信されます。 プリンターは、この新しいパラメーターの組み合わせに対してさらに 150 枚の画像のキャプチャを開始します。 このプロセスは、使用した 8 台のプリンターすべてで並行して実行でき、それぞれが異なる色の原料を使用するため、大きなパラメーター空間をカバーするのに役立ちます。

キャプチャされた画像にさまざまな周囲のコンテキストを提供するために、系統的なパラメータ選択ではなく、ランダムなパラメータ値の選択が選択されました。 具体的には、ランダム化されたアプローチを選択することで、画像の外側の領域に、以前のパラメータの大幅に異なる組み合わせの押し出しを含めることができ、これは、ノズル先端の周囲の局所的な特徴を使用するようにネットワークをトレーニングするのに役立つ可能性があります。 体系的なアプローチでは、代わりに、ネットワークによって学習できる、以前にデポジットされたマテリアルのパラメータのレベルにパターンが導入され、予測に使用されるデータの局所性が低下し、周囲のコンテキストが体系的ではない目に見えない条件でのオンライン印刷中に弱点が導入される可能性があります。また配布終了となる場合もございます。

印刷プロセスにおける人間の介入の必要性を減らし、連続印刷を支援するために、完了した印刷物を削除する新しい簡単な方法が開発されました。 完成時に部品を自動的に削除するための多くの方法がこれまでに実装されてきました67,68。 ただし、以前の実装では、大規模なハードウェアの変更が必要か、コストがかかるか、比較的限られた範囲の部品しか削除できませんでした。 当社のベッド取り外しシステムには、追加の電子機器、モーター、複雑な機械部品は必要ありません。 提案されたソリューションは、任意の押出プリンターに後付けすることができ、主に当該プリンターで製造できる印刷部品で構成されています。 すでに可動性のあるプリント ヘッドが移動し、ビルド プラットフォームの背面にあるスクレーパーとドッキングします。 その後、プリンターの内蔵モーターを使用してプリント ヘッドとスクレーパーを造形面上で移動させ、印刷されたオブジェクトを除去します。 取り外し後、プリント ヘッドはスクレーパをホーム位置に戻し、ドッキングを解除します (補足ムービー S4 を参照)。 スクレーパーが常に同じ位置に留まるようにするため、磁石付きのスクレーパー ドックがプリント ベッドに取り付けられ、次のオブジェクトの取り外しが必要になるまでスクレーパーを所定の位置に保持します。 このシステムの詳細については、補足情報の補足図 S3 および補足注 1 を参照してください。また、変更可能な CAD STEP ファイル、印刷用の STL ファイル、および部品削除用のサンプル G コード スクリプトを含む GitHub リポジトリにも記載されています ( https://github.com/cam-cambridge/creality-part-remover)。

ネットワークをトレーニングするには、各ヘッドでのクロスエントロピー損失を決定し、バックプロパゲーションの前にこれらの損失を合計します。 これにより、各ヘッドの損失に対応するためにネットワークの共有バックボーンが更新され、各ヘッドに完全に接続された層はそのヘッドの損失によってのみ更新されます。 初期学習率は、値の範囲をスイープし、損失が大きく低下する学習率を選択することによって、3 つのトレーニング段階のそれぞれで選択されました69。 各段階の学習率は補足情報で確認できます。 正しい学習率を選択することが非常に重要でした。学習率が高いとアテンション マップが不十分になりますが、学習率が低すぎるとトレーニングに時間がかかるか、初期の極小値に陥ってしまいます。 トレーニング中に AdamW オプティマイザー 70,71 を使用し、プラトー学習率削減スケジューラーを使用して、連続 3 エポックでも損失が 1% 以上改善されなかった場合に学習率を 10 分の 1 に減少させました。 トレーニング中の学習率のプロットは補足情報にあります。 トレーニング、検証、およびテストの分割はそれぞれ 0.7、0.2、および 0.1 で、バッチ サイズは 32 で使用されました。トレーニングの 3 段階は、それぞれ 50、65、および 10 エポックでトレーニングされました。 各ステージは、3 つの異なるシードを使用して 3 回トレーニングされました。 転移学習中に、前の段階での最良のシードがトレーニングを継続するベースとして選択されました。

この多段階トレーニングと注意の使用の重要性を判断するために、データセット全体で単一シードと単一ステージのみを使用することを除き、同じ構成を使用して 4 つの異なる ResNets47 がトレーニングされました。 テストの精度は、3 つのステージを使用してトレーニングされた、選択したアテンション ネットワークの精度と併せて表 1 に示されています。 これらの追加を加えた大きなモデルでは、実際にテスト精度が低下することが判明しました。 他のデータセットの各モデルにさらに事前トレーニングを適用すると、全体的に精度が向上する可能性があります。

単一のマルチヘッド ネットワークで複数のパラメータを使用して追加のコンテキストを提供すると、別のネットワークで単一のパラメータをトレーニングするよりもパフォーマンスが向上する可能性があります。 50 エポックのトレーニング後、流量を予測するためのシングル ヘッド出力を備えた ResNet18 モデルは 77.5% の精度を達成しました。 複数のヘッド (4 つのパラメーターに 1 つずつ) を備えた同じモデルは、50 エポックのトレーニング後に、流量予測で最終精度 82.1% を達成しました。

最終モデルは、i9-9900K CPU (8 コアおよび 16 スレッド) と 64 GB の RAM を搭載した 2 つの Nvidia Quadro RTX 5000 GPU で半精度浮動小数点形式 (FP16) を使用してトレーニングされました。 この設定はオンライン修正にも使用されました。 一部のプロトタイピング作業は、Nvidia Tesla P100 GPU を搭載した HPC GPU クラスターで行われました。 ニューラル ネットワークは、PyTorch v1.7.1 (https://github.com/pytorch/pytorch)、Torchvision v0.8.2 (https://github.com/pytorch/vision)、Tensorboard v2.4.1 (https:// github.com/tensorflow/tensorboard)。 データ分析には、Python v3.6.9 (https://www.python.org/)、NumPy v1.19.5 (https://github.com/numpy/numpy)、Pandas v1.1.5 (https://github.com) を使用しました。 /pandas-dev/pandas)、SciPy v1.5.4 (https://www.scipy.org/)、Seaborn v0.11.1 (https://github.com/mwaskom/seaborn)、Matplotlib v3.3.3 (https: //github.com/matplotlib/matplotlib)、Jupyter v1.0.0 (https://jupyter.org/)、JupyterLab v.2.2.9 (https://github.com/jupyterlab/jupyterlab)、および Pillow v8.1.0 (https://github.com/python-pillow/Pillow)。 データ収集およびパラメータ修正サーバーは、Flask v1.1.1 (https://github.com/pallets/flask)、Flask–SocketIO v5.1.0 (https://github.com/miguelgrinberg/Flask–SocketIO)、OctoPrint を使用して開発されました。 v1.6.1 (https://octoprint.org/)、Marlin 1.1.9 (https://marlinfw.org/)。 スライスと印刷の準備には、PrusaSlicer v2.3.3 (https://github.com/prusa3d/PrusaSlicer) および Simplify3D v4.1.2 (https://www.simplify3d.com/) を使用しました。

この研究で生成され、モデルのトレーニングに使用されたラベル付き画像データは、ケンブリッジ大学のデータ リポジトリ (https://doi.org/10.17863/CAM.84082) に保管されています。 図のプロットのソース データは、このペーパーに付属しています。 ソースデータはこのペーパーに付属しています。

論文の結果を生成するために使用されたコードは、GitHub リポジトリ (https://github.com/cam-cambridge/caxton) で入手できます。 ベッド リムーバーの詳細については、GitHub リポジトリ (https://github.com/cam-cambridge/creality-part-remover) でご覧いただけます。

Ngo, TD、Kashani, A.、Imbalzano, G.、Nguyen, KTQ & Hui, D. 積層造形 (3D プリンティング): 材料、方法、アプリケーション、および課題のレビュー。 コンポ。 パート B 工学 143、172–196 (2018)。

記事 CAS Google Scholar

MacDonald, E. & Wicker, R. コンポーネントの機能を向上させるためのマルチプロセス 3D プリント。 サイエンス 353、aaf2093 (2016)。

Placone, JK & Engler, AJ 生物医学用途向けの押出ベースの 3D プリンティングの最近の進歩。 上級ヘルスc. メーター。 7、1701161 (2018)。

記事 CAS Google Scholar

Haghiashtiani、G. et al. 低侵襲用途向けの内部センサーを備えた 3D プリントされた患者固有の大動脈基部モデル。 科学。 上級 6、4641–4669 (2020)。

記事 ADS CAS Google Scholar

Najmon, JC、Raeisi, S. & Tovar, A. 航空宇宙産業向け積層造形 (Froes, F. & Boyer, R. 編) 2 (エルゼビア、2019)。

Lopez-Valdeolivas、M.、Liu、D.、Broer、DJ、Sanchez-Somolinos、C. ソフト ロボット機能を備えた 4D プリント アクチュエーター。 マクロモル。 急速なコミュニケーション。 39、3–9 (2018)。

記事 CAS Google Scholar

Searle, B. & Starkey, D. 溶融堆積モデリングによって構築された 3 次元プリント解剖学的モデルの空間複製精度に対する、コンピューター断層撮影スライス再構成間隔の変更の影響に関する調査。 J.Med. ラディアット。 科学。 67、43–53 (2020)。

記事 PubMed PubMed Central Google Scholar

Song, R. & Telenko, C. 現実的な条件下での商用 FDM プリンタの材料廃棄物。 第 27 回年次国際固体自由形状製造シンポジウム 1217 ～ 1229 で (テキサス大学オースティン校、テキサス州オースティン、2016 年)。

Colosimo、BM、Huang、Q.、Dasgupta、T.、Tsung、F. 積層造形のための品質エンジニアリングの機会と課題。 Ｊ．クアル． テクノロジー。 50、233–252 (2018)。

記事 Google Scholar

Baş, H.、Elevli, S.、Yapıcı, F. 溶融フィラメント製造タイプの 3 次元プリンターのフォールト ツリー解析。 J.失敗。 アナル。 前へ 19、1389–1400 (2019)。

記事 Google Scholar

メデジン - カスティージョ、ハワイ & サラゴサ - シケイロス、J. 積層造形における溶融堆積モデリングの設計と製造戦略: レビュー。 顎。 Ｊ．Ｍｅｃｈ． 工学 32、53 (2019)。

記事 CAS Google Scholar

Mohamed, OA、Masood, SH & Bhowmik, JL 溶融堆積モデリングプロセスパラメータの最適化: 現在の研究と将来の見通しのレビュー。 上級メーカー 3、42–53 (2015)。

記事 CAS Google Scholar

Fu, Y.、Downey, A.、Yuan, L.、Pratt, A. & Balogun, Y. 溶融フィラメント製造プロセスの現場モニタリング: レビュー。 追記。 メーカー 38、101749 (2021)。

Google スカラー

Tlegenov, Y.、Lu, WF & Hon, GS 溶融堆積モデリングにおける電流ベースのノズル状態監視の動的モデル。 プログレ。 追記。 メーカー 4、211–223 (2019)。

記事 Google Scholar

キム、C.ら。 溶融堆積モデリング技術における材料の堆積状態を検出する研究。 2015 年の先進インテリジェント メカトロニクスに関する IEEE 国際会議 (AIM) 779–783 (IEEE、2015)。

Guo, J.、Wu, J.、Sun, Z.、Long, J. & Zhang, S. 姿勢信号を備えた転送サポート ベクター マシンを使用したデルタ 3D プリンタの故障診断。 IEEE Access 7、40359–40368 (2019)。

記事 Google Scholar

Zhang, S. et al. デルタ 3D プリンタのインテリジェントな障害診断のための機能が強化されたディープ ハイブリッド ステート ネットワーク。 IEEEトランス。 インドに知らせる。 16、779–789 (2020)。

記事 Google Scholar

Rao、PK、Roberson、D.、Liu、JP、Kong、ZJ 積層造形におけるセンサーベースのオンラインプロセス障害検出。 ASME 2015 国際メーカー科学。 工学会議 2、1–13 (2015)。

Google スカラー

Tlegenov, Y.、Hong, GS & Lu, WF 3D プリンティングにおけるノズル状態の監視。 ロボット。 計算します。 統合します。 メーカー 54、45–55 (2018)。

記事 Google Scholar

Wu, H.、Wang, Y.、Yu, Z. 音響放射による FDM 機械の状態の現場モニタリング。 内部。 J.Adv. メーカーテクノロジー。 84、1483–1495 (2015)。

Google スカラー

Wu, H.、Yu, Z. & Wang, Y. 音響放射および隠れセミマルコフ モデルに基づくリアルタイム FDM 機械状態の監視と診断。 内部。 J.Adv. メーカーテクノロジー。 90、2027 ～ 2036 年 (2017)。

記事 Google Scholar

Liao、J.ら。 溶融堆積モデリング (FDM) 3D プリンターの故障診断とインテリジェント学習に関する予備研究。 2019 年、第 14 回 IEEE 産業用エレクトロニクスおよびアプリケーション会議 (ICIEA) 2098 ～ 2102 (IEEE、2019)。

Baumann, F. & Roller, D. 3D プリンティング プロセスのビジョン ベースのエラー検出。 マテックWeb会議 59、3–9 (2016)。

記事 Google Scholar

He, K.、Zhang, Q.、Hong, Y. 溶融堆積モデリングプロセスのプロファイルモニタリングに基づく品質管理手法。 Ｊ．インテル． メーカー 30、947–958 (2019)。

記事 Google Scholar

Huang, T.、Wang, S.、Yang, S. & Dai, W. 一貫した層を持つ溶融堆積モデリング パーツの画像データの指定期間における統計的プロセス モニタリング。 Ｊ．インテル． メーカー 32、2181–2196 (2021)。

記事 Google Scholar

アラバマ州ペツィウク & ジェイムズ州ピアース オープンソースのコンピューター ビジョン ベースのレイヤーごとの 3D プリンティング解析。 追記。 メーカー 36、101473 (2020)。

Google スカラー

Tian, X.、Li, Y.、Ma, D.、Han, J. & Xia, L. 画像処理に基づいてシリコーン押出積層造形用のストランド幅を均一に制御します。 内部。 J.Adv. メーカーテクノロジー。 119、3077–3090 (2022)。

記事 Google Scholar

Friedrich, L. & Begley, M. 低粘度インク直接書き込みのその場特性評価: 安定性、濡れ、回転流。 J. コロイド界面科学。 529、599–609 (2018)。

論文 ADS CAS PubMed Google Scholar

Wasserfall, F.、Ahlers, D. & Hendrich, N. 3D プリント電子回路の光学的現場検証。 2019 年の IEEE 15th International Conference on Automation Science and Engineering (CASE) 1302–1307 (IEEE、2019)。

Zhao, X.、Lian, Q.、He, Z.、Zhang, S. フリンジ投影による 3D プリンティングの地域ベースのオンライン欠陥検出。 測定。 科学。 テクノロジー。 31、035011 (2020)。

記事 ADS CAS Google Scholar

Fastowicz, J. & Okurma, K. 画像領域の構造的類似性に基づいた 3D プリント表面の迅速な品質評価。 2018 年国際学際博士ワークショップ (IIPhDW) 401–406 (IEEE、2018)。

Okurma, K. & Fastowicz, J. GLCM 解析に基づく 3D プリントの非参照品質評価。 2016 年、第 21 回オートメーションおよびロボティクスにおけるメソッドとモデルに関する国際会議 (MMAR) 788–793 (IEEE、2016)。

Straub, J. ソフトウェア画像解析を使用した積層造形 (3D プリンティング) の特性評価に関する最初の研究。 マシン 3、55 ～ 71 (2015)。

記事 Google Scholar

Straub, J. 3D プリンティング サイバーセキュリティのための複合システム。 実用化のための寸法光学計測と検査 VI (Harding, KG & Zhang, S. 編) (SPIE、2017) で博士号を取得。

Cunha, FG、Santos, TG、Xavier, J. デジタル画像相関を使用した積層造形の現場モニタリング: レビュー。 資料14、1511（2021）。

論文 ADS CAS PubMed PubMed Central Google Scholar

Charalampous, P.、Kostavelis, I.、Kopsacheilis, C. & Tzovaras, D. 自動製造エラー検出のための押出積層造形プロセスのビジョンベースのリアルタイム監視。 内部。 J.Adv. メーカーテクノロジー。 115、3859–3872 (2021)。

記事 Google Scholar

Holzmond, O. & Li, X. 3D プリント部品のその場でのリアルタイム欠陥検出。 追記。 メーカー 17、135–142 (2017)。

Google スカラー

Fastowicz, J.、Grudziński, M.、Tecław, M.、Okarma, K. 深度マップのエントロピーに基づく客観的な 3D プリント表面品質評価。 エントロピー 21、97 (2019)。

論文 ADS CAS PubMed Central Google Scholar

Preissler, M.、Zhang, C.、Rosenberger, M.、Notni, G. 3 次元点群情報を使用したレイヤーごとの解析による積層造形におけるプロセス制御のアプローチ。 2018 年デジタル画像コンピューティング: 技術と応用 (DICTA) 1–6 (IEEE、2018)。

Preissler, M.、Zhang, C.、Rosenberger, M.、Notni, G. 積層造形における 3D インライン プロセス制御用のプラットフォーム。 工業検査用光学測定システム X (Lehmann, P.、Osten, W.、Albertazzi Gonçalves, A. 編) (SPIE、2017)。

Nuchitprasitchai, S.、Roggemann, M. & Pearce, J. 2 つのカメラ ビューのコンピューター分析を使用した 3D プリンティングの 360 度リアルタイム モニタリング。 Ｊ．マニュフ． メーター。 プロセス。 1、2 (2017)。

Google スカラー

Nuchitprasitchai, S.、Roggemann, M.、および Pearce, JM 溶融フィラメント 3D プリンティングのリアルタイム光学モニタリングに影響を与える要因。 プログレ。 追記。 メーカー 2、133–149 (2017)。

記事 Google Scholar

Preissler, M.、Zhang, C. & Notni, G. 光学的内部容積測定による 3 次元データ取得のアプローチ。 Ｊ．Ｐｈｙｓ． 会議サー。 1065、032005 (2018)。

記事 Google Scholar

Liu, C.、Law、ACC、Roberson, D. & Kong, Z. (James) 溶融フィラメント製造による積層造形のための画像解析ベースの閉ループ品質管理。 Ｊ．マニュフ． システム。 51、75–86 (2019)。

記事 Google Scholar

Greeff, GP & Schilling, M. 溶融材料押出におけるフィラメント輸送中の滑りの閉ループ制御。 追記。 メーカー 14、31–38 (2017)。

Google スカラー

Kutzer, MD、DeVries, LD & Blas, CD 画像再構成を使用したコンフォーマル積層造形の部品モニタリングと品質評価。 ボリューム 5B: 第 42 回メカニズムおよびロボット工学会議 (米国機械学会、2018 年)。

He、K.、Zhang、X.、Ren、S.、Sun、J. 画像認識のための深層残差学習。 2016 年のコンピューター ビジョンとパターン認識に関する IEEE 会議 (CVPR) 770–778 (IEEE、2016)。

Goodfellow, I.、Bengio, Y.、Courville, A. Deep Learning (MIT Press、2016)。

Jin, Z.、Zhang, Z. & Gu, GX コンピューター ビジョンと深層学習を使用した、溶融堆積モデリング プリンターの自律的な現場補正。 メーカーレット。 22、11–15 (2019)。

記事 Google Scholar

Jin, Z.、Zhang, Z. & Gu, GX 人工知能を使用した積層造形プロセスにおける層間欠陥の自動リアルタイム検出と予測。 上級知性。 システム。 2、1900130 (2020)。

記事 Google Scholar

ジョンソン、MV 他積層造形プロセスにおける自立構造の特定と修正のための汎用化可能な人工知能ツール。 追記。 メーカー 46、102191 (2021)。

Google スカラー

Zhang, Z.、Fidan, I.、Allen, M. 深層学習による材料押出成形の工程内欠陥の検出。 インベンションズ 5、25 (2020)。

記事 CAS Google Scholar

Saluja, A.、Xie, J. & Fayazbakhsh, K. 畳み込みニューラル ネットワークを使用した溶融フィラメント製造用の閉ループ インプロセス反り検出システム。 Ｊ．マニュフ． プロセス。 58、407–415 (2020)。

記事 Google Scholar

デリ、U. & チャン、S. 教師あり機械学習を使用した 3D プリンティングの自動プロセス監視。 プロセディア社 26、865–870 (2018)。

記事 Google Scholar

ガードナー、JMら。 職人としての機械: 溶融フィラメント製造 3D プリンティングのための局所的なパラメーター設定の最適化。 上級メーター。 テクノロジー。 4、1800653 (2019)。

記事 Google Scholar

Wang, Y. et al. 溶融堆積モデリング用の CNN ベースの適応型表面モニタリング システム。 IEEE/ASME Trans. メカトロン。 25、2287–2296 (2020)。

記事 Google Scholar

Shorten, C. & Khoshgoftaar, TM 深層学習のための画像データ拡張に関する調査。 J. ビッグデータ 6、60 (2019)。

記事 Google Scholar

Wang、F.ら。 画像分類のための残留注意ネットワーク。 2017 年のコンピューター ビジョンとパターン認識 (CVPR) に関する IEEE 会議 (IEEE、2017)。

Springenberg, JT、Dosovitskiy, A.、Brox, T. & Riedmiller, M. シンプルさの追求: 全畳み込みネット。 学習表現に関する国際会議（ワークショップトラック）にて（2015年）。

セルバラジュ、RR et al. Grad-CAM: 勾配ベースのローカリゼーションを介したディープネットワークからの視覚的な説明。 2017 年のコンピューター ビジョンに関する IEEE 国際会議 (ICCV) (IEEE、2017)。

M.、Ward、C.、Hutabarat、W.、Tiwari、A. 低コストの追跡および投影技術を適用したインテリジェントな複合レイアップ。 プロセディア CIRP 25、122–131 (2014)。

記事 Google Scholar

Ryu, H. 他オルガノイドの機械的特性を正確に評価するための、透明で準拠した 3D メソ構造。 上級メーター。 33、2100026 (2021)。

記事 CAS Google Scholar

Grasso, M. & Colosimo, BM 金属粉末床溶融におけるプロセス欠陥とその場モニタリング方法: レビュー。 測定。 科学。 テクノロジー。 28、044005 (2017)。

記事 ADS CAS Google Scholar

チェン、Y.ら。 ステンレス鋼の指向性エネルギー堆積積層造形中の溶融プール挙動のその場 X 線定量化。 メーター。 レット。 286、129205 (2021)。

記事 CAS Google Scholar

Scime, L. & Beuth, J. 訓練されたコンピューター ビジョン アルゴリズムを使用したレーザー粉末床積層造形プロセスにおける異常の検出と分類。 追記。 メーカー 19、114–126 (2018)。

Google スカラー

Silbernagel, C. et al. 電磁用途で使用するための中出力レーザー粉末床融合積層造形法で処理された純銅の電気抵抗率。 追記。 メーカー 29、100831 (2019)。

CAS Google スカラー

Aroca、RV、Ventura、CEH、de Mello、I. & Pazelli、TFPAT 逐次積層造形: 3D プリント部品の自動操作。 ラピッドプロトタイプ。 J. 23, 653–659 (2017)。

記事 Google Scholar

Brockmeier, Ø.、Westcott, C. & Bøhn, JH FDM システムの自動ロードおよびアンロード。 Solid Freeform Fabrication Symposium 679–686 (テキサス大学オースティン校、テキサス州オースティン、1999 年)。

Smith、LN ニューラル ネットワークをトレーニングするための循環学習率。 2017 年 IEEE Winter Conference on Applications of Computer Vision (WACV) 464–472 (IEEE、2017)。

Kingma, DP & Ba, J. Adam: 確率的最適化の手法。 第 3 回学習表現国際会議 (ICLR) (会議記録) (2015)。

Loshchilov, I. & Hutter, F. 分離された重み減衰正則化。 第7回学習表現国際会議（ICLR）にて（2019年）。

リファレンスをダウンロードする

この研究は、英国工学物理科学研究評議会博士号の資金提供を受けています。 DAJB への学生制度 EP/N509620/1、SWP への英国王立協会賞 RGS/R2/192433、SWP への医学アカデミー賞 SBF005/1014、SWP への工学および物理科学研究評議会賞 EP/V062123/1、およびアイザック ニュートン トラストSWPに賞を与える

ケンブリッジ大学工学部、トランピントン ストリート、ケンブリッジ、CB2 1PZ、英国

ダグラス・A・J・ブリオン＆セバスチャン・W・パティンソン

PubMed Google Scholar でこの著者を検索することもできます

PubMed Google Scholar でこの著者を検索することもできます

DAJB と SWP がこのアイデアを考案し、実験を設計しました。 DAJB はデータ収集パイプラインを開発し、データセットを生成しました。 DAJB は深層学習モデルを構築、トレーニング、テストしました。 DAJBは制御ループを設計し、実験を実施しました。 DAJB はモデル予測の視覚化を生成しました。 SWP はプロジェクト中に監督と指導を提供しました。 DAJB は原案を作成し、数値を作成しました。 DAJB と SWP は実験に関する議論に貢献し、原稿を編集およびレビューしました。

ダグラス・A・J・ブリオンまたはセバスチャン・W・パティンソンとの通信。

DAJB は、AM エラー検出の分野の会社である Matta Labs Ltd. の創設者です。 DAJB と SWP は、このレポートの内容を対象として Cambridge Enterprise が英国知的財産庁に提出した特許 (出願番号: 2204072.9) の発明者です。

Nature Communications は、この研究の査読に貢献してくれた Mohammad Farhan Khan と他の匿名の査読者に感謝します。 査読者レポートが利用可能です。

発行者注記 Springer Nature は、発行された地図および所属機関の管轄権の主張に関して中立を保っています。

オープン アクセス この記事はクリエイティブ コモンズ表示 4.0 国際ライセンスに基づいてライセンスされており、元の著者と情報源に適切なクレジットを表示する限り、あらゆる媒体または形式での使用、共有、翻案、配布、複製が許可されます。クリエイティブ コモンズ ライセンスへのリンクを提供し、変更が加えられたかどうかを示します。 この記事内の画像またはその他のサードパーティ素材は、素材のクレジットラインに別段の記載がない限り、記事のクリエイティブ コモンズ ライセンスに含まれています。 素材が記事のクリエイティブ コモンズ ライセンスに含まれておらず、意図した使用が法的規制で許可されていない場合、または許可されている使用を超えている場合は、著作権所有者から直接許可を得る必要があります。 このライセンスのコピーを表示するには、http://creativecommons.org/licenses/by/4.0/ にアクセスしてください。

転載と許可

Brion、DAJ、Pattinson、SW マルチヘッド ニューラル ネットワークによる一般化可能な 3D プリンティング エラーの検出と修正。 Nat Commun 13、4654 (2022)。 https://doi.org/10.1038/s41467-022-31985-y

引用をダウンロード

受信日: 2021 年 12 月 20 日

受理日: 2022 年 7 月 8 日

公開日: 2022 年 8 月 15 日

DOI: https://doi.org/10.1038/s41467-022-31985-y

次のリンクを共有すると、誰でもこのコンテンツを読むことができます。

申し訳ございませんが、現在この記事の共有リンクは利用できません。

Springer Nature SharedIt コンテンツ共有イニシアチブによって提供

コメントを送信すると、利用規約とコミュニティ ガイドラインに従うことに同意したことになります。 虐待的なもの、または当社の規約やガイドラインに準拠していないものを見つけた場合は、不適切としてフラグを立ててください。